얀 르쿤의 AMI 랩스를 비롯한 연구진이 환경을 여러 시간 단위로 나눠 표현하며 계획을 세우는 계층형 월드모델 'H-JEPA'를 공개했다. 미로 탐색형 과제에서 기존 계층형 모델보다 성공률이 거의 2배 높아졌고, 계획에 드는 연산량은 오히려 줄었다.

H-JEPA는 상위 레벨이 큰 목표(서브골)를 설정하면, 하위 레벨이 이를 구체적인 물리적 행동으로 변환하는 구조다. 각 레벨이 서로 다른 시간 단위를 담당해, 최상위 레벨은 로봇의 대략적 위치를, 하위 레벨은 세밀한 움직임을 추적한다.

연구진은 FourRoom Distractors, Visual AntMaze, Push-T, OGBench Cube 등 4개의 시뮬레이션 환경에서 H-JEPA를 단일 레벨 모델 'LeWM', 공유 잠재공간을 쓰는 계층형 모델 'HWM'과 비교했다. 레벨을 3단계까지 늘릴수록 대체로 성공률은 높아지고 계획 연산량은 줄었으며, 가장 큰 격차는 AntMaze 과제에서 나타나 3레벨 H-JEPA가 HWM 대비 거의 2배의 성공률을 기록했다.

실제 로봇 조작 영상 데이터셋 'DROID'를 이용한 실험에서는, 행동과 관련된 정보를 보존하는 '역동역학' 목표를 추가했을 때 오프라인 계획의 정확도가 기존 대비 개선됐다.

다만 연구진은 레벨을 무조건 늘린다고 성능이 좋아지는 것은 아니며, 효과는 학습 데이터의 범위에 따라 달라진다고 밝혔다. 향후에는 상위 레벨의 표현을 언어와 연결해, 에이전트가 목표 이미지 대신 자연어 지시를 받아 움직이도록 확장하는 방향을 제안했다.

LLM 중심의 최근 흐름과 별개로 '세계모델' 기반 연구도 꾸준히 발전하고 있다는 신호로, 장기적으로는 로봇과 에이전트의 긴 호흡 계획 능력과 직결되는 기초 연구다.

출처: https://venturebeat.com/technology/h-jepa-teaches-world-models-to-plan-at-multiple-levels-of-abstraction