크래프톤이 대규모 언어 모델(LLM) 기반 인공지능(AI) 에이전트의 게임 플레이 능력을 평가하는 벤치마크 '오락(Orak)'을 공개했다.


'오락'은 AI가 게임 환경 내에서 상황을 인식하고 판단하며 행동을 결정하는 과정을 수치로 분석하는 평가 체계다. 액션, 어드벤처, 역할수행게임(RPG), 시뮬레이션, 전략, 퍼즐 등 6개 장르의 주요 게임을 기반으로 설계됐다.

이 평가 체계에는 크래프톤이 엔비디아와 공동 개발한 '협력 가능한 플레이어 캐릭터(CPC)'를 통해 축적한 AI 설계 경험이 반영됐다. 이를 통해 LLM 기반 AI 에이전트가 복잡한 게임 상황을 해석하고 결정을 내리는 능력을 정량적으로 평가할 수 있다. 크래프톤은 '오락'을 활용해 AI 에이전트의 게임 능력을 반복적으로 검증함으로써, AI와 함께 즐기는 새로운 게임 경험의 혁신을 앞당길 것으로 기대하고 있다.


핵심 기술은 '모델 컨텍스트 프로토콜(MCP)'이다. MCP는 게임 정보를 LLM이 이해할 수 있는 텍스트 정보로 변환하고, LLM의 응답을 다시 게임에 적용 가능한 행동으로 바꾸는 역할을 한다. 이를 통해 LLM은 게임 상태를 텍스트나 이미지로 받아들여 최적의 행동을 선택하는 등 실제 플레이어처럼 기능하게 된다.

크래프톤은 '오락'을 통해 AI 기술 연구의 새로운 기준을 제시하고, 향후 게임을 넘어 다양한 산업 분야로 연구를 확장할 계획이다. 또한, LLM 파인튜닝(미세조정)에 필요한 데이터셋도 함께 제공해 연구자들이 사전 학습된 LLM을 실제 게임 환경에 최적화할 수 있도록 지원한다.

이강욱 크래프톤 딥러닝 본부장은 "'오락'은 크래프톤의 선행 연구와 노하우가 집약된 게임 특화형 LLM 벤치마크"라며 "이를 기반으로 향후 LLM 에이전트 설계 역량을 겨루는 대회도 기획 중"이라고 밝혔다. 그는 "앞으로도 게임 분야에 최적화된 LLM 기술을 지속적으로 고도화해 AI를 통한 게임 플레이 경험의 혁신을 주도하겠다"고 덧붙였다.

한편, 크래프톤은 올해 세계적인 AI 학회인 ICLR과 ICML에 논문 10편을 제출해 모두 채택됐으며, 이 중 3편은 'ICLR 스포트라이트'에 선정됐다.