미국에서 열린 게임 개발자 컨퍼런스(GDC)에서 마이크로소프트가 주최한 AI 기술 관련 토론이 진행됐다. 이번 강연의 주제는 "게임 경험을 위한 AI 혁신: 연구에서 프로토타입까지(AI Innovation for Game Experiences: From Research to Prototyping)"로, AI 기술이 게임 산업에 가져올 변화와 가능성을 탐구하는 자리였다.
강연은 마이크로소프트 AI 혁신 및 과학 부문 총괄 매니저 하이얀 장(Haiyan Zhang)이 사회를 맡았으며, 마이크로소프트 리서치의 수석 연구 매니저 카탸 호프만(Katja Hofmann)과 인월드 AI의 CEO 카일런 깁스(Kylan Gibbs)가 패널로 참여했다.
하이얀 장은 이번 토론이 제품 발표가 아닌, 연구개발(R&D)과 프로토타이핑에 초점을 맞춘 열린 대화의 장이라고 소개했다. 장 총괄은 "AI 연구의 최신 성과와 이를 기술로, 그리고 도구로 전환하는 과정에서의 도전 과제를 논의할 것"이라며 "오늘의 대화는 게임 경험을 혁신하는 데 있어 연구와 개발의 힘을 탐구하는 시간"이라고 설명했다.
카탸 호프만 수석은 마이크로소프트 리서치가 다학제적 접근을 통해 AI 혁신을 이끌고 있다고 전했다. 마이크로소프트 리서치를 통해 영국 케임브리지와 미국 레드먼드 등 전 세계 연구소에서 약 1,000명의 연구자가 활동하며, 게임 개발자와의 협업을 통해 실질적인 문제를 해결하고 있다. 특히 그녀는 최근 네이처(Nature)에 발표한 연구 프로젝트 "Muse"를 중심으로 이야기를 풀어냈다.
Muse는 기존 비디오 게임을 시뮬레이션할 수 있는 생성형 AI 모델로, "세계와 인간 행동 모델(World and Human Action Model)"이라 불린다. 호프만 수석은 닌자 시어리(Ninja Theory)가 개발한 게임 블리딩 에지(Bleeding Edge)를 예로 들며, Muse가 7년 이상의 인간 플레이 데이터를 기반으로 훈련되었다고 밝혔다. 이 모델은 3D 지오메트리, 캐릭터 상호작용, 전투 장면 등을 놀라운 정확도로 재현한다.
Muse의 훈련 과정은 대규모 언어 모델(LLM)에서 영감을 받아, 인코더-디코더 아키텍처와 트랜스포머 모델을 결합했다. 게임 화면의 시각 데이터를 압축된 토큰으로 변환하고, 플레이어의 컨트롤러 입력을 순차적으로 학습하며 다음 장면을 예측한다. 호프만은 "훈련 초기에는 일관성이 부족했지만, 백만 번의 학습 단계를 거치며 캐릭터의 비행 메커니즘 같은 세부 동작까지 구현할 수 있었다"고 설명했다.
또한 Muse는 실시간 생성과 조작이 가능한 "WEM(World Exploration Model) 데모"로 확장되었다. 이 도구는 개발자들이 게임 장면을 즉석에서 생성하고 수정하며 아이디어를 탐구할 수 있게 한다. 호프만은 "Muse는 오픈소스로 공개되었으며, 누구나 Hugging Face에서 모델을 다운로드하거나 Azure Foundry에서 활용할 수 있다"고 소개했다.
인월드 AI의 CEO 카일런 깁스는 AI 연구와 게임 산업의 접점을 실용적인 관점에서 조명했다. 그는 발라트로(Balatro), 뱀파이어 서바이버(Vampire Survivors) 같은 게임을 즐기는 "하드코어 민맥서(Minmaxer, 가능한 한 효율적인 캐릭터를 만드는 것)"임을 밝히며, "AI가 단순히 생산성을 높이는 데 머무르지 않고, 플레이어에게 재미를 주는 데 집중해야 한다"고 강조했다.
깁스 CEO는 딥마인드와 구글에서 언어 모델 연구에 참여한 경험을 바탕으로, AI가 기업용 응용 분야에 치우쳐 있다고 지적했다. 그는 "법률 계약서 검토나 마케팅 콘텐츠 생성과 달리, 게임은 플레이어의 즐거움을 극대화하는 전혀 다른 문제를 해결해야 한다"고 말했다. 이를 위해 그는 비용, 확장성, 품질, 대기 시간, 소유권 등 AI를 게임에 적용할 때 직면하는 다섯 가지 과제를 제시했다.
비용: 초기 고객 중 한 명은 하루 사용자당 15달러의 비용이 들었는데, 이는 게임으로서 지속 불가능하다. 온디바이스 추론(On-device Inference)과 하이브리드 컴퓨팅으로 비용을 줄여야 한다.
확장성: 현재 AI는 수백만 사용자와 초당 수천 건의 쿼리를 처리할 준비가 되어 있지 않다. 다중 클라우드와 로컬 추론으로 해결해야 한다.
품질과 대기 시간: 각 플레이어의 취향에 맞춘 개인화된 경험이 필요하며, 밀리초 단위의 대기 시간이 필수다.
소유권: API에 의존하면 혁신을 임대하는 꼴이 된다. 개발자가 기술을 완전히 소유할 수 있어야 한다.
장기 진화: 모델은 6주 만에 구식이 될 수 있다. 게임이 수년간 유지되려면 모델도 진화해야 한다.
깁스는 인월드 AI가 위시롤(Wishroll)의 스테이터스(Status)와 같은 게임에서 대화형 경험을 구현하거나, 스트림랩(Streamlabs)와 협력해 스트리밍 보조 AI를 개발한 사례를 소개했다. 특히 '스테이터스'는 가상의 트위터 우주에서 롤플레잉을 즐기는 독창적인 게임으로, 수백만 명의 일일 활성 사용자를 기록하며 주목받고 있다.
하이얀 장 총괄은 게임 산업이 늘 기술 혁신의 선두에 있었다고 강조했다. 둠(Doom)과 워크래프트(Warcraft)가 온라인 멀티 플레이를 개척하며 소셜 네트워킹의 토대를 닦은 것처럼, AI도 게임을 통해 새로운 경험을 창조할 잠재력이 있다고 보았다. 그녀는 "엑스박스는 창작 팀과 플레이어 커뮤니티를 연결하며, 기술이 플레이어와 개발자의 요구를 충족하도록 돕는다"고 소개했다.
강연 후반부에, AI 연구와 관련 도구 개발 간의 협업이 집중적으로 논의됐다. 카탸 호프만 수석은 Muse가 아직 초기 단계지만, 실시간 생성과 요소 조작 같은 새로운 기능을 빠르게 개발 중이라고 밝혔다. 참가자들은 직접 컨트롤러를 사용해 Muse의 프로토타입을 체험하며, 모델의 한계와 가능성을 탐구했다.
카일런 깁스 CEO는 Muse 같은 연구가 즉시 상용화되기는 어렵지만, 애니메이션 생성이나 프로토타이핑 같은 특정 문제를 해결하는 데 유용할 수 있다고 평가했다. 그는 "전체 게임을 실시간으로 생성하기보다는, 코드를 생성해 배포 가능한 형태로 만드는 방향이 더 현실적일 것"이라고 덧붙였다.
하이얀 장 총괄은 "기술은 사용자 욕구, 실행 가능성, 비즈니스 가치를 모두 고려해야 한다"며, "연구와 도구 개발이 협력하여 플레이어에게 실질적인 가치를 전달해야 한다"고 강조했다.
강연의 마지막 질문에서, 호프만 수석은 도구 개발자들에게 "초기 단계부터 현실적인 피드백과 방향성을 제시해 달라"고 요청했다. 깁스 CEO는 연구자들에게 "값비싼 (GPU) H100 대신 4090 같은 소비자 장치에서 효율적으로 작동하는 소형 모델을 개발해 달라"고 제안했다.
하이얀 장 총괄은 "AI 연구가 빠르게 진화하는 만큼, 커뮤니티가 함께 기술의 방향을 모색해야 한다"며 강연을 마무리했다. 참석자들은 AI와 게임 산업의 융합은 단순한 기술적 진보를 넘어, 플레이어에게 새로운 재미와 창의성을 제공할 수 있다고 의견을 모았다.
Biit@inven.co.kr