사실적인 캐릭터 외형에 상호 작용까지 다양한 방식으로 디지털 휴먼을 개발해온 엔비디아가 AI 가상 캐릭터에 생명을 불어넣는다는 계획을 밝혔다.


엔비디아는 현지시각으로 28일 진행된 컴퓨텍스 2023 키노트를 통해 AI 서비스인 엔비디아 옴니버스 아바타 클라우드 엔진(Avatar Cloud Engine, ACE)의 게임용 버전을 공개했다.

ACE 서비스는 비디오나 오디오 입력을 기반으로 2D 및 3D 애니메이션 구축, 원시 텍스트에서 자연스러운 음성을 합성하거나 34개 언어를 포함해 음성과 텍스트 신경망 기계 변환을 지원하는 음성 AI 기술, 생성 AI 언어 모델을 사용해 자율적인 아바타를 개발하는 기능이다.

게임용으로 구축된 ACE for Games는 대규모 언어 모델을 통해 캐릭터의 배경과 지식을 직접 정의할 수 있고 옴니버스 오디오2페이스는 음성과 캐릭터의 얼굴 애니메이션을 즉시 생성해 표현해준다. 특히 자동 음성 인식 및 텍스트 음성 변환 기술인 Riva를 통해 실시간 음성 대화를 가능하게 한다. 기술 적용에 따라 게임에 대화를 선택하는 수준을 넘어 플레이어가 마이크로 대화하고 NPC가 답하는 모습도 상상해볼 수 있다.

이날 공개된 영상에서는 ACE for Games를 활용, 사이버펑크 세계관을 배경으로 라면 가게 주인 진과 대화하는 장면이 담겼다.

한편, GSC 게임 월드의 '스토커2: 하트 오브 초르노빌', 3인칭 SF 스릴러 '포트 솔리스' 등이 게임에 오디오2페이스 기술을 적용해 개발하고 있다.