▲ 테슬라 디지털 옵티머스 게임 부문 채용 공고 화면 (출처: teslayoda X) 출처


일론 머스크 테슬라 CEO가 테슬라와 xAI의 AI 에이전트 '디지털 옵티머스(Digital Optimus)'가 사람처럼 화면만 보고 디아블로 캠페인의 절반 정도를 플레이할 수 있다고 주장했다. 카운터 스트라이크 같은 빠른 게임 실력도 좋다고 했다. 다만 플레이 영상이나 구체적인 수치는 공개하지 않았다.

머스크는 10일 오후 4시 34분께(한국 시간) X에 이 같은 글을 올렸다. 테슬라가 게임용 AI 엔지니어를 뽑는다는 X 이용자 teslayoda의 게시물에 단 답글이다. 그는 "여기서 흥미로운 진전을 이루고 있다. 디지털 옵티머스는 지금까지 사람처럼 화면만 보고 디아블로 캠페인의 절반 정도를 플레이할 수 있다"고 썼다.

이어 "카운터 스트라이크와 다른 빠른 게임 실력도 좋다. 리그도 학습 중이다. 목표는 모든 게임으로 일반화하는 것"이라고 덧붙였다. 여기서 리그는 라이엇 게임즈의 리그 오브 레전드로 읽히지만, 머스크는 'League'라고만 적었다.

어떤 디아블로인지도 밝히지 않았다. 머스크는 최근 X에 디아블로 4 엔진이 낡았다거나 패스 오브 엑자일이 디아블로보다 능력치 설명을 잘한다는 글을 올린 바 있지만, 이번 글에는 'Diablo campaign'이라고만 썼다.

채용 공고 자체는 테슬라 홈페이지에 올라와 있다. 직무명은 '머신러닝 엔지니어, 리얼타임 게임, 디지털 옵티머스'이며 근무지는 미국 캘리포니아주 팰로앨토다. 공고는 이 자리를 '디지털 옵티머스 게이밍 트랙'으로 소개하며 "컴퓨터를 초인적인 수준으로 다루는 실시간 에이전트"를 개발한다고 설명했다. 모델이 웹을 탐색하고, 전문가용 앱을 쓰고, AAA 게임을 플레이하는 법을 배우게 된다는 내용이다.

맡을 업무로는 기억과 실시간 조작에 초점을 맞춘 장시간 게임 플레이 실험, 며칠에 걸친 작업을 스스로 끝낼 수 있는 구조 설계가 적혀 있다. 한 게임에서 익힌 능력이 다른 게임이나 일반 컴퓨터 작업으로 얼마나 옮겨 가는지 측정하는 벤치마크를 만들고, 이 에이전트를 테슬라의 자율주행(FSD)과 휴머노이드 로봇 옵티머스에 접목하는 일도 포함됐다.

자격 요건으로는 VLM(시각 언어 모델), VLA(시각 언어 행동 모델), 강화학습, 대규모 트랜스포머를 직접 다뤄 본 경험과 대형 멀티모달 학습에 한 번 이상 기여한 경력을 요구했다. 연봉은 12만 4,000~42만 달러에 현금과 주식 보상이 더해진다.

디지털 옵티머스는 머스크가 지난 3월 11일 X를 통해 공개한 테슬라·xAI 공동 프로젝트로, 매크로하드(Macrohard)라고도 불린다. 당시 머스크는 xAI의 그록이 큰 방향을 지시하고, 디지털 옵티머스가 최근 5초 동안의 실시간 화면 영상과 키보드·마우스 조작을 처리해 행동하는 구조라고 설명했다. 그는 디지털 옵티머스를 직관을 맡는 시스템 1, 그록은 생각을 맡는 시스템 2에 비유했다.

원래 내세운 쓰임새는 게임보다 사무 자동화에 가깝다. 머스크는 당시 이 시스템이 "원칙적으로 회사 전체의 기능을 흉내 낼 수 있다"며, 그래서 마이크로소프트를 비튼 매크로하드라는 이름을 붙였다고 밝혔다. 다음 날에는 AI4 컴퓨터를 단 테슬라 차량이 주행하지 않을 때 사무 작업을 대신할 수 있다고도 했다.

머스크는 7월 테슬라 2분기 실적 발표에서도 디지털 옵티머스를 언급했다. 자동차처럼 화면 영상을 받아 조작 신호를 내보내는 방식이라며 "스크린샷 같은 방식이 아니라 높은 프레임레이트의 실시간 영상"이라고 설명했다. 또 휴머노이드 옵티머스가 컴퓨터와 터치스크린을 다루려면 이 능력이 필요하다며, 개발이 유망해 보인다고 말했다.

화면을 보고 키보드와 마우스로 게임을 하는 AI가 처음은 아니다. 구글 딥마인드는 지난해 11월 게임 내부 데이터 없이 화면 영상만 보고 가상 키보드와 마우스로 3D 게임을 플레이하는 에이전트 SIMA 2를 공개했다.

머스크는 게임을 만드는 AI에 대해서도 여러 차례 목표를 내걸었다. 지난해 10월에는 "xAI 게임 스튜디오가 내년 말 전에 훌륭한 AI 생성 게임을 출시할 것"이라고 밝혔다. 다만 이는 게임을 직접 생성하는 xAI의 다른 계획으로, 이번 디지털 옵티머스의 게임 플레이와는 별개다.

이번 주장은 아직 따로 확인할 방법이 없다. 머스크는 플레이 영상이나 난이도, 카운터 스트라이크에서 상대한 수준 같은 구체적인 정보를 내놓지 않았고, 테슬라와 xAI도 관련 자료를 공개하지 않았다. 블리자드, 밸브, 라이엇 게임즈 등 게임사의 반응도 아직 확인되지 않는다. 확인된 사실은 테슬라가 AAA 게임을 플레이하는 AI 에이전트 개발자를 뽑고 있다는 것이고, 디아블로와 카운터 스트라이크 성과는 머스크의 주장이다.

https://x.com/elonmusk/status/2108823477071303109
▲ 일론 머스크가 디지털 옵티머스의 게임 플레이 진척을 주장한 X 게시물 (출처: 일론 머스크 X)