유니티 개발자와 콘텐츠 크리에이터를 위한 축제이자 컨퍼런스, '유나이트'가 3년만에 유니티 본사에서 오프라인으로 진행됐다. 비록 이전의 오프라인 유나이트 행사처럼 수많은 인파를 수용할 공간이 아닌 터라 온오프라인 병행으로 이루어졌지만, 본사 건물에는 개발자들과 크리에이터로 북적이고 이를 직관하러 오지 못한 이들 다수는 온라인으로 세션을 들으며 새로운 기술을 확인해볼 수 있었다.
오랜만에 현장을 방문한 크리에이터들을 맞아 존 리치텔로 CEO는 키노트가 종료된 이후에도 한동안 질의응답을 진행하고, 미팅 및 여러 발표를 통해서 유니티와 관계한 모든 이들을 위한 축제의 장을 이어갔다. 그 와중에 그는 레스티요 부사장과 함께 한국의 크리에이터들을 위해 따로 한국 매체들과의 공동 인터뷰 자리를 마련했다. 유니티가 한국 매체를 위한 자리를 따로 내어줄 정도로 한국 시장을 주목하고 있는 이유는 무엇이었을까. 또 유니티가 생각하고 있는 메타버스가 무엇인지, 리치텔로 CEO와 레스티요 부사장에게서 짧게나마 이야기를 들어볼 수 있었다.
■ "'메타버스'는 이미 유니티에서 실현된 개념이다"
Q. 메타버스로 처음에 AR/VR가 언급되다가 이제 개념이 몰입형으로 전환되는 느낌이다. 이 메타버스라는 용어에 대한 생각이 궁금하다. 또한 AR/VR이 그 일부가 될 수 있을까?
리치텔로 CEO: 지난 번 한국에서 메타버스를 처음 이야기한 이후, 사람들이 많은 관심을 가졌다. 그런데 그 개념에 대해 혼동이 있었고, 그래서 6개월 전에 메타버스에 대해서 다시 발표한 바 있다.
이를 재차 말하자면, 메타버스는 인터넷의 다음 버전이라 보고 있다. 인터넷과 달리 항상 리얼타임이라고 할까. 이 리얼타임이라는 것이 뭔가 낯설 텐데, 게임이나 디지털 트윈 같이 다음 단계 프레임이 어떤 행위 없이 볼 수 없는 걸 말하는 것이다. 그 안에는 3D, 인터랙티브, 소셜, 지속성 등이 내재되어있다.
예를 들자면 부엌을 리모델링하거나 보수한다고 가정해보자. 이전까지는 도면으로만 보고 샘플로만 보지만 메타버스에서는 실제로 적용된 모습을 미리 보고 결정하는 그런 양상이 될 것이다. 그걸 기존의 디지털 환경에서 볼 수도 있고, 혹은 같은 공간에 있는 것 같은 그런 상태로 체감할 수 있는 것이다. 또다른 사례로는 공항의 실시간 3D 모델화인데, 비행기나 보안 상황 그 모든 것을 시뮬레이션해서 트래픽을 조율한다면 혼선이나 마찰을 미리 예비할 수 있지 않을까 싶다. 그밖에도 근시일 내에 옷이나 게임, 공장 등 모든 분야가 새로운 환경을 맞이하게 될 것이라 본다.
사람들은 종종 메타버스를 AR/VR과 혼동한다. AR/VR일 수는 있지만 그게 전부가 아니고, 그렇지 않아도 된다. 그것이 메타버스다. 미식축구를 메타버스로 보는 것은 AR/VR처럼 미식축구를 직접 뛰는 건 아니지 않나. 때로는 사람들이 메타버스에 아바타가 필수라 생각하는데 그 환경에서는 플레이어도 아바타도 딱히 필요 없다. 그래서 나는 메타버스란 개념을 설명할 때 XR에 국한하지 않고 폭넓게 말하고 있다.
Q. 최근에 현대와 메타팩토리 구축에 관한 업무 협약도 체결하지 않았나, 그 계기도 궁금하다.
리치텔로 CEO: 현대는 비전이 있는 회사고, 또 그 비전이 유니티와 비슷한 방향이기도 하다. 미래를 위한 지속 가능한 개발이 우리가 보는 메타버스의 지향점과 비슷하다 생각했고, 로봇과 인간이 합쳐져서 더 놀라운 무언가를 꿈꾸는 그 비전에 공감이 됐다. 현대에서는 R&D, 혁신 센터가 메타버스를 통해 발전을 이룩할 수 있다고 보았고, CEO와 이노베이션 센터 담당자를 만난 자리에서 아웃라인을 듣고 그 꿈을 지원해야겠다는 생각이 들었다.
Q. 앞서 메타버스를 언급할 때 아바타 개념이 필수는 아니라고 했는데, 이 부분에 대해 묻고 싶다. 당장 메타의 호라이즌 월드가 평가가 낮은 이유도 아바타 관련해서 평이 안 좋아서 그런 건데, 앞으로 메타버스에서 정말로 아바타가 불필요한 것인가?
리치텔로 CEO: 호라이즌 월드에 대한 개인적으로 이야기하자면, 유니티로 만들었으니 당연히 호라이즌 월드에 대해선 좋게 보고 있다(웃음). 그들이 성공하기를 바라지만, 유니티로 만든 콘텐츠가 무조건 100% 성공하는 건 아니고 내가 메타 사람도 아니니 그에 대해선 말하긴 어렵겠다.
아바타 관련해서는 메타버스를 세 가지로 분석해보자. 만약에 앞서 언급한 것처럼 옷을 미리 입어보는 유형이라면 아바타가 당연히 필요할 거다. 그런데 주식거래 같은 분야는 아바타가 필요 없지 않겠나. 주방 인테리어를 볼 때는 필요할 수도 있고, 아닐 수도 있을 거다. 그냥 단순히 둘러보는 거라면 필요 없을 테고, 그 주방에서 직접 아이들이 뛰노는데 냉장고 문이 열려있는 상황에서 그 아래로 지나갈 수 있을 높이일지 아닐지 보려면 아바타가 필요하지 않겠나. 아이의 키 그리고 성인의 키까지 비교해서 보려면 여러 개의 아바타가 갖춰줘야 할 것이고. 공항을 시뮬레이션할 때 단순히 설계도만 보면 필요없겠지만, 사람들의 동선과 트래픽을 예상하는 모델을 만든다면 수천 명의 아바타가 필요할 거다.
또 게임을 예로 들자면, 메이플스토리 같은 게임을 하려면 아바타가 필수일 거다. 그리고 그 아바타는 피파 같은 게임에서 요구하는 것과는 다를 거다. 좀 더 귀여운 걸 선택할 테니까. 이밖에도 칼텍에서 먼지의 움직임을 연구하는 물리학자를 만난 적이 있는데, 그 분진의 움직임을 볼 때는 아바타는 필요 없다고 하더라. 그런데 시뮬레이션해서 그게 인체에 어떤 영향을 미치나 보려면, 아바타가 필요하지 않겠나.
그렇게 메타버스가 일반화되고 정교해져도, 때에 따라서는 아바타를 원하지 않을 때도 있을 거다. 예를 들어 딸과 대화를 할 때 정말 부득이한 상황이 아니면, 아바타에 대고 이야기하고 싶지는 않을 것 아닌가. 딸의 현실 모습을 보고 이야기하고 싶을 거고. 그런 여러 상황을 겹쳐 볼 때 아바타는 필수는 아니라고 본다.
Q. 유니티의 디지털 휴먼 구현이 어느 수준까지 이뤄졌나? 또 이 분야의 성장 전략과 기간별 실행 계획도 궁금하다.
레스티요 부사장: 그럴싸한 인간과 생물 그래픽을 만드는 것은 렌더링 기술의 진전을 측정하는 기준이기도 하다. 물론 이 분야는 CG에서 가장 어려운 분야기도 하지만, 우리는 항상 그 문제를 해결하고자 노력해왔다. 현재 디지털 휴먼의 벤치마크는 최신 기술 데모인 '에너미즈'에서 확인할 수 있다. 여기엔 이미 '더 헤러틱'에서 수행했던 작업을 확장한 Strand 기반 헤어 솔루션, 디지털 휴먼 자산이 포함된다.
이밖에도 추가 기술 혁신을 '에너미즈'에서 보여주면서 그래픽 품질을 한층 더 높였다. '더 헤러틱'에서 처음 공유된 디지털 휴먼 기술 패키지는 2022년 2분기에 적에 대한 모든 개선 사항으로 새로워졌다. 일부 업데이트는 스킨 어태치먼트 시스템을 GPU로 이동시켜 고밀도 메시(피치 퍼즈), 홍채에 가성제가 있는 보다 현실적인 눈, 새로운 스킨 셰이더 구현을 가능케 했다. 여기에 혈류 시뮬레이션과 주름까지 세밀하게 구현하는 텐션 기술을 도입했다.
또한 Ziva RT 기술을 적용함으로써 데모 팀은 더 데이터 중심 감성으로 만들어진 주인공의 얼굴을 대화식으로 애니메이션화할 수 있었다. 단순히 기존 모델을 강조하는 게 아니라, 실제 여배우의 움직임을 바탕으로 디지털 아바타를 제대로 구현하기 시작했다는 걸 의미한다. Ziva RT 기술은 우리가 이전에 애니메이션 얼굴에서 본 것보다 훨씬 더 높은 충실도의 움직임과 얼굴 조직의 변형을 실시간으로 가능하게 했다. 단순히 여기서 멈추지 않고, 우리는 이 기술을 끊임없이 개선하고 또 개선해서 크리에이터들이 훨씬 더 나은 결과물을 나을 수 있도록 돕겠다. "유니티의 디지털 휴먼이 완성됐다"고 말하기보다는, 항상 크리에이터들의 니즈에 따라 개선하면서 현실에 더 가까워지고 있다고 보고 있다.
Q. 메타버스에 관해 산업 분야의 활용 사례만 언급되는데, 소비자 관점에서는 이야기해보면 어떤 사례가 있을까?
리치텔로 CEO: 가장 일반적인 것이라면 VR챗 같은 개인적인 콘텐츠 아닐까. 그리고 앞서 말한 리모델링이나 피팅 같은 것도 사례가 될 테고, 게임이나 영화 같은 엔터테인먼트에서도 활용되고 있지 않나.
앞으로 3, 4년 내에 지금 안경 사이즈로 에어비앤비에 체크인했을 때 방에 뭐가 있나 바로 안경으로 정보를 받는 그런 게 상용화되지 않을까. 엘리베이터를 타면 몇 층에 어떤 시설이 있고, 어디로 가야 하는지 알려주는 것도 되는 등 정보가 선택적으로 나오는 그런 도구 말이다. 그밖에 이 건물이 언제 지어졌고, 음식점은 어디에 있고 메뉴가 뭔지까지도 상세하게 나오는 그런 기능은 이미 구현이 되어있다. 스마트폰앱 중에 그런 앱들이 있으니까. 그런데 그게 언제든 원하는 때에 활용할 수 있는, 그런 것이 메타버스라 하겠다.
■ "게임은 메타버스의 근간, 그리고 한국은 그 시장의 거인이다"
Q. 그밖에 유니티에서는 메타버스 관련해서 어떤 투자를 이어가고 있나? 그리고 많은 기업들이 메타버스에 투자하고 있지만, 앞서 말했던 그런 시대는 요원하게 보인다. 어느 시점에 메타버스가 유저들이 삶의 일부라 느낄 만큼 인기를 끌게 될까?
리치텔로 CEO: 유니티는 정말 다양한 방식으로 메타버스의 미래에 투자하고 있다. 디지털 트윈을 위한 부서도 따로 있고, 그 부서에서는 미래형 공장이나 의류 산업, 공항, 도시 등을 3D로 시뮬레이션하는 그런 일을 하곤 한다. 그밖에도 액셀러레이션 솔루션이라는 부서도 마련해서, 다양한 투자 파트너를 통해 메타버스 분야에 투자하고 있다. 미래 지향형 기술을 갖고 있는데 충분한 인력이나 리소스가 없는 곳은 물론이고, 삼성 같은 코어 메가캡 컴퍼니와도 핵심 파트를 같이 구현하기 위해 그들의 핵심 기술에 투자를 같이 하고 있다.
메타버스의 미래는 얼핏 보면 멀게만 느껴지는데, 사실 지금이라도 당장 보여줄 수 있다. 일단 UFC 메타캐스트는 메타버스 시대의 스포츠 방송이 어떻게 변할지 보여주는 대표적인 사례일 거다. 아까 언급된 디지털 트윈은 건축, 생산 분야에 대한 비전뿐만 아니라 이미 현 상황에서 적용되고 있다. 그 대표적인 예가 XR로 구현한 유니티 런던 사무실이다. 런던 사무실을 새로 지을 때, 인테리어를 도면으로 보는 게 아니라 그 완성도를 직접 3D로 구축해서 실제로 적용된 모습을 미리 볼 수 있게끔 했다. 그게 더 확장이 되고 XR까지 적용되면, 냉장고를 새로 사거나 식기세척기를 놓았을 때의 예상도, 그리고 칠을 했을 때 예상도를 더 생생하게 스캔해서 볼 수 있지 않겠나.
사실 그런 기술의 근간은 이미 있다. 지금도 폰으로 방을 찍으면, 그 방을 스캔해서 밀리미터 단위까지 정확히 시뮬레이션을 구축할 수 있다. 5년 내로 그 시뮬레이션 내에 실시간으로 어떤 변화나 설정을 반영해서 디자인해나갈 수 있지 않을까 싶다. 그 몰입형에 치중해서 봐서 그럴지 몰라도, 이미 메타버스는 와있다. 디지털 트윈은 500만, 천만 개 이상이 만들어지고 있다. 그 중 95~98%는 실시간이 아니긴 하다. 그러나 지금 2020년대가 가기 전까지, 즉 7년 내로 인터넷의 거의 대부분이 메타버스식으로 구현될 것이라 생각한다.
기술의 발전이 멀게만 느껴지겠지만, 사실 눈앞에 바로 와있다. 1995년에 내 첫 핸드폰이 생겼는데, 그때는 정말 얼굴만큼 컸다. 그런데 이제는 작아지고 기능도 비교도 하지 못할 만큼 발전하지 않았나. 와이파이도 2000년도에 처음 상업화됐는데, 22년만에 일반화가 됐다. 2000년도에는 미국의 10%만 인터넷을 접속할 수 있었던 걸 생각하면 정말 놀라운 변화다. 세상은 우리가 인지하는 것보다 빨리 변한다. CPU, 네트워크, AI 그 모든 것이 우리 생각보다 빠르게 변하고 있으니, 우리가 알지 못하는 사이에 다음 기술이 태어날지도 모른다.
레스티요 부사장: 그 중에서도 게임은 특히 리얼타임 기반에 멀티 플레이가 가능하다는 점에서 더 앞서나가는 분야이고, 메타버스의 핵심이라 보고 있다. 미국 게이머 중 50%가 멀티 플레이로 게임을 즐기고, 글로벌에서는 77% 가량이 그렇게 즐기고 있다. 그래서 많은 개발자들이 멀티 플레이를 염두에 두고 게임을 개발하고 있다.
사실 멀티 플레이를 개발하는 건 쉽지 않다. 유니티는 그래서 소규모 개발사들이나 개인 개발자들이 수백만 명 이상의 플레이어가 쉽게 접근할 수 있는 환경을 구축하는데 도움을 주기 위해 솔루션을 제공하고 있다. 그 유니티 솔루션은 멀티 플레이, 그리고 메타버스의 확산을 돕는 촉매제라 생각한다.
Q, 게임쪽 관련해서 개발 통합 솔루션 ‘유니티 게이밍 서비스’를 선보였는데, 이러한 솔루션을 보면 생산성이 얼마나 향상되었나가 관건 아닌가. 전통적인 개발 방식 대비 어느 정도의 생산성이 향상되었나고 보나?
레스티요 부사장: 멀티 플레이에는 비복스 같은 트리플A급 기술이 투입이 되어야 하는데, 그걸 자체적으로 구축하려면 정말 많은 사람을 고용해야 한다. 단순히 구현하는 것으로 끝이 아니고, 보안 등 여러 가지 신경 쓸 게 많으니까. 적게는 수십 명에서 많게는 수백 명까지, 서버 관련 체계가 구축되어야 한다.
유니티 게이밍 서비스는 그와 관련해 입증된 기술을 제공, 개발사 크기와 상관 없이 멀티 플레이를 쉽게 구축할 수 있게끔 지원하는 솔루션이다. 실제로 이번 유나이트 2022에도 유니티 게이밍 서비스를 활용해 소규모 개발사들이 멀티 플레이를 구축한 사례들이 언급되는데, 이번에 나오지 않은 수많은 회사들이 이를 활용해 바로 멀티 플레이 환경을 구축하고 있다.
Q. 최근 엔진, 그리고 솔루션의 개발 흐름을 보면 우리가 흔히 게임플레이에서 당연히 구축되어야 할 것들이 파편화된 툴, 솔루션으로 다양하게 나오는 흐름이다. 그런 가운데 ‘유니티 게이밍 서비스’을 개발자들이 눈여겨봐야 할 이유를 꼽자면? 또 유니티 게이밍 서비스의 이후의 비전에 대해 설명하자면?
레스티요 부사장: 유니티 게이밍 서비스는 개발자 툴과 비즈니스 툴의 콤비네이션이다. 물론 개발자들이 직접 매치메이킹 툴을 만들 수도 있지만, 매치메이킹을 하려면 분석이나 사전 지식 등 여러 가지가 기반이 되어야 하지 않나. 또 어떤 걸 기반으로 해야 할지 짜는 것도 필요하다. 로케이션 기반, 랭크 기반 등, 여러 가지 세팅을 해야 하니까. 그리고 그 기반 기술이 접목되어야 비로소 만족스러운 매치메이킹이 완성된다. 유니티는 그 각각의 솔루션은 물론이고, 그것이 합쳐졌을 때 요구되는 비즈니스 솔루션까지 통찰해서 적용된 것이다.
현재 고심하고 있는 부분이라 하면, 첫 번째는 멀티 플레이 게임하면 으레 따라 나오는 악의적인 행동과 언어, 흔히 '독성'이라고 언급되는 그런 유형에 대한 대처들이다. 조사에 따르면 멀티 플레이를 즐기는 유저 60% 이상이 욕설이나 트롤링 등 악성 경험을 한 적이 있다고 하는데, 우리는 그걸 걸러내는 툴을 개발하는 것에 굉장히 큰 책임감을 느끼고 있다.
그래서 머신 러닝을 기반으로 개발자툴뿐만 아니라 커뮤니티까지 형성해서 어떤 게 악질적인 행위인지 그리고 어떻게 처리해야 할지 포용할지 고민해서 적용하고자 한다. 최근에는 관련 기술을 보유한 '오토'라는 회사를 인수하기도 했다.
일단 가장 직면한 문제는, 모욕적인 언어를 걸러내는 일이다. 어떤 언어에서는 욕설인 단어가 어떤 언어에서는 아닌 경우가 있으니까. 톤이나 음성, 언어적인 분석까지 다 파악해서 모욕적인 언어 활용이나 악질적인 행동을 걸러내고자 여러 가지로 고심하고 있다.
또 하나를 꼽자면, 로블록스나 그런 유형의 게임처럼, 유저가 플레이어가 되는 그런 비전을 꿈꾸는데 아직 넘어야 할 산이 많은 상황이다. 메타버스의 특징이 소비하면서 창조하는 그런 것 아닌가. 그게 몇몇 큰 개발사가 주도하는 것이 아니라 소규모 개발사, 그리고 1인 개발자들이 그 크리에이티브한 환경을 조성하고 유저들이 그 안에서 크리에이티브한 경험을 할 수 있도록 지원하고자 하는데, 그 분야를 온전히 구축하기 위해 계속 개선하고 모니터링하고 있다.
Q. 그밖에도 유니티는 통합 광고 플랫폼 기업인 아이언소스를 인수했는데, 향후 시너지 효과는 어떻게 보고 있나?
리치텔로 CEO: 합병은 4분기에 완료될 것이라는 말 외에 현재로서는 말할 수 있는 부분이 없다.
Q. 유니티의 단기 및 장기 목표는 무엇인가?
리치텔로 CEO: 해를 거듭할수록 게임을 넘어 다양한 업종에 종사하는 사람들이 유니티로 눈을 돌려 실시간 인터랙티브 콘텐츠를 만들고 있다. 게임은 항상 우리의 중심에 있었고, 여전히 그렇게 남아있을 거다. 우리의 목표와 임무는 장단기적으로 매우 간단하다. 유니티는 개발자들이 모든 종류의 특별한 게임을 만들도록 도울 것이며, 그들이 어디에 있든지 간에 그 게임을 즐길 유저에게 도달할 수 있게 해줄 것이다.
Q. 한국에 추후 방문할 계획이 있나 궁금하다. 또 한국 시장이 빠르다고 했는데, 그밖에 한국 시장의 어떤 점에 주목하고 있나?
리치텔로 CEO: 한국 시장은 게임 관련해서 굉장히 정교하게 분석하고, 또 경쟁력이 있는 시장이라 보고 있다. 그리고 최고의 게임사들이 있는 곳이자, 게임 시장의 거인이라 보고 있다. 특히 재미있게 보는 것이, 게이머들이 연예인처럼 어필되는 그런 현상이다. 미국도 그런 게 있긴 하지만, 그 정도는 아니니까.
크리에이션이라는 측면에서 보자면, 창작이나 운영 측면에서 고도의 기술을 보유한 곳이 많다. 엔씨소프트, 넥슨 같은 게임사는 물론이고 디지털 트윈 부문에서는 현대 등 거대 기업들이 자리잡고 있지 않나. 메타버스, 유니티 게이밍 서비스, 그 모든 것을 다 이야기해도 좋은 그런 곳이다. 그리고 2년은 더 앞서있는 곳. 그렇게 생각한다.
흔히 메타버스하면 로블록스, 포트나이트를 언급하는데 그 이전에 메이플스토리, 리니지가 있지 않았나 싶다. 샌프란시스코에 있는 동안 대한민국이 얼마나 큰 시장이고 얼마나 빠르게 변화하는지, 또 이들이 얼마나 미래지향적인지 잠시 잊기도 하지만, 유니티 코리아 그리고 여러 채널을 통해 계속 전해 듣고 항상 주시하고 있다. 그래서 한국을 자주 방문했지만, 최근 4~5년간 못 갔다. 기회가 되면 방문하고자 한다.
Ruudi@inven.co.kr