▲ 유니티 마크 쇼나겔 선임 에반젤리스트

유니티와 온마인드는 20일부터 24일까지 샌프란시스코 모스콘 센터에서 개최되는 GDC에서 유니티를 활용한 디지털 휴먼 기술과 그 사례를 발표했다. 유니티는 지난 몇 년 동안 실사에 가까운 인간 캐릭터를 테크 데모를 통해서 구현해왔으며, 온마인드는 2020년부터 국내 최초의 리얼타임 디지털 휴먼 '수아'를 발표하는 등 관련 기술 노하우를 축적한 곳이다.

시그라프 2022 등에서 유니티의 테크 데모를 통해 디지털 기술의 편린을 보여준 마크 쇼나겔 선임 에반젤리스트는 이번 GDC 현장에서 온마인드의 사례까지 포함해 한층 더 발전한 유니티의 디지털 휴먼 기술을 직접 시연하면서 설명해나갔다.

유니티는 아직 유니티가 연도 넘버 체계가 아닌 넘버링 체계였던 2015년부터 '블랙스미스' 데모 등을 통해 실사에 가까운 인물 표현 및 애니메이션에 관한 기술 데모를 제공해왔다. 그리고 최근에 제작된 '에너미즈'는 실사에 가까운 인간을 표현할 때 눈여겨봐야 할 디테일을 모두 챙긴 면모를 보여주었다. 속눈썹뿐만 아니라 솜털, 그리고 피부의 주름과 혈류량 표현까지 확인할 수 있기 때문이었다. 이는 유니티에서 '스킨 텐션 솔버' 등 실사에 가까운 인간을 좀 더 쉽게 구현하기 위해 다양하게 연구한 덕택이었다.

▲ 유니티5 시절인 2015년 공개된 '블랙스미스' 데모부터

▲ 작년에 공개된 '에너미즈'까지 실사 디지털 인간을 구현하기 위한 여러 기술적인 노력이 뒷받침됐다

뿐만 아니라 유니티는 2021년에 영화 업계에서 활약한 웨타 디지털을 인수, 그 기술을 새롭게 선보였다. 특히 지난 8월 웨타 디지털과 유니티가 함께 선보인 '라이언' 데모는 실제에 가까운 인간을 선보일 때 고민거리였던 털과 헤어 표현을 해결해줄 수 있는 단서였다. 200만 개 이상의 털이 바람 및 외부 조건에 따라 자연스럽게 휘날리는 것은 물론이고, 캐릭터 혹은 실사에 맞춰서 자유롭게 조절할 수 있는 옵션까지 더해졌기 때문이었다. 이는 단순히 자연적으로 생성된 털 종류만을 상정한 것이 아니었다. 털이나 머리카락처럼 가닥가닥 휘날리는 오브젝트들이면 거의 적용이 가능했고, 이를 더욱 창의적인 방향으로 표현하는 사례도 있었다.

▲ 흩날리는 각종 털에 대한 세부 묘사는 웨타 디지털과 함께 한 여러 기술로 극복해냈다

작년에 공개된 '에너미즈'까지 실사 디지털 인간을 구현하기 위한 여러 기술적인 노력이 뒷받침됐다. 그와 함께 중요한 인수합병 사례로는 지바 다이나믹스의 합류가 꼽혔다. 지바 다이나믹스는 머신 러닝을 기반으로 디지털 휴먼에 필요한 자료를 구축해나간 회사다. 지바 다이나믹스 등의 기술이 적용되기 전에는 실사풍의 캐릭터의 감정 표현을 실감 나게 묘사하기 위해서는 약 6,000개의 카메라로 한 프레임 분의 사진을 찍은 뒤, 이를 60FPS에 맞춰서 초당 동작을 하면서 총 360,000개의 프레임을 찍어야만 했다. 작업 용량만 해도 통상 테라바이트 단위는 우습게 넘어갈 정도였다.

그러나 지바 다이나믹스의 합류로 이를 일일이 찍어가는 수고를 하지 않아도 됐다. 지바 다이나믹스 기술의 기본은 간단했다. 단일 프레임으로 단위가 될 만한 모습을 찍은 뒤, 이를 3D 메시로 작업해서 지바의 클라우드로 보내면 이를 리깅으로 얼마든지 쉽게 표현할 수 있는 AI 솔버가 작용했기 때문이다. 이미 유나이트 2022를 통해서 보여주었던 지바 페이스트레이너는 지바의 AI 머신러닝 기술을 적극 활용, 사람들의 감정 표현 및 표정을 방대하게 머신러닝을 했던 만큼, 블렌더 셰이프나 혹은 일일이 캡처하는 것 없이 바로 메시 데이터에 릭을 걸고 실시간으로 표정 변화를 보여줄 수 있었다.


▲ 일일이 캡처한 데이터를 활용하는 것이 아닌 만큼

▲ 셰이더, 릭 등으로 원하는 만큼의 변주를 얼마든지 줄 수 있었다

여기에 스킨 텐션 솔버와 유니티의 셰이더 그래프 툴을 사용, 피부의 탄력성과 주름까지 표현하는 방식도 '에너미즈' 데모에서 엿볼 수 있었다. 스킨 텐션 솔버는 버텍스가 서로 멀어지거나 가까워지는 영역을 실시간으로 하는 소솔루션으로. 피부가 눌리면 노멀 맵을 사용하여 주름 맵과 혈류 라인을 보여주고, 피부가 늘어나면 노멀 맵이 주름이 적은 다른 노멀 맵으로 크로스 페이드되면서 자연스럽게 표정 변화와 주름살 변화를 캐치해나간 기능이다.

이처럼 '에너미즈'에서 봐야 할 디테일로는 피부가 꼽혔다. '헤러틱'에서도 이미 피부의 질감을 사실적으로 표현하는 기술이 소개됐기에 얼핏 훑어봐서는 차이를 느끼기 어려울 수 있다. 쇼나겔 에반젤리스트는 왜 에너미즈 데모에서 중년 여성을 주인공으로 내세운 이유로 '디테일'을 꼽았다. 피부의 잡티나 주름 같은 디테일을 스틸컷뿐만 아니라, 모든 환경에서 사실적으로 보여줄 수 있어야 진짜 사람 같은 디지털 휴먼을 제작할 수 있기 때문이었다.

▲ 얼굴에서 주름이 펴지고 쭈그러드는 부분을 근육에 맞춰서 셰이더맵을 제공, 주름 표현에도 현실감을 더했다

물론 이러한 과정 없이도 실사에 가까운 디지털 휴먼을 구축하는 방법은 여러모로 있었다. 그러나 쇼나겔 선임 에반젤리스트는 비용 및 용량 최적화에 대해서도 언급했다. 영화였다면 몇 기가바이트의 애셋도 일회성으로 처리할 수 있지만, 게임은 한 번 구현한 것도 여러 차례에 걸려 연산할 뿐만 아니라 언제고 재활용될 수 있기 때문에 몰개성하게 양산하는 건 사실상 어려웠다.

또한 용량도 문제였다. 통상적으로 수많은 카메라를 대기해서 구현한 버추얼 휴먼은 기다리는 시간뿐만 아니라, 가격 자체도 차이가 났다. 그렇다고 해서 유니티가 '가성비'만을 내세우는 것은 아니었다. 최적화에 대한 부분도 어필하고 있었다. 앞서 언급한 것처럼 배우의 연기 하나하나를 캡처하는 것은 몇 기가바이트를 넘어 테라바이트 단위까지 널뛰지만, 지바 다이나믹스의 툴을 통해 리깅이 적용된 메시 데이터는 15MB에 불과하다. 그리고 슬라이드 애니메이션 관련 정보는 프레임당 바이트 단위로 줄어든다. 이러한 최적화뿐만 아니라 실시간으로 자신이 원하는 표정을 배우의 실시간 연기 없이 구현할 수 있다는 점을 높이 사서 코지마 히데오 프로덕션에서는 데스스트랜딩2 티저에 지바를 활용하기도 했다.


▲ 지바 다이나믹스의 기술은 데스 스트랜딩2 티저 제작에도 활용됐다

이러한 디지털 휴먼 기술은 단순히 극실사 인간만을 표현하는 기술로 오인할 수 있으나, 쇼나겔 선임 에반젤리스트는 그와 정반대라고 설명했다. 실사 캐릭터를 기반으로 반실사, 혹은 카툰풍 캐릭터까지 인간의 얼굴 뼈대를 기반으로 한 만큼 적용할 여지는 충분히 있었기 때문이었다. 실제로 유니티를 통해 디지털 휴먼을 발표하고 유니티와 협업해온 '온마인드'는 실사에 캐릭터 요소를 섞은 '수아'를 선보이면서 호응을 얻었고, 디지털 아이돌 콘서트까지 제한적으로나마 시도하기도 했다. 그 뒤를 이어서 나오는 Y, TK는 제각각 다른 특성을 보여주면서 디지털 휴먼의 가능성을 한층 더 넓혔다.

지바 다이나믹스의 기술이 접목된 유니티의 디지털 휴먼 기술의 또다른 특징은 메시를 바꿔도 표정의 변화나 관리가 크게 바뀌지는 않는다는 점이었다. 프레임마다 따로따로 하는 것이 아닌, AI가 학습된 데이터를 기반으로 페이스데이터의 리깅 포인트를 잡아서 적용하는 방식이기 때문이다. 데이터도 4D 캡처부터 페이스트레이싱까지 다양한 데이터를 기반으로 적용하며, 리깅 그래프를 파라미터 밖까지 밀어오거나 당겨와서 만화에서 나올 법한 과장된 표현까지도 소화할 수 있게끔 했다.

▲ 릭을 활용해 실제로는 나올 수 없는 과장된 표현까지도 문제 없이 구현할 수 있고

▲ 메시 데이터를 바꿔도 큰 문제 없이 릭을 대입, 다양한 표정을 구현할 수 있다

여기에 추가로 다양한 감정 표현의 조건을 섞을 수 있는 '멀티플라이' 기능까지 추가, 훨씬 더 절제된 표현이나 눈물은 흘리지 않아도 진심으로 슬픈 효정 등 좀 더 깊이 있는 인상을 쉽게 만들 수 있었다. 다만 AI는 감정을 이해하는 것은 아닌 만큼, 실제로는 어느 정도 카테고리화하고 학습을 거쳐야만 했다. 그리고 그것이 어느 정도 완성이 된 이후, 유니티와 지바 다이나믹스는 자신의 얼굴을 메시 데이터로 입력해 이를 기반으로 다양한 디지털 휴먼을 구현할 때 도움이 되는 지바 페이스 트레이너와 AR 키트까지 준비했다.

여기에 각종 인종 및 성별, 나이대별로 다양하게 구축한 디지털 휴먼 패키지2.0을 토대로 개발자들이 좀 더 사실적인 캐릭터를 만들 때 도움이 되는 정보와 자료들을 공개했다. 그뿐만 아니라 지바 페이스 트레이너와 AR 키트, 그리고 온마인드의 디지털 휴먼 Y를 활용해 현장에서 실시간으로 바뀌는 사람의 표정을 버추얼 휴먼이 그대로 적용해서 렌더링하는 장면까지 시연했다.

현재 지바 릭 헤드와 AR KIT는 무료 베타 테스트를 진행하고 있으며, 유니티의 디지털 휴먼을 살펴볼 수 있는 디지털 휴먼 패키지는 무료로 공개하고 있다. 자세한 정보는 유니티 공식 홈페이지를 통해 확인할 수 있다.


▲ 온마인드에서 선보인 디지털 휴먼 TK(위)와 Y(아래)

▲ 그 중 이번 세션에서는 Y에 지바 릭 헤드와 AR KIT를 연동, 실시간으로 표정 변화가 반영되는 모습을 선보였다