최근 몇 년간 IT 업계에서는 '디지털 휴먼'이라는 개념에 주목하고 있다. 이미 90년대 말에 사이버가수 아담이 등장하고, 2000년대 초 100% CG를 활용한 배우로 영화를 촬영하는 등 디지털 휴먼은 생각보다 이른 시기에 등장했다. 그러나 기술적 한계로 당시에는 대중화되기에는 다소 무리가 있었다.
최근에는 모션 캡쳐 및 가상 아바타 제작 기술이 발전하면서 누구나 간편하게 이러한 개념을 접할 수 있게 됐다. 실제로 버추얼 유튜버 등이 일시적으로 세간의 화제가 되기도 했으며, 현재도 여러 버추얼 유튜버들이 수요층에 꾸준한 호응을 얻으면서 활동하고 있기도 하다.
여기서 더 나아가, 실사에 더 가까운 디지털 휴먼을 만들고자 하는 움직임도 있었다. 디지털 휴먼 제작사 온마인드에서는 유니티를 활용, 국내 최초 리얼타임 디지털 휴먼 '수아'를 지난 6월부터 선보였다. 공개 당시 실사형 인물을 모델링할 때 생길 수 있는 불쾌한 골짜기를 극복했다는 평을 받았으며, 기술력을 인정받아 유니티 코리아와 광고 모델을 체결하기도 했다.
완벽한 디지털 휴먼을 만들기 위해서 온마인드에서는 유니티의 어떤 기능들을 활용하고 다듬어갔을까? 온마인드의 김형일 CEO는 유나이트 서울 2020에서 이 과정을 강연으로 풀어나갔다.
2020년 4월 프로토타입이 완성된 '수아' 프로젝트는, 사람과 닮은 디지털 캐릭터를 제작해 다양한 디지털 콘텐츠에 활용하는 것을 목표로 한 프로젝트였다. 단순히 사람을 닮은 캐릭터를 만드는 것에서 벗어나, 사람들에게 인기를 얻을 수 있는 디지털 셀럽을 만드는 것이 최종적인 목표였다. 즉 '사실적인 디지털 휴먼'뿐만 아니라, 인기를 얻기 위해서 어떤 모습이어야 하고 어떤 컨셉이어야 할지 정하는 것도 중요했다.
수아는 한국적인 디지털 휴먼을 염두에 둔 만큼, 국내 콘텐츠 중에서 전세계적인 인기를 얻고 있는 K-POP, 특히 걸그룹을 모델로 삼았다. 한국적인 실사형 외모로 전세계적인 시장에 뻗어나간 케이스라고 봤기 때문이었다.
수아는 단순히 사람에 좀 더 가까운 디지털 휴먼을 넘어서, 특히 한국적이면서도 친근감이 느껴지는 외모와 느낌을 주는 것에 집중했다. 따라서 모델링을 할 때 게임에서 보일 법한 완전히 칼 같이 날카로운 미형이나 딱딱 균형미가 맞는 형태가 아닌, 약간 동글동글하면서도 귀여운 상을 떠올리면서 작업에 돌입했다.
여기에 유니티 HDRP를 활용해 보다 사실적인 렌더링으로 실사화를 진행했다. HDRP로 프로토타입 완성 이후 배경을 다운로드해서 테스트하고, 오브젝트와의 인터랙티브 테스트까지 문제 없이 거쳐나갔다. 해당 프로젝트는 풀바디 모션 캡쳐를 활용했으며, 현 단계에서는 4K 리얼타임 라이브가 가능하게끔 설계가 된 상황이다.
이처럼 성공적으로 실사 디지털 휴먼을 만들기까지는 어떤 난관을 거쳤을까? 우선은 캐릭터의 근간인 모델링 작업부터 R&D를 진행해야 했다. 보통은 실사화할 때는 실제 인물의 얼굴을 스캔하고 그 데이터를 활용하지만, 온마인드에서는 사정이 여의치가 않아서 페이스스캔 대신 Z브러시로 직접 작업해야 했다.
물론 Z브러시로 작업한다고 해서 페이스스캔보다 무조건 퀄리티가 떨어진다거나 하는 것은 아니었다. 페이스스캔을 한다고 해서 모든 과정이 자동화되는 게 아니기 때문이었다. 페이스스캔 후에는 털이나 얼굴에서 안쪽으로 말려들어간 부분을 수동으로 클린업 작업을 해야만 했다. 무엇보다는 원하는 얼굴형의 모델을 찾아야 하기 때문에, 이 작업에서 추가로 시간이 소요되는 단점도 있었다.
그에 반해 Z브러시로 작업하면 자신이 원하는 얼굴상을 직접적으로 구현할 수 있어 모델을 찾는데 걸리는 시간은 단축된다는 장점이 있었다. 다만 Z브러시로 작업시 와이어프레임이 너무 많아지면 이후 작업에서 부하가 걸리기 때문에 유의할 필요가 있었다. 또한 게임 캐릭터가 아닌, 실제 인물에 가깝게 작업하기 위해선 모공이나 잔주름까지도 하나하나 정교하게 구현해야만 했다.
특히 피부뿐만 아니라, 전통적으로 실시간 엔진에서 가장 까다로운 요소인 머리카락을 구현하는 것도 관건이었다. 다수의 게임에서도 긴 머리가 자연스럽게 휘날리는 효과를 표현하기 까다로워서 일종의 편법을 사용하고 있으며, 유저들은 플레이하는 과정에서 이를 지나치기 때문에 눈치를 채지 못한다.
그러나 인물 그 자체가 부각되는 디지털 휴먼에서는 더욱 정교하게 머리카락의 움직임을 사실적으로 구현해야만 했다. 즉 어지간한 편법으로는 실사의 그 느낌을 정확하게 전달할 수 없었다. 그렇다고 머리카락을 한 올 한 올 다 만들기도 어렵고 부하가 걸리는 만큼, 머리카락이 휘날리는 그 마디마디 하나하나를 플랜으로 일일이 처리하는 방식을 채택했다. 기존에 게임 등에서 쓰던 방식보다 폴리곤 수는 다소 많지만, 최근 기술이 발전하면서 소화해낼 수 있는 정도 수준이었기 때문에 현재까지 특별한 문제는 없었다고 설명했다.
수아 프로토타입 제작 당시 유니티 HDRP는 출시된지 얼마 안 된 터라 온마인드 내에서 자체적으로 R&D를 진행해야했다. 그렇지만 HDRP의 기본 셰이더그래프 및 셰이더가 상당히 퀄리티가 좋았기 때문에 기본 사양을 거의 그대로 활용했으며, 텍스처만 별도로 준비해서 입히는 식으로 작업했다.
페이셜캡쳐는 아이폰X를 활용했는데, 블렌드쉐이프도 52개로 적고 단순하게 활용할 수 있다는 장점이 있었다. 다만 페이셜캡쳐를 위한 전문장비가 아닌 만큼 레퍼런스가 부족했으며, 실사 느낌을 완벽하게 주기에는 성능이 다소 아쉬웠다.
모션캡쳐 장비는 자금 사정상 단가가 비싼 광학식 대신 자이로식을 선택했는데, 모션캡쳐 장비의 성능뿐만 아니라 리깅이 정확하게 잘 됐나 여부가 더 중요하다는 것을 체감했다. 그냥 단순 애니메이션을 주면서 테스트할 때는 모르지만, 동작 캡처하는 과정에서 종종 캐릭터가 바닥에 붕 뜨는 듯한 느낌이 들었기 때문이다.
김형일 CEO는 현 버전의 수아도 그런 현상이 다소 발견되어서 수정 중에 있다고 설명했다. 아울러 자이로식으로 실제 모델의 디테일한 움직임까지 완벽하게 매칭시키는 것에는 다소 한계가 있는데, 이 분야에 대해서도 별도 장비가 필요한지 기존 세팅을 바꿔서 보완할 수 있는지 R&D 중이라고 덧붙였다.
의상은 현실에 있는 의상을 토대로 할 때는 포토그래메트리로 제작했으며, 현실에 존재하지 않거나 새로 디자인하고 싶은 것은 마블러스로 작업하는 식으로 구현해나갔다. 그 작업물은 디폼다이나믹스의 유니티용 플러그인을 사용해 모델링에 적용, 시뮬레이션했다.
처음에는 버추얼 카메라를 사용하지는 않았다. 그렇지만 라이브 진행 과정에서 카메라워킹이 다소 아쉽다는 평이 있어서 카메라워크를 더욱 정교하게 다듬고자 버추얼 카메라를 채택했다고 설명했다. 그러나 기존 버추얼카메라는 광학식 모션캡쳐와 연동되어있어서 자이로식과 연결하기 위해서는 다른 방법이 필요했다.
이 방법을 고민하던 중, HTC VIVE로 버추얼 카메라 구현이 가능하다고 해서 HTC VIVE를 활용해 버추얼 카메라를 적용하게 됐다고 설명했다. 그러나 바이브는 버추얼 카메라 전용이 아닌 범용 VR 장비이기 때문에 별도 VR 기능들이 추가로 있었고, 이런 기능들 때문에 프레임하락 및 떨림 현상이 일어나고는 했다. 이를 보완하고자 짐벌을 활용했으며, 바이브트래커로 한 번 더 정밀하게 트래킹을 진행했다.
이렇듯 다섯 가지 영역에서 R&D를 거치면서 '수아'를 구현할 수 있던 것은 우선 하드웨어와 소프트웨어가 뒷받침이 된 덕택이었다. 그간 GPU나 CPU에서 부하가 걸리거나, 혹은 방대한 데이터를 소프트웨어 단계에서 매끄럽게 처리하지 못하는 등 여러 이슈가 있었다. 그렇지만 하드웨어가 비약적으로 발전하고 여기에 유니티 HDRP, 컴퓨트 셰이더 등 고퀄리티 그래픽을 손쉽게 소화할 수 있도록 엔진이 발전해서 디지털 휴먼을 한 층 더 실사와 가깝게 구현할 수 있었던 것이다.
그렇지만 디지털 휴먼은 단순히 '실사에 가까운 사람'이 아니기 때문에, 아티스트의 역량이 중요하다고 강조했다. 단순히 '리얼'한 것을 넘어서, 무언가 눈길을 끄는 매력이나 실제 우리 생활에서 보는 사람보다 나은 무언가를 담아내야만 했기 때문이다. 여기에 자연스러운 움직임, 표정까지 갖춰야 하는 과제가 남아있다. 사람에 따라 다르지만, 김형일 CEO는 모션캡쳐 및 페이스캡쳐에서 모델링보다 2~3배 이상의 시간이 소요됐다고 회고했다.
이런 고난을 겪으면서 디지털 휴먼을 개발한 이유가 무엇일까? 김형일 CEO는 디지털 휴먼의 장점으로는 시공간의 제약이 없다는 점, 비도덕적인 행동을 의도적으로 설정하지 않는 한 물의를 일으킬 걱정이 없다는 점, 다양한 콘텐츠에 융합할 수 있으며 의도에 따라 맞춤 제작이 가능하다는 점을 꼽았다. 또한 최근 디지털 세대에게는 친숙한 형태인 만큼, 디지털 셀럽이라는 새로운 시장이 열릴 가능성이 있다는 점도 높게 평가했다.
마지막으로 김형일 CEO는 디지털 휴먼 개발을 위해서 유니티에서 만든 '더 헤레틱: 디지털 휴먼 테크 패키지'를 활용해보기를 권했다. 이는 유니티에서 지난 2019년 공개한 테크데모 '헤레틱'에 사용된 에셋들로, 더욱 실사에 가까운 인물을 모델링하기 위해 유니티에서 연구한 성과들이 담겨있다. 실제로 김형일 CEO도 수아를 제작하는 과정에서 난관을 극복할 때 많이 참고했으며, 특히 섀도우 및 셰이더가 정교하게 구현된 점을 강점으로 꼽았다. '더 헤레틱: 디지털 휴먼 테크 패키지'와 관련된 자료는 유니티 블로그에서 확인할 수 있다.
Ruudi@inven.co.kr
페이지 구독하기
다른 기사 보기
기사 제보하기
