최근 게임업계, 엔진 개발사들이 관심분야 중 하나가 '디지털 휴먼'입니다. 말 그대로 디지털 세계 안에서 만들어낸, 가상 인간을 일컫는 말이죠.
디지털 세계 안에 돌아다니는 가상의 인간, 이렇게 설명하면 캐릭터나 아바타와 무슨 차이가 있는지 의문일 겁니다. 왜 이제야 이런 개념이 언급되나 싶기도 하죠. 이미 게이머들에겐 디지털 세계에서 인간의 모습을 한 무언가가 돌아다니면서 교류하는 장면 자체는 너무도 친숙하니까요.
그나마도 옛날에는 불쾌한 골짜기라던가, 여러 기술적인 한계로 인해서 어딘지 모르게 왜곡된 부분이 있었다면 최근에는 그래픽 기술이 발달해서 기본으로 제공되는 샘플에 세팅만 조금 잘 해줘도 구분하기 어려울 정도긴 합니다. 그런데도 왜 디지털 휴먼, 메타 휴먼 이런 개념이 언급되는 이유는 간단합니다. AI와 딥러닝까지 더해서 안에 사람이 따로 조종하지 않아도 마치 진짜 사람인 것처럼 행동하는, 그런 존재이기 때문이죠.
■ '디지털 휴먼', 언제부터 쓰였고 또 뭐에 쓰는 건가요?
그러면 "왜 실제 사람을 쓰지 않고 굳이 디지털 휴먼을 만들어서 쓸까?" 이런 의문이 생깁니다. 알파고 이후로 AI가 인간을 대체하거나 능가할 수도 있다는 인식이 점차 퍼지기 시작했지만, 아직 그 정도의 고차원적인 AI는 일부 영역에서만 사용되고 있어서 체감이 되지 않고 있죠. 그리고 최근 주로 보이는 디지털 휴먼의 사례를 보면, 실제 인물 모델을 쓰던 영역을 디지털 휴먼으로 대체하는 정도이기 때문에 더더욱 그렇게 느껴지기도 합니다.
그런데 '디지털 휴먼' 같은 가상 인간의 개념은 상당히 오래 전부터 있었습니다. 현대 VR 기술의 시초가 60년대부터 나왔던 것처럼, 디지털 휴먼의 초기 기술도 60년대부터 시작됐습니다. 컴퓨터 그래픽스라는 용어를 처음 사용한 것으로 알려진 보잉의 연구원 윌리엄 페터가 1964년 선보인 '보잉맨'을 그 시초로 보고 있죠. '보잉맨'은 항공기 조종석 시뮬레이션을 위해서 제작됐으며, 당시 기술력으로는 풀 3D로 시뮬레이션을 구현하기 어려워 선으로만 구성됐으나, 실제로 인간이 조종을 했을 때를 상정하기 위해 인체 비율에 맞춘 선화 형태로 제작됐습니다.
이처럼 가상 인간의 초기 목적은 위험한 분야에서 시뮬레이션을 거쳐 안정성을 확보하기 위한 것이었습니다. 사람이 전 과정에 직접 참가하면 위험하니 미리 가상 시뮬레이션을 돌려서 개선된 이후에 사람이 최종적으로 확인하면서 안정성도 확보하고, 사람과 달리 기계는 특정 명령어가 내려오지 않는 한 계속해서 쉬지 않고 반복작업을 하기에 시간도 절약할 수 있었죠.
이후 컴퓨터 기술 및 그래픽 관련 기술이 발전하면서 실제 인간과 유사한 모습을 컴퓨터 그래픽으로 선보일 수 있게 되자 점차 산업계를 넘어서 엔터테인먼트 등 다른 분야로 이 기술의 가능성에 눈을 돌리게 됩니다. 그러나 아직 불쾌한 골짜기가 느껴지는 그래픽에, AI나 인터페이스가 그만큼 뒷받침되지 않아 결국 인간이 개입해서 모델링을 움직이거나 혹은 안에서 연기하는 식으로 과도기를 거쳤죠. 그 뒤로도 여러 차례 시도가 있긴 했지만 기술의 한계로 소비자들의 눈높이를 맞추기엔 다소 부족했습니다.
그러다가 알파고 전후로 AI와 딥러닝, ML 기술이 발전하기 시작하고 그래픽 관련 기술도 한 차원 도약하면서 물꼬가 트기 시작합니다. 그간 연구하면서 쌓인 빅데이터를 활용한 AI 및 ML 기술로 사람의 대화나 행동을 거진 비슷하게 흉내내게 할 수 있었고, 상용 엔진 개발사에서 경쟁적으로 실시간 3D 렌더링 관련 기술을 쏟아내자 이를 토대로 실시간으로 마치 사람이 움직이는 것 같은 모습을 바로바로 연출할 수도 있었습니다.
국내에서 대표적인 사례를 들자면 CES 2020에서 삼성이 발표한 인공 인간 '네온'과 넵튠 산하 온마인드에서 개발한 디지털 휴먼 '수아'가 있습니다. '네온'은 삼성리서치 아메리카 산하 연구소인 스타랩에서 개발한 가상 인간으로, 인간처럼 자연스럽게 대화를 나누고 행동하도록 설계됐습니다. 또한 설정에 따라 특정 업무에 도움이 되도록 개인화할 수도 있죠.
온마인드에서 개발한 '수아'는 유니티 엔진으로 개발된 디지털 휴먼으로, 단순히 사람에 좀 더 가까운 디지털 휴먼을 넘어서, 특히 한국적이면서도 친근감이 느껴지는 외모와 느낌을 주는 것에 집중한 케이스입니다. 지난 2020년 6월부터 유니티 코리아와 광고 모델을 체결한 '수아'는 국내에서 디지털 셀럽이라는 새로운 분야를 연 첫 케이스로 자리잡았습니다.
이외에도 넷마블, 크래프톤, 스마일게이트 등에서도 그간의 3D 모델링 노하우에 AI와 딥러닝 연구를 집중, 점차 디지털 휴먼 개발 분야에 관심을 보이고 있습니다. 특히나 최근 '메타버스'가 대두되면서 그와 관련된 디지털 휴먼 개발에 박차를 가하고 있죠.
지난 1월 넷마블에프앤씨는 신작 '오버프라임'의 CBT 공개 쇼츠 업로드 당시에 디지털 휴먼 '리나'를 같이 공개하기도 했죠. 크래프톤은 딥러닝 팀을 확장하는 한편, 지난 2월에는 현재 제작 중인 디지털 휴먼의 영상을, 6월에는 '버츄얼 휴먼 '애나'의 티저 이미지를 공개했습니다. 스마일게이트는 VR 게임 '포커스 온 유'의 주인공 '한유아'를 디지털 휴먼으로 발전시켰을 뿐만 아니라, 여러 보이스 데이터를 취합한 후 AI로 합성해서 고유 목소리까지 구현해 '아이 라이크 댓' 등 신곡을 발표하기도 했죠.
디지털 휴먼이 관심을 받는 것은 단순히 '메타버스' 때문만은 아닙니다. 앞서 언급한 것처럼 시공간의 제약도 없다는 것도 장점이죠. 더군다나 한 번 만들어두면 다양한 콘텐츠에 융합할 수도 있고, 의도에 따라 맞춤식 제작도 가능합니다. 물의를 일으킬 행동을 설정해두지 않는 한 그런 일이 발생하지 않는다는 것도 리스크를 최소화하고자 하는 기업의 니즈에 부합하는 것이기도 하고요.
■ 일반인에게는 멀게만 느껴지는 디지털 휴먼, 만들 수도 있다고?
이렇듯 디지털 휴먼은 단순한 아바타가 아니라, 여러 가지로 활용될 수 있는 가상의 존재입니다. 코로나19로 대면 접촉이 어려워지면서 점점 더 관심도 높아졌고, 그 흐름을 타고 여러 디지털 휴먼이 현재 곳곳에서 활동하고 있는 상황이죠.
업계에서 다양한 디지털 휴먼을 개발하고 사용하고 있다고는 하지만, 일반 소비자들에게는 아직까지는 큰 반향이 일지는 않은 상황입니다. 몇몇 광고에서 디지털 휴먼이 사용된 사례가 있다고는 하지만, 아직 실존하는 유명인을 활용한 마케팅에 비하면 입에 오르락내리락하는 일은 적습니다. 디지털 휴먼이 사용됐다는 기사를 흘끗 보고 나서야 다시금 확인하는 정도죠. 신곡을 발표하는 등 본격적으로 디지털 셀럽으로 나서는 케이스도 있긴 하지만, 아직 초기 단계라 실제 연예인만큼의 파급력을 기대하려면 조금 더 지켜봐야 하겠습니다.
그렇게 멀게 느껴지는 이유는, 아무래도 실제로 디지털 휴먼을 접하는 사례도 적을뿐더러 그것이 아직은 대중적으로 활용하기엔 접근성이 떨어지기 때문일 겁니다. 디지털 휴먼을 만들기 위해서는 앞서 언급한 것처럼 실제 사람 같이 생긴 3D 모델에, 이를 진짜 사람처럼 움직이게 만드는 애니메이션, 그리고 외부의 자극에 대한 반응이나 여러 정보를 알아서 처리하고 대응 가능한 수준 높은 AI가 필요하죠. 이미 AI가 몇몇 분야에 한정하면 인간을 뛰어넘었다는 이런 말이 나오곤 하지만, '몇몇 분야'를 빼고 종합적으로 보자면 아직은 애매하기도 하고, 또 대중화하기엔 거쳐갈 단계가 많습니다.
내부에서 움직여줄 AI뿐만 아니라 외양, 즉 디지털 휴먼을 모델링하고 실시간으로 렌더링하는 것도 그리 녹록치는 않았습니다. 3D 개발 과정에서는 단순히 만들어낸 모델링만 화면에 띄우는 게 아니기 때문이죠. 기계는 정말 지시한 사항'만' 칼 같이 하는 존재이기 때문에, 그냥 모델링만 만들어서 띄우면 모델링만 나옵니다. 그리고 화면에는 아무 것도 안 보이죠.
그게 무슨 말이냐면 '빛'이나 그 캐릭터를 볼 수 있게 하는 '카메라'도 설치 안 한 상태라 마치 아무도 보지 않는 어두운 방에 홀로 던져둔 것 같은 상태가 되는 겁니다. 그래서 라이트나 여러 효과까지도 넣으면서 '베이크'라고 하는 작업을 거치죠. 빛의 굴절이나 반사, 효과의 영향까지 연산해서 구축하는 그 단계는 옛날에는 몇 시간 심지어 며칠이 걸렸던 작업이었습니다. 그렇지만 이제는 게임 엔진이나 하드웨어 둘 다 발전해서 어지간한 건 실시간으로 렌더링할 수 있을 정도가 됐습니다.
심지어 이런 기술력을 활용, 디지털 휴먼의 기반이 될 샘플을 바로 실시간으로 만들어볼 수 있는 앱도 나오고 있죠. 에픽게임즈에서 지난 2월 공개한 '메타휴먼 크리에이터'가 대표적인 사례로, 그간 에픽게임즈가 축적해온 데이터베이스를 토대로 제작된 다양한 프리셋을 활용해 디지털 휴먼의 샘플을 제작할 수 있습니다. 언리얼 엔진의 스트랜드 기반으로 제작된 다양한 헤어 스타일이나 의상, 체형 교체도 가능하죠.
아울러 퀵셀 브리지를 통해 디지털 휴먼을 다운로드, 언리얼 엔진에서 애니메이션과 모션 캡쳐를 바로 적용할 수 있습니다. 메시, 스켈레톤, 페이셜 릭, 애니메이션 컨트롤, 머터리얼 등 개발 과정에서 요구되는 소스 데이터들도 마야 파일 형식으로 제공하죠.
물론 이렇게 만들어진 건 디지털 휴먼의 외양이고, 실제로 우리가 '디지털 휴먼'이라고 부르는 개체들처럼 알아서 반응하게끔 하는 AI 같은 건 따로 작업을 거쳐야 합니다. 아직 그런 관문이 남아있긴 하지만, 적어도 또다른 관문인 '진짜 사람 같은 외양의 모델링'과 '사람 같은 움직임'을 구현하기 위한 작업의 난이도는 대폭 낮아졌으니, 디지털 휴먼이라는 과제가 이전에 비해 진입장벽이 상당히 낮아진 건 분명하죠.
■ '메타휴먼 크리에이터'와 '메시 투 메타 휴먼'으로 메타 휴먼 만들어보기
야매로나마 게임을 만들려고 시도해봤던 경험이 있기도 하고, 3D 그래픽 관련 수업도 날먹에 가까울 수준으로 가까스로 통과하긴 했지만 어쨌든 들어본 적이 있던 터라 개인적으로도 메타휴먼 크리에이터에 눈길이 끌렸습니다. 옛날에 점, 선, 면, 입체, 폴리곤 이런 것부터 하나하나 차곡차곡 어찌저찌 쌓아서 모델링을 만들어보다가 똥손에 좌절해 그나마 조금은 그림은 그릴 줄 알아서 어쩔 수 없이 2D로 전향했던 아픈 기억이 있었기 때문이죠.
'메타휴먼 크리에이터'는 앞서 언급한 것처럼 클라우드 기반의 앱이라서, 언리얼 엔진이나 별도의 프로그램을 설치할 필요 없이 바로 실행이 됩니다. 또 클라우드 기반이기 때문에 고사양의 PC나 고용량의 저장공간 없이도 자신이 제작한 샘플을 저장할 수 있죠
실제로 작업해본 '메타휴먼 크리에이터'는 게임 커스터마이징 시스템의 감각에 맞춰서 구현됐습니다. 에픽게임즈에서 미리 구축해둔 프리셋을 바탕으로 얼굴 외형, 피부색, 주름, 체형, 헤어스타일부터 치아 상태나 피부 나이까지 디테일하게 바꿀 수 있다는 게 특징이었죠. 치아도 잇몸이나 플라그 정도까지 세세하게 조정이 가능하고, 기본으로 몇몇 배경과 간단한 애니메이션을 제공해서 실제로 프로젝트 내에 적용했을 때 어떻게 보일지 엔진에서 넣고 직접 확인하지 않아도 대략적으로 파악할 수 있었습니다.
메타휴먼 크리에이터에서 다양하게 제작해서 저장까지는 가능하지만, 그렇게 저장해둔 데이터를 사용하기 위해서는 역시나 엔진이 필요합니다. 메타휴먼 크리에이터로 작업한 데이터는 퀵셀 브리지 플러그인을 설치하고 나서 실행, 에픽게임즈 계정에 연동하면 다운로드 및 익스포트가 가능해집니다. 그렇게 얻은 데이터를 언리얼 엔진4, 5 둘 다 적용할 수 있죠.
더 나아가 언리얼 엔진5에서는 메타휴먼 크리에이터뿐만 아니라 캐릭터 메시를 언리얼 엔진에 임포트하면 메타휴먼을 바로 구축할 수 있는 '메시 투 메타휴먼' 기능을 선보였습니다. 메타휴먼 크리에이터와 언리얼 엔진5, 메타휴먼 플러그인, 퀵셀 브리지 플러그인만 있으면 언리얼 엔진에서 프로젝트를 구성한 후 캐릭터 메시를 임포트하면 메타 휴먼을 생성할 수 있게끔 한 것이죠.
3D 게임 개발 울렁증(?)이 있는데 갑작스럽게 3D로 작업해야해서 처음엔 어떻게 해야 할까 싶긴 했습니다. 실사풍 3D 캐릭터 제작에 쓸 메시를 어디서 구해야 할까 싶었거든요. 그러다가 '혹시' 싶어서 게임 캐릭터의 메시 데이터를 써보기로 했습니다. 그것도 통 크게 무료로 풀린, '파라곤'의 데이터를 말이죠.
'파라곤'의 캐릭터들은 실사에 가깝게 제작되긴 했지만, 디지털 휴먼처럼 아예 실제 인간을 대체하기 위해 만들어진 캐릭터들이 아닙니다. 그렇긴 하지만 엔진에서 메타휴먼 플러그를 활성화하고 메타휴먼 아이덴티티 애셋을 생성한 뒤, 메타휴먼 아이덴티티 애셋을 더블클릭해서 창을 열고 메시의 컴포넌트창으로 아까 임포트한 파라곤 캐릭터 애셋을 참조하니 반영이 됐습니다.
물론 그 단계에서는 아직 '메시 투 메타휴먼' 기능이 활성화되지 않습니다. 아직 메타휴먼의 얼굴에 적용할 눈, 코, 입의 위치가 정확히 포착되지 않은 상태라서 이를 직접 잡아줘야하기 때문이죠. 그러기 위해서는 아이덴티티 에셋에서 중립 포즈(Neutral Pose)'에 두고 '프레임 승격'을 실행합니다. 그러면 창 하단에 프레임 넘버가 뜨는데, 그 하단창을 우클릭해서 '오토트래킹 켜기'를 하면 눈, 코, 입, 귀 등 메타 휴먼을 제작할 때 기준이 되는 요소들의 포인트가 잡힙니다.
이목구비 위치가 크게 이상하게 잡히지 않았다면 메타휴먼 아이덴티티 솔브로를 실행, 템플릿 메시가 만들어지고 메시 투 메타휴먼을 활성화할 수 있습니다. 아직은 얼굴 관련 사항만 잡힌 터라, 바디에 가서 체형을 고르는 단계가 남아있죠. 기본 체형까지 고른 뒤에 메시 투 메타휴먼을 실행하면 메타휴먼 백엔드에 템플릿 메시가 제출되고, 에픽게임즈 계정 정보를 통해 메타휴먼 크리에이터로 데이터가 넘어가게 됩니다.
메타 휴먼 크리에이터 앱을 실행하면 메시 데이터를 기반으로 만들어진 메타휴먼 세팅이 마치 커스터마이징창처럼 나와있습니다. 두개골부터 하관까지 얼굴 각 부위의 메시를 다듬어서 얼굴 윤곽을 자신이 원하는 대로 한 차례 더 바꾸는 '커스텀 메시'부터 치아 상태까지, 메타휴먼 크리에이터의 다양한 옵션을 조율해서 자신만의 메타휴먼을 만들 수 있죠. 다만 메타휴먼 크리에이터 내에서는 헤어나 옷, 신발 등은 프리셋으로 제공된 것만 사용 가능하고, 이전에 메시 데이터로 있던 캐릭터의 헤어 데이터나 의상을 불러오진 못합니다. 그리고 어디까지나 외양 데이터일 뿐이죠.
다만 앞서 메타 휴먼 크리에이터에서 만든 기본 프리셋을 언리얼 엔진에 익스포트할 수 있는 것처럼, 자신이 직접 언리얼 엔진에서 메시 투 메타휴먼으로 제작한 메타 휴먼을 언리얼 엔진으로 또 불러와서 편집하는 것도 가능합니다. 그 메타 휴먼을 갖고 언리얼 엔진 내에서 애니메이션을 추가로 넣기 위해서는 또다른 작업이 필요하지만요.
아직은 시험 단계다보니 개발자들이 심혈을 기울여서 만든 실사 프로젝트에 비하면 다소 위화감이 들긴 합니다. 그렇지만 모델링을 만드는 것과는 비교도 안 될 정도로 빠른 시간에 어느 정도 퀄리티가 갖춰진 실사 모델링을 확보할 수 있다는 점은 놀라울 따름이죠. 그것도 실사를 바탕으로 한 메시가 아니라, 어느 정도 실사에 가까운 캐릭터 메시면 오토트래킹으로 바로 메타 휴먼으로 전환 가능하다는 점도 눈여겨볼 만합니다.
물론 진정한 의미의 '실사'를 만들기 위해서는 모델링이 전부가 아니라 라이트나 셰이더 등 디테일에 사람 같은 움직임이 필요할 겁니다. 그 단계까지 100% 완벽하게 자동화가 진행되진 않았지만, 적어도 그 틀을 어느 정도 갖추기까지 사람의 손을 거의 안 거치고도 제작이 가능하다는 건 꽤나 고무적인 일일 겁니다. 여기에 가면 갈수록 나나이트나 루멘 등 가상의 인물들이 뛰어다닐 방대하고 정교한 오픈월드도 과부하나 로딩 없이 자연스레 렌더링할 수 있게끔 하는 기술이 나왔으니, 앞으로 업체들이 이런 기술을 활용해서 어떤 가상 세계를 만들어낼지 기대됩니다.
Ruudi@inven.co.kr