디지털 휴먼 등 다양한 명칭으로 불리는 '버추얼 휴먼' 기술은 지난 몇 년간 여러 업계에서 관심을 보인 기술이었다. 2020년 CES에서 삼성전자에서는 인공 인간 프로젝트를 발표하기도 했으며, 코로나19의 전세계적인 유행으로 비대면 접촉과 소통 및 메타버스가 화두로 떠오르면서 본격적으로 떠오르기 시작했다. 유니티 등 개발사에서도 이와 관련한 다양한 기술을 연구하고 데모로 소개하면서 전세계의 크리에이터 및 업계인들이 좀 더 쉽게 버추얼 휴먼 기술을 활용할 수 있도록 지원하기도 했다.

그 중에는 유니티를 활용해 버추얼 휴먼 제작 및 연구를 진행하고 있는 온마인드도 있었다. 2020년 국내 최초로 실시간 인터랙티브가 가능한 리얼타임 디지털 휴먼 '수아'를 발표한 곳이기도 했다. 온마인드의 첫 디지털 휴먼 '수아'는 유니티 코리아 공식 홍보 모델로 자리잡은 것에 이어 한국관광공사, 2022 서울 팝콘 홍보 모델 등 다양한 활동을 이어오고 있다. 뿐만 아니라 온마인드는 게임 및 각종 콘텐츠에서 활용할 새로운 유형의 디지털 휴먼을 이번 GDC에서 공개하면서 디지털 휴먼의 가능성을 어필하고 있다.

점차 다양한 곳에 활용되고 있는 디지털 휴먼 기술은 앞으로의 사회에 어떤 영향을 미칠 것이고, 또 어떻게 발전하고 있을까? GDC에 참석한 유니티의 김범주 본부장과 온마인드의 김형일 대표에게 물어볼 수 있었다.

▲ 유니티 코리아 김범주 본부장(좌), 온마인드 김형일 대표(우)


Q. 소개 및 GDC에 온 소감 부탁한다.

온마인드 김형일 대표(이하 김형일): 온마인드의 김형일 대표다. 온마인드는 스타트업으로 얼마 안 된 스타트업이지만. 올해 CES 참여뿐만 아니라 GDC에 유니티를 통해서 올 수 있어 글로벌로 나아갈 기회를 잡은 것 같은 느낌이다. 이번이 회사가 세계에서 인정받을 수 있는 계기가 됐으면 한다.

유니티 김범주 본부장(이하 김범주): 유니티에서는 온마인드가 유니티 디지털 휴먼 수아를 만들 때부터 같이 했는데 계속 유니티 엔진 기반으로 한 작업이 좋은 결과물을 내고 있어 뿌듯하다. 유니티 코리아의 목표 중 하나가 한국에 있는 우수한 기술 및 콘텐츠 기업을 글로벌로 소개하면서 전세계로 뻗어나갈 기회를 제공하는 것인데, 이번에 GDC 세션 발표까지 잘 이어지고 있어 뜻깊게 생각하고 있다.


Q. 수아를 비롯해 여러 디지털 휴먼을 제작할 때 유니티 엔진을 선택한 이유가 무엇인가?

김형일: 초창기에는 유니티가 아티스트들도 쉽게 개발할 수 있다는 모토로 시작하지 않았나. 나 자신이 아티스트 출신 개발자다보니 그 부분에 시선이 갔다. 유니티가 스크립트 기반으로 아티스트들도 수월하게 개발할 수 있다는 장점이 확실히 느껴져서 유니티를 선택하게 됐다.

물론 유니티 엔진도 기술이 개발하면서 점차 고도화되긴 했지만, 타 엔진 대비 아티스트가 친근하게 접근할 수 있는 것 같다. 또 여러 산업에서 활용되고 있는 만큼, 다방면에서 인간이 할 수 있는 영역을 대체하는 디지털 휴먼 기술에 필요한 호환성도 보장이 된다는 것도 컸다. 아울러 다양한 기술이 뒷받침이 되는 만큼, 단순 영상이나 이미지를 넘어 버추얼 휴먼이 가상에서 존재하면서 TV, 라이브 채널 등 활동 영역이 넓어질 수 있지 않았나 싶다.

또 한 가지 장점이라면, 유니티는 엔진이 고도화되면서 업데이트하는 새로운 기술을 알파, 베타, 테크스트림의 단계를 거쳐 빠르게 테스트해볼 수 있는 환경을 조성한다는 점이다. 버추얼 휴먼 관련 개발자들을 위해 피부색감 및 여러 면에서 실제 인간과 비슷한 '디지털 휴먼 패키지2.0'의 기술도 선보이면서 디지털 휴먼 구축에 큰 도움이 되기도 했다. 버추얼 휴먼 업계가 급속도로 성장하는 곳인 만큼, 유니티의 기술에 우리가 R&D하면서 더욱 고도화된 디지털 휴먼을 선보이고자 한다.

▲ 유니티로 만들어진 정도를 넘어, 유니티 홍보 대사까지 활약한 '수아'


Q. 이번 GDC에서 수아 외에 또다른 디지털 휴먼을 공개하는 것으로 알고 있는데, 이번에 새로 적용된 신기술을 설명한다면? 또 어떤 점에서 두 디지털 휴먼이 수아보다 나아졌다고 보나?

Y, TK 이렇게 두 가지를 선보일 예정이다. 얼굴의 주름과 혈류를 쉽게 표현하는 스킨 텐션 솔버에 더 발전한 피부 셰이더, 그리고 디지털 휴먼 패키지 2.0이 지원되면서 새로운 디지털 휴먼에 여러 기술을 적용했다.

특히 디지털 휴먼이 아니라 사람형 무언가를 제작할 때 가장 어려운 게 헤어 아니던가. 기본적으로 수 만 가닥이 잡히는 만큼 이를 하나하나 어떻게 시뮬레이션해야 할지 상정하는 것 자체도 난이도가 높다. 아울러 얇은 머리카락이면 더더욱 렌더링하기가 어렵다. 이를 유니티 헤어 시스템을 통해 높은 퍼포먼스를 보여주면서 한 단계 업그레이드 된 것 같다. 특히 TK는 실제 인물 기반에 디지털 휴먼 패키지의 모든 기술을 사용한 만큼, 실제 인간의 모습과 구분하기 어렵다는 평가도 받았다.

예전 '수아' 때는 하나하나 다 손으로 일일이 빚듯이 잡아가야 했는데, 얼굴 표정도 지바 다이나믹스의 머신 러닝 기반 표정 생성 솔루션을 활용, 몇 시간만에 다양한 표정을 고품질로 얻을 수 있었다. 특히나 눈썹, 속눈썹은 스킨 어태치먼트나 유니티 헤어 시스템이 없으면 한 땀 한 땀 만들어가면서 움직임을 새로 만들어줘야만 했다. 소위 반복노가다가 필요한 부분에서 지바 다이나믹스의 테크닉이 포함되어 퀄리티 및 작업 속도가 굉장히 발전했다 보고 있다.


Q. 유니티에서는 지바 다이나믹스 인수 이후에 원하는 효과를 얻었나 궁금하다. 또 유니티가 기대했던 효과에 대해서 한 마디 한다면?

김범주: 유니티의 예전 캐치프레이즈는 개발의 보편화였다. 이는 게임뿐만 아니라 영화 및 매체, 디지털 트윈 등 다양한 분야를 총망라해서 언급한 것이다. 더 쉽게 고퀄리티의 창작을 할 수 있다는 목표가 있는 만큼, 지바 다이나믹스 인수는 머신러닝 기반으로 캐릭터 애니메이션을 구현할 때 애를 먹었던 것을 해소하기 쉽다는 목표를 달성하는 것에 도움이 되지 않았나 싶다.

사실 불쾌한 골짜기는 단순히 어딘가 어색한 그래픽만을 의미하지 않는다. 정교한 실사풍 캐릭터가, 그만큼 정교하고 사실적인 표정의 변화를 보여주지 못하는 것 또한 불쾌한 골짜기가 생기는 요인 중 하나다. 그렇다고 해서 그 표정을 일일이 다 그 퀄리티로 구현하려고 하면, 시간과 비용이 정말 많이 소요된다. 그 디테일을 하나하나 따지면서 잡아줘야 하는 작업은 쉽지 않기 때문이다.

이를 머신러닝으로 잡아주는 지바 다이나믹스의 합류는 단순히 캐릭터, 디지털 휴먼을 넘어서 영화, 디지털 트윈까지 다양한 분야에 활용될 수 있으리라고 본다. 이번 온마인드의 사례를 보듯, 하나씩 성과를 내고 있으며 앞으로도 다양한 프로젝트를 통해 더 넓은 영역에서 그 성과를 보여줄 수 있으리라 기대한다.



Q. 국내에서 리얼타임으로 구현되는 디지털 휴먼, 버추얼 휴먼이라는 영역에 처음으로 발을 내딛지 않았나. 그 분야에 관심을 갖게 된 계기가 무엇이었나?

김형일: 사실 버추얼 휴먼 자체는 아주 오래 전에 나온 개념이다. 굳이 말하자면 '아담'이 있던 20년 전부터 이미 있었다고 할까. 그런데 아담이 성공하지 못한 이유는, 결국 그 당시에는 제작 비용이 너무 많이 들어서 감당하기 어려워서 그런 것 아닐까 싶다. 당시 기술력을 생각하면 표정 하나하나 키를 한 땀 한 땀 잡고 움직인 뒤 렌더링하는 작업 자체가 정말 시간이 오래 걸린다. 그만큼 비용도 드는 셈이고. 바이러스 말고도 그런 제약이 아마 '아담'이 사라지게 된 이유 중 하나가 아닐까.

그러다가 이제 게임 엔진이 발전해서 실시간으로 캐릭터를 렌더링하는 것이 가능하게 되지 않았나. 더 나아가 인간과 흡사한 정도의 퀄리티로 구현한 캐릭터도 실시간으로 돌릴 수 있겠다는 생각이 들었다. 물론 '수아'가 처음 나올 때만 해도 완전히 사람과 동일한 수준의 캐릭터를 돌리기엔 한계가 있었다. 그래서 수아만 해도 캐릭터스러운 디자인을 섞어서 만들는데, 그거조차도 리얼하고 예쁘다는 평가를 해줘서 감사할 따름이었다.

유니티 웨비나를 통해서 그 정도 퀄리티의 캐릭터를 실시간으로 움직이는 것도 가능하다는 걸 입증한 이후에도 여러 기술 발전이 있지 않았나. 특히 유니티의 디지털 휴먼 패키지2.0과 헤어 시스템은 획기적이었다. 그래서 수아 이후 TK, Y까지 발전하지 않았나 싶다

TK는 실제 모델을 기반으로 한 디지털 트윈에 가까운데, 단순 오프라인 렌더링만으로 그 표현을 일일이 다 실제로 잡아내는 건 불가능에 가깝다. 예전에는 그랬지만, 이제는 기술의 발전으로 쉽게 디지털트윈에 가까운 고퀄리티의 모델을 잡아낼 수 있고, 무엇보다도 속도가 훨씬 빨라졌다. 예전에는 아무리 빨라도 몇 분 걸릴 작업을 1초에 60번은 하더라. 유니티의 그런 혁신적인 기술에 놀라곤 했다.

김범주: 많은 이들이 유니티를 선택하는 이유는 아티스트, 혹은 엔진을 모르는 사람도 쓰기쉽기 때문이지 않을까. 디지털 휴먼 또한 마찬가지로 커스터마이징하기도 쉽고 스킨 어태치먼트 시스템 등 나만의 이미지를 쉽게 만들 수 있는 유연한 기술을 보유하고 있다. 지금은 실사급의 디지털 휴먼이 많이 나오는 단계지만, 앞으로 다양한 스타일의 디지털 휴먼이 나올 때에도 이런 유연함이 적극 활용되지 않을까 싶다.


Q. 다른 디지털 더블, 디지털 트윈 업체와는 차별화된 온마인드의 장점이 무엇인가?

김형일: 디지털 더블, 디지털 트윈은 저작권 이슈를 해결해야 한다. 그러나 온마인드는 수아 때부터 이미 디지털 더블 없이 처음부터 한 땀 한 땀 디지털 휴먼을 제작해왔다. 그 과정에서 습득한 노하우가 타 디지털 더블 기반의 디지털 휴먼 업체와 차별화된 강점 아닐까 싶다.

앞서 언급한 디지털 휴먼 중 Y는 디지털 더블이 아닌, 처음부터 만든 캐릭터다. 물론 사람이 만들다보면 한계가 있긴 했다. 그 부분은 디지털 휴먼 패키지 2.0가 크게 도움이 됐다. 그간 표현하기 어려웠던 디테일한 부분까지도 유니티의 다양한 기능을 통해서 표현할 수 있게 됐고, 그래서 Y를 선보일 수 있었다.

우리의 지향점은 실사 중심이라기보다는, 친근하게 다가가는 캐릭터이자 디지털 휴먼을 만드는 것이다. 사실 가상 현실하면 불쾌한 골짜기, AI로 인해 줄어드는 일자리 등 부정적인 시각이 먼저 나오지 않나. 온마인드에서는 그런 장벽에서 벗어나 사람들이 길을 가다가 지나가면서 볼 수 있을 법한 친숙한 캐릭터를 만드는 것을 중점에 두고 있다. Y는 미인형은 아니더라도 친숙한, 거부감이 적은 형태로 제작했다. 그리고 그 친숙하고 익숙한 표정들을 모두 리얼타임으로 작동하면서 친근감을 느끼게 하는 일련의 노하우가 온마인드의 장점 아닐까 싶다.



Q. 사실 3D 그래픽, 3D 캐릭터 모델링이 처음에는 "와 진짜 사람 같다"고 하다가도 시간이 지나면 "그땐 그렇게 보였는데"라는 반응이 되지 않나. 그런 것 없이, 언제 봐도 진짜 사람 같다고 느껴지게끔 발전하려면 어떤 부분에서 발전이 필요할까?

김형일: 지금도 단순히 정지된 상태에서 보이는 것만으로는 실사화의 거의 한계 수준에 도달하지 않았나 싶다. 작업물들을 보다보면 실제와 비교해봐도 깜짝 놀랄 만한 것들이 많다. 특히 몇몇 표정은, 정말 어떻게 봐도 실물 모델을 사진으로 찍은 거 아닌가 싶기도 한 결과물도 심심치 않게 보이니까.

그러나 거기에 움직임, 그리고 언어가 포함이 되면 얘기가 달라진다. 표정이 변화하거나 말을 할 때 얼굴에 잡히는 미세한 근육의 움직임도 불쾌한 골짜기를 유발하는 포인트이기 때문이다. 모션도 마찬가지다. 이를 어떻게, 얼마나 정교하게 보여줄 수 있나 여부가 실제 인간 같은 버추얼 휴먼이 등장하지 않을까 싶다. 물론 후자는 다소 시간이 걸릴 텐데, 이제 AI가 본격적으로 도입되면서 좀 더 빨라지지 질 것이라 본다. 물론 AI는 감정 그 자체가 있는 건 아니니, 실제 인간이 감정에 따라서 자연스럽게 표정이 변하는 걸 구현하려면 시간이 더 많이 필요할 것이다. 감정이라는 개념을 이해시키고 표정과 동작을 차츰 발전시키면 아마 5년 안에 사람과 비슷한 무언가가 나오지 않을까.


Q. 수아나 다른 버추얼 휴먼의 목소리도 유니티 엔진 안에서 만들 수 있는 건지, 아니면 다른 목소리를 갖고 오거나 다른 프로그램 등으로 제작하는 건지 궁금하다.

김범주: 유니티 안에서 음성 합성 엔진을 API로 가져올 수있는 시스템은 구비되어있다. 그래서 유니티에서도 음성 관련해서 여러 가지로 활용할 수 있다.

최근에 여러 개발자들이 챗GPT 유니티 안에 가져와서 NPC 캐릭터와 챗GPT로 대화할 수 있게끔 작업하기도 했고, 그와 관련한 튜토리얼도 나오고 있다. 이를 테면 유니티는 기술적인 허브라고 할까. 음성합성 및 챗GPT를 접목시켜서 자기만의 다양한 콘텐츠를 빚어낼 수 있는 플랫폼을 마련한 셈이다.


Q. 디지털 휴먼을 만들 때 음성 합성은 어떻게 진행하고 있나?

김형일: SK 텔레콤과 광고 협약을 하면서 그쪽과 협업해 목소리를 인공지능화하긴 했다. 보통 이 방법이 일반적이라 다른 곳과 우리가 크게 다르진 않으리라 본다.


Q. 최근 버추얼 휴먼을 내세워 아이돌화하는 경우도 있는데, 그때 노래하는 건 결국 사람이지 않나. 그걸 알면 몰입감 깨진다 이런 말도 있지 않나. 음성 관련해서 버추얼 휴먼 기술이 어떤 방향으로 어디까지 발전하게 될지 또 현재 어느 정도 단계인지도 궁금하다.

김형일 기술이 원체 빨리 발전하다보니까 음성 합성도 다양하게 가능하더라. 여러 사람 목소리를 합성해서 새로운 목소리도 낼 수 있다. 그런 식으로 기술이 활성화되면 어떻게 될지 모르겠다.

김범주: 음성이나 버추얼 휴먼, 그런 것은 결국 모두 다 콘텐츠에서 내용을 전달하는 방식 중 하나이지 않나. 그걸 어떻게 활용할지는 아마 크리에이터들의 몫이지 않을까 싶다.


Q. 디지털 휴먼이나 버추얼 휴먼과 관련된 산업 분야가 대부분 아이돌, 광고 등 이미 연출이 정해진 방향이지 않나., 연출, 카메라컷, 의도 등이 가미된 것을 수십 초에서 수 분 정도만 겨우 보여주는 게 한계이지 않나 싶은데, 그보다 더 긴 분량의 인터랙션을 보여준 사례는 없나? 또 앞으로 다가올 미래에 대비하고 있는 것이 있다면?

김형일: 사실 수아의 컨셉도 아이돌 지망생이긴 했다. 그래서 최종 목표는 콘서트이긴 했다. 그 목표는 지금도 변함이 없지만, 생각보다 넘어야 할 산이 많다. 손가락 끝까지 섬세한 동작까지 캡처가능한 장비, 그 동작과 장비를 소화할 수 있는 공간에 카메라 등등. 여러 가지가 필요하더라.

그때가 되어야 단방향으로 미리 짜여진 영상을 보여준느 것이 아니라 제대로 된 라이브 콘텐츠를 선보일 수 있지 않을까 싶다. 사실 수아 때 먼저 하고 싶었는데, 생각해보면 지금이 더 시기가 좋은 느낌이다. 이미 외부에서도 시스템 준비가 된 상태고, 유니티도 새로운 기술이 나오고 있으니 이를 종합해서 콘서트를 연다면 지금까지 없던 새로운 콘텐츠를 준비할 수 있찌 않을까 기대하고 있다.


Q. 신규 버추얼 휴먼이 나와도 수아는 수아대로 활동한다는 것처럼 들리는데, 수아에 적용된 기술은 구형 아니던가, 수아에게도 앞으로 최신 기술을 적욯알 것인지 궁금하다

김형일: 이번 GDC 끝나고 바로 그 작업에 들어가고자 한다. 수아는 유니티에서 디지털 휴먼 패키지 1.0를 냈을 때의 기술과 유니티 헤어 시뮬레이터 관련 기술이 섞인 중간 단계인데, 이제 유니티 디지털 패키지 2.0이 나오니까 업그레이드가 필요한 것 같더라. 언제고 새 기술이 나오면 그에 맞춰 업그레이드 가능한 것이 디지털 휴먼의 장점 아닐까 싶다.


▲ 스킨 텐션 솔버, 지바 페이스 트레이너 등 신규 기술의 사례로 GDC에 소개된 온마인드의 TK와 Y

Q. 인물을 사실적으로 만들어도 조명이나 배경이 뒷받침되지 않으면 그게 돋보이지 않지 않나. 유니티에서 배경 및 광원 관련해서 어떤 기술적인 발전이 있었나?

김범주: 저번에 선보였던 '에너미즈'에서도 그런 고민이 포함이 되어있었다. 그래서 빛 처리에 정말 신경을 많이 쓴 걸 알 수 있다.에너미즈에서 빛 처리에 정말 신경을 많이 썼다. 이번 디지털 휴먼 패키지에서도 4D 데이터에 빛을 얼마나 잘 처리하느냐가 관건이었다.

또한 '어댑티브 프로브 볼륨'처럼 실시간 반사광을 처리하는 기술은 물론이고, 실시간 레이트레이싱 기술이 점점 안정화되고 빨라지고 있어서 안정적으로 잘 처리될 것이라 본다. 얼마 전에는 식생 관련 3D 데이터를 구축한 스피드트리의 기술이 유니티에 접목됐는데, 이를 토대로 도시가 아닌 실사와 같은 자연 속에 뛰노는 디지털 휴먼의 사실적인 모습을 보여줄 수 있지 않을까 싶다.

▲ 유니티는 실시간으로 빛과 반사광의 변화를 포착하는 기술까지 더해 사실감을 더욱 살렸다


Q. 지바 다이나믹스 외에도 다른 좋은 기술을 확보한 회사를 인수해서 디지털 휴먼 기술을 다져나갈 의향인지 궁금하다

김범주: 물론 유니티는 미래지향적으로 나아가고자 하며, 그 방법은 인수 외에도 협업 등 다양하게 열려있다. 이를 토대로 유저들이 더욱 질 높은 콘텐츠를 만들 수 있도록 다방면으로 살펴보고 있다.


Q. 아무리 디지털 휴먼을 쉽게 만든다고 해도 결국 진입장벽은 존재하지 않나. GDC뿐만 아니라 유저들에게 교육의 기회를 더욱 제공할 것인지 궁금하다.

김범주: 교육은 굉장히 중요하다. 지금은 예전에 마야 등으로 3D CG와 만들던 때와 파이프라인이 달라지지 않았나. 실시간 게임 엔진의 기반을 알려면 새로 교육이 필요하다.

그래서 교육 플랫폼에 투자를 많이 하고 있다. 유니티 런을 운영해서 초급부터 고급까지 자신에게 맞는 프로그램을 학습할 수 있도록 노력하고 있으며, 이를 한국어화하고 난이도까지 세분화하는 작업을 거치고 있다.

또한 유니티 코리아 내에는 교육팀도 따로 있으며, 학교나 기업 등 각계에서 요청이 있으면 그에 맞게 커스터마이징된 교육 프로그램을 진행하고 있다.


Q. 수아는 최근 SK 텔레콤의 모델이 되지 않았나. Y의 활용 방안은 어느 쪽인지 궁금하다

김형일: 와이는 아직 계획 단계라 세계관 및 여러 활동 방안에 대해서는 아직 고민 중이다. 이번 GDC를 준비하면서 급히 발표한 것이다보니, 아직 말하기 어렵다.



Q. 디지털 휴먼 관련해서 유니티 2023에서 눈여겨볼 새로운 기술을 꼽자면?

김범주: 사실 디지털 휴먼뿐만 아니라, 크리에이터를 위한 모든 부분에서 업데이트가 되는 게 유니티 2023이다. 우선은 에디터가 점점 더 무거워지는 감이 있었는데, 이제 패키지를 한 번 더 확고히 해서 필요한 것만 다운로드 받아서 쓸 수 있끔 최적화를 거쳤다.

그리고 또 한 가지 꼽자면 URP의 기능이 업데이트됐다는 것이다. 모바일, VR, 콘솔 등 여러 환경에서 퍼포먼스를 내는 렌더링 파이프라인이 URP이지 않나. HDRP급의 초 하이퀄리티까지는 아니더라도, 그에 못지 않게 여러 환경에서 고퀄리티의 창작물을 만나볼 수 있도록 다듬어나갔다. 단순히 고사양 컴퓨터에서만 만나는 것이 아니라, 여러 기기를 통해 만나면서 인터랙션하는 것이 URP를 통해 디지털 휴먼을 돋보이게 하는 기반이 되지 않을까.


Q. 버추얼 휴먼 만들면서 가장 힘들었던 부분이무엇인가? 또 유니티에 이런 기능이 있었다면 좋았다 싶었던건 무엇인가?

김형일: 사람과 흡사한 캐릭터를 만든다는 것 자체가 힘들다. 그나마 TK는 디지털 더블로 잘 구현이 된 상태지만, Y는 그게 안 됐다. 실제로 디지털 트윈이나 더블을 해보면 동양인 여성을 구현하기가 쉽지 않다. 머리가 작게 나오거나, 모공이 안 보이는 등 무언가가 안 되어있더라. 그래서 Y는 최초에 디지털 더블을 노리다가 결국 싹 다 버리고 처음부터 다시 작업했다.

디지털 휴먼 관련해서 작업하다보면, 결국 동양인의 레퍼런스도 없고 만들기도 어렵다. 얼굴이 서양인처럼 패일 곳은 패이고 나올 것은 나온 형태가 적다보니 특징이 안 잡혀서 서양인보다 애매하게 나올 떄가 많다.

더군다나 예전에는 셰이더의 제약까지도 있다보니, 스캔한 데이터를 바로 사용할 수가 없었다. 라이팅 표현도 잘 안 됐고. 나중에 디지털 휴먼 패키지 2.0의 셰이더가되어서야 어느 정도 기본 표현이 됐는데, 그 전까지는 하나하나 손봐야 했다.

또 나이가 든 사람들의 얼굴 표현도 쉽지가 않다. 그래서 아마 '에너미즈' 데모에 나이가 있는 여성을 모델로 삼은 것 아닌가 싶다.


Q. 마지막으로 유저들에게 한 마디 부탁한다

김범주: 최근에 챗 GPT 등 AI 기술이 핫한데, 이런 기술이 디지털 휴먼에 어떤 영향을 미치고 디지털 휴먼의 활동 범위가 얼마나 넓어질지 다양한 질문이 들어오더라.

사실 챗 GPT를 좀 써본 사람이면, 이게 기계학습을 통해서 수많은 지식을 전달하는 언어 모델이라는건 알거다. 일상에 많이 활용되는 것들 위주로 텍스트 기반의 무언가가 진행되고 있지 않나. 이게 좀 더 발전하면 나중에ㄴ는 디지털 휴먼이 그와 연동이 되어서 마치 음성으로 묻고 답하는 상황 연출까지 이어지지 않을까 싶다.

실제로 말을 듣고 소통을 하는 플러그인도 써봤는데, 거기서 더 나아가 실시간 표현이 더 강조된다면? 감정적 소통도 가능해지지 않을까 싶다. 앞서 공연이나 광고 위주로 디지털 휴먼이 활용된다 하는데, 더 나아가 다양한 콘텐츠를 소화하고 종래는 친구도 될 수 있는 게 앞으로 디지털 휴먼 AI가 보여줄 변화인 것 같다. 고객 상담이나 리셉션 등, 이런 분야도 충분히 확대될 수도 있겠고.

김형일: 디지털 휴먼하면 대부분은 아직 막연하게 생각하더라. 온마인드는 풀3D 가상 캐릭터 제작을 해왔는데, 그 외에 다른 업체는 다수가 딥페이크나 디지털 트윈 등 다른 방식을 활용해왔다.

이 중에 AI와 결합하기 좋은 건 풀 3D 가상 모델이다. 가상 공간 안에서 실체로 존재하는 건 결국 가상의 존재 아니겠다. 그 외에 딥페이크 등은 원본 이미지나 영상이 있어야만 이를 토대로 무언가가 세팅이 되지 않나. 아직 그 사례가 안 나와서 고만고만해보이겠지만, AI와 디지털 휴먼 기술이 확장되면 어떠한 차이가 있나 알 수 있지 않을까.