세계 최대의 컴퓨터 그래픽 기술 전시회, 시그라프 아시아 2022가 12월 6일부터 9일까지 대구 엑스코 컨벤션에서 개최됐다. 오프라인으로는 서울에서 개최된 제 3회 시그라프 아시아에 이어서 두 번째로 국내에서 개최된 이번 행사는 그래픽 기술뿐만 아니라 AI, 인터랙션 기술 등 컴퓨터와 관련한 분야를 총망라한 행사로, 각 분야의 성격에 맞춰 총 21개의 프로그램으로 진행됐다.
특히 마지막 날인 9일에 진행된 리얼타임 라이브 프로그램은 2009년부터 시그라프에서 다루기 시작한 분야로, PC 및 콘솔을 비롯해 각종 게임과 미디어에서 활용되는 인터랙션 기술과 리얼타임 기술, 콘텐츠의 발전 과정 등을 중점적으로 다루고 있다. 이번 리얼타임 라이브 프로그램에서는 영화계에서 화두가 되는 버츄얼 스튜디오 및 인터넷 방송에서 떠오르고 있는 소재인 버츄얼 유튜버 등 가상 환경과 실제 환경이 어우러지는 기술에 대해 주목했다. 뿐만 아니라 게임과 영화, 광고 등에서 고루 쓰일 수 있는 '디지털 휴먼' 기술에 대한 논의도 활발히 이어졌다. 유니티에서는 마크 쇠나겔 유니티 선임 에반젤리스트가 참석, '에너미즈' 데모에 활용된 디지털 휴먼 기술에 대해서 소개를 이어나갔다.
■ "자연스러운 머리카락과 털은 '가닥'뿐만 아니라 중력, 골격의 움직임에 맞춘 흔들림까지 구현해야"
옛날부터 모델러들이 가장 싫어하는 것이 찰랑거리는 생머리라는 말이 있을 정도로, 머리카락 및 털의 디테일한 묘사는 난제로 자리잡았다. 한 가닥 한 가닥을 일일이 만드는 것도 문제지만, 그 가닥가닥을 실사처럼 움직이게 만드는 설정도 문제고 그렇게 구현했을 때 먹는 리소스까지 총체적 난관이기 때문이다.
유니티에서도 이 문제에 관해 '헤어 시스템'을 따로 선보일 정도로 관심을 가졌다. 이를 설명하기에 앞서 쇠나겔 에반젤리스트는 '사실적'으로 보이려면 기술적인 것뿐만 아니라 인체역학 그리고 미술적인 부분까지도 고려해봐야 한다고 설명했다.
통상 헤어 시스템하면 사람들은 말 그대로 머리카락만 생각하기 쉽다. 그래서 실제로 머리카락이 찰랑거리고 움직이는 것에만 주목해서 구현하기 쉽다. 그렇지만 유니티에서는 그 관점의 맹점에도 주목했다. 인체 구조상 머리카락은 두개골, 정확히는 두피에 고정되어있는 형태다. 두개골뿐만 아니라 그 위에 덮인 두피나 그 아래 근육들은 다른 근골격계가 움직이지 않는 한 근간부터 움직이는 일이 극히 드물다. 그래서 모근이 움직여서 헤어스타일의 윤곽이 바뀌지는 않는다. 그러나 콧수염이나 턱수염, 구레나룻, 솜털 등 신체의 다른 털들은 그렇지 않다. 표정 즉 근골의 움직임에 따라 모근의 위치값도 바뀌고 그 방향도 바뀐다.
즉 '머리카락'에만 집중하면, 자칫하면 그 털이 근골의 움직임에 따라 모근 부분의 움직임이나 좌표값 변화가 발생한다는 점을 간과하기 쉽다. 그 사소한 점도 불쾌한 골짜기를 유발할 수 있는 소지가 있는 만큼, 유니티에서는 신체 곳곳에 있는 털을 디테일하게 파악하고 이를 실사에 가깝게 구현하고자 노력했다.
디지털 휴먼 기술에서 헤어 시스템을 구현하고자 할 때 마주치는 또다른 장벽은 인종뿐만 아니라 동물의 종류에 따라 달라지는 털의 질까지 고려하는 것이었다. 동물의 털까지 고려해야 한다는 건 단순히 영어권에서는 털을 전반적으로 의미하는 단어라 그런 것은 아니었다. 이 기술이 디지털 휴먼을 넘어, 포괄적으로 쓰이기 위해서는 마땅히 고려해야 할 영역이었기 때문이다. 특히 게임 및 창작물에서는 단순히 실사풍의 헤어시스템뿐만 아니라 카툰풍 등 다양한 스타일을 활용하게 되는데, 그쪽까지 확장하기 위해서는 인체뿐만 아니라 다양한 모질에 대한 분석은 필수였다.
이 부분까지 캐치하기 위해 유니티는 그간 자체적으로 데이터를 수집하는 한편, 개발자 및 크리에이터들의 피드백까지도 축적해왔다. 뿐만 아니라 올해는 지바 다이나믹스를 인수해 디지털 휴먼 관련 기술을 보강, 적용했다. 지바 다이나믹스는 AI 기술을 활용해 디지털 휴먼 관련 노하우를 쌓아온 기업으로, 그간 유니티가 축적해온 데이터와 기술에 지바 다이나믹스의 AI 및 디지털 휴먼 노하우가 더해지면서 현재 실사풍 헤어부터 카툰풍 헤어, 절차적 생성 및 LOD에 물리 적용한 헤어까지 유니티 헤어 시스템에서 포괄적으로 구현할 수 있게 됐다.
실제 시연에서도 크리에이트창에서 헤어를 고르면, 애셋으로 바로 만들어낼 수 있다. 절차적 생성이나 스트랜드 카운트, 캡 등 헤어의 설정을 만든 뒤 빈 오브젝트에 컴포넌트로 붙이면 대략적으로 헤어가 나오는 구도다. 다만 그 헤어는 유기체에 적용되는 것이 아니라 오브젝트를 중심으로 단순히 구현된 털이기 때문에 그것만으로는 개발자들이 원하는 결과물이 나오지 않는다.
이를 위해서는 별도로 헤어툴이 요구되는데, 시연에서는 마야와 연동해서 헤어스타일을 구축하는 과정이 소개됐다. 헤어 애셋에서 오브젝트 전체를 둘러싸는 캡이 아닌 alembic으로 설정하고, 마야에서 이미 만든 alembic 파일을 불러와서 적용하는 방식이다. 이렇게 해서 만들어진 헤어는 유니티 피직스 등 유니티의 다양한 기능을 적용해서 사실적인 움직임을 더해줄 수 있다.
그것이 가능한 이유는 가닥마다 25개의 점이 찍혀있고, 이를 기점으로 머리카락이 자연스레 움직이도록 연산하기 때문이었다. 이와 관련한 메뉴인 서브디비전 수치를 바꾸면 더 찰랑찰랑해지거나 뻣뻣하게 연출해낼 수 있었다. 흔들거림과 관련해서는 댐핑의 수치를 조절하고, 머리카락이 흔들리면서 그 힘으로 다른 머리카락도 밀어내는 구도까지 신경쓰기 위해서는 헤어 푸싱의 직경을 조율하는 식으로 구성이 되어있다. 이런 모든 움직임을 단순히 움직이는 장면만으로 보는 것이 아니라, 움직이는 범위를 색으로 표시해서 파악하기 쉽게끔 설정되어있다.
■ 일일이 찍던 블렌드 쉐이프는 잊어라, AI 머신러닝에 리깅으로 끝내는 감정표현
유니티가 에너미즈 데모를 공개하면서 빠지지 않는 것이 '지바 다이나믹스' 인수 건이었다. 그간 유니티는 자체 기술 개발뿐만 아니라 비복스 등 여러 기술을 보유한 회사들을 인수하면서 유니티 엔진 및 부가 서비스를 발전시켜왔고, 지바 다이나믹스도 그 중 하나였다. 거기서 끝나지 않고 유니티는 지바 다이나믹스와 함께하면서 더 발전된 기술을 선보인다는 언급이 올해 여러 차례 있었다.
"지바 다이나믹스는 얼굴, 그리고 인체의 근육과 캐릭터 그 두 가지에 AI를 기반으로 한 기술에 집중하고 있는 회사다. 이를 위한 페이스트레이너부터 VFX까지 전반적인 영역에 걸쳐서 기술을 보유하고 있으며, 특히 4D 캡쳐를 활용해 다양한 표정을 매 프레임 단위로 캐치한 뒤 이를 AI에 업로드해서 학습시킨 방대한 데이터들이 지바 다이나믹스의 원동력이다.
프레임 단위로만 해도 기가바이트 단위의 데이터들이 40종 이상, 그것도 정말 방대한 종류의 케이스를 담은 그 데이터들이 단순히 데이터로 남아있는 게 아니다. 감정 상태가 극에 달했을 때의 표정부터 그 중간 단계, 변화하는 단계까지 다 캐치한 10분 단위의 4D 캡쳐 정보를 프레임 단위로 ZIVA AI 솔버에서 포착, 그걸 리깅으로 얼마든지 쉽게 표현할 수 있게끔 했다. 그 기술이 유나이트 2022에서 보여준 페이스트레이너다"
통상 얼굴 표정을 표현하기 위해서는 모델링을 기반으로 미리 그 표정을 만들어두고 상황에 맞춰서 블렌딩하는 기법이 자주 쓰인다. 그러나 쇠나겔 에반젤리스트가 실제로 보여준 시연에서는 별도의 블렌드 쉐이프 없이 페이스트레이너의 리깅만으로 모델링의 표정이 자유자재로 변했다. 뿐만 아니라 마야와 유니티에서 바로 연동이 되는 만큼, 바로 엔진에서 확인할 수도 있었다.
페이스트레이너의 또다른 장점으로는 페이스데이터가 바뀌어도 바로 적용할 수 있다는 점을 꼽았다. 매 프레임마다 따로따로 하는 것이 아닌, AI가 학습된 데이터를 기반으로 페이스데이터의 리깅 포인트를 잡아서 적용하는 방식이기 때문이다. 데이터도 4D 캡쳐부터 페이스트레이싱까지 다양한 데이터를 기반으로 적용하며, 리깅 그래프를 파라미터 밖까지 밀어오거나 당겨와서 만화에서 나올 법한 과장된 표현까지도 소화할 수 있게끔 했다.
또 하나 '에너미즈'에서 봐야 할 디테일 중 하나로 피부가 꼽혔다. '헤러틱'에서도 이미 피부의 질감을 사실적으로 표현하는 기술이 소개됐기에 얼핏 훑어봐서는 차이를 느끼기 어려운 수 있다. 쇠나겔 에반젤리스트는 왜 에너미즈 데모에서 중년 여성을 주인공으로 내세운 이유로 '디테일'을 꼽았다. 피부의 잡티나 주름 같은 디테일을 스틸컷뿐만 아니라, 모든 환경에서 사실적으로 보여줄 수 있어야 진짜 사람 같은 디지털 휴먼을 제작할 수 있기 때문이었다.
이를 해결하기 위한 툴이,쉐이더 트리와 그래프에 기반해서 만들어진 스킨 텐션 솔버다. 쉐이더 트리와 그래프에 기반한 것인 만큼 매 프레임마다 리얼타임으로 피부에 주어지는 텐션을 계산해서 그에 맞춰 늘리거나 눌리는 모습을 보여줄 수 있다. 또 여기에는 혈류량에 따라 피부가 변화하는 그런 것도 착안하게끔 했다. 혈류량에 따른 변화도 피부의 상태에 밀접한 영향이 있기 때문이다. 쇠나겔 에반젤리스트는 이러한 복잡다단한 사항을 AI 기술 및 데이터를 활용, 일일이 구축하지 않고 그래프나 파라미터만 조절해도 극사실적인 표현을 누구나 쉽게 할 수 있게끔 하는 것이 유니티 디지털 휴먼 기술의 궁극적인 지향점이라고 덧붙였다.
Ruudi@inven.co.kr