▲ 핸드 트래킹은 VR 속 의사소통에서 중요하게 작용하는 기술이다
(이미지 출처: Takanashi Kiara Ch. KFP DANCE SCHOOL)

현재 메타버스 플랫폼 속이나 VR 커뮤니티에서 자신의 실제 움직임을 다른 이들에게 보여주려면 트래킹 기능을 지원하는 VR 헤드셋이나 트래킹 카메라를 갖춰야만 한다. 만약 고가의 VR 헤드셋이나 별도의 외부장치가 없더라도 나의 움직임을 표현할 수 있다면, 더 사실적이고 자유로운 의사소통이 가능해지지 않을까. 구글이 이러한 미래를 가능케 하는 새로운 기술을 준비하고 있다.

구글은 지난 6월에 개최된 AR/VR 분야 워크숍 행사인 'CV4ARVR'를 통해 새로운 모션 캡처 기술인 'BlazePose GHUM Holistic(이하 블레이즈포즈)'을 발표했다. 블레이즈포즈는 기계학습을 통해 카메라의 영상으로부터 실시간으로 사람의 형상과 자세와 관련된 3차원 정보를 취득할 수 있는 기술이다. 해당 기술을 활용하면 포즈와 같은 큰 동작은 물론, 사람의 손과 손가락의 움직임까지 포착할 수 있다.

블레이즈포즈의 작동 원리는 다음과 같다. 손의 움직임을 포함한 사람의 3차원 형상을 취득한 뒤, 각 부분을 대표하는 '랜드마크'를 점 형태로 특정하여 상세 위치를 포착하는 방식이다. 이미지에 해당하는 2차원 좌표가 아닌 3차원 좌표가 특정되므로, 3D 아바타의 움직임 등에 실시간으로 반영할 수 있다. 구글이 공개한 테스트 결과에 따르면, 신체의 랜드마크 위치 오차는 5cm 이하, 손의 랜드마크 위치 오차는 2cm에 불과할 정도로 정밀한 트래킹이 가능한 것으로 전해졌다. 현재의 블레이즈포즈는 몸과 손의 움직임 트래킹에 그쳤지만, 향후엔 얼굴의 표정 캡처에도 대응할 예정이다.

이 기술의 강점은 스마트폰이나 노트북 같은 이동용 단말기에서도 실시간으로 활용할 수 있다는 점이다. 블레이즈포즈는 모바일 기기에서도 실시간으로 활용할 수 있도록 경량 파이프라인으로 설계됐으며, 카메라 외의 다른 센서를 요구하지 않는다. 스마트폰과 노트북에 내장된 카메라는 사용자의 움직임을 추적하고, 이를 아바타의 조작이나 피트니스 앱에서의 자세 보정, AR과 VR 앱 속 3D 이펙트 적용 등에 활용할 수 있게 된다. 이 기술이 제대로 정착한다면, 지금까지 여러 대의 카메라와 고가의 센서를 갖춰야만 활용할 수 있었던 모션 캡쳐를 일반 소비자들도 쉽게 이용할 수 있게 될 것으로 기대된다.