랜 갈 마이크로소프트 수석 연구 엔지니어, 브라이언 슈웝 매직리프 디렉터
MR(Mixed Reality)는 가상현실과 현실세계를 합쳐서 새로운 환경이나 새로운 정보를 만들어내는 것을 일컫는다. 현실의 정보를 기반으로 해서 새로운 것을 덧입힌다는 점은 AR과 유사하고, 또 다른 현실에 대한 몰입감을 추구한다는 점에서는 VR과 유사한 개념이다. 이러한 장점들을 취하면서 AR, VR이 갖고 있는 각각의 단점을 보완하고자 시도하는 것이 현재 MR 기술이 추구하고 있는 방향이다.
지난 몇 년 간 또 다른 현실을 만들어가기 위한 XR 기술은 지속적으로 발전하고 있다. 콘솔이나 PC에 연결하지 않고 독립적으로 작동하는 VR 기기나, 유저의 조작에 좀 더 다양하게 반응하거나 현실의 배경에 맞춰 움직이는 AR 캐릭터 등은 한 때 소설 속 이야기였지만, 이제는 마음만 먹으면 접할 수 있다.
그렇다면 앞으로 XR,특히 AR과 VR의 장점을 취하고 단점을 보완하는 개념인 MR은 어떻게 발전할 것이며, 어떤 점을 고쳐야 할까? 브라이언 슈웝 매직리프 디렉터, 조노 포브스 유니티 랩스 수석 소프트웨어 엔지니어, 사만다 고먼 텐더클로즈 공동 창업자, 랜 갈 마이크로소프트 수석 연구 엔지니어는 이번 GDC에서 MR의 특징과, 앞으로 나아가야 할 길에 대해서 설명했다.
랜 갈 마이크로소프트 수석 연구 엔지니어는 지난 6년 동안 마이크로소프트의 XR 기술 리서치팀에서 여러 프로젝트를 진행 중이라고 소개했다. 마이크로소프트 리서치팀에서 당면한 과제는 '어떻게 이를 즐겁게 받아들이느냐'하는 문제였다.
이미 XR은 사물인터넷 등 다방면으로 활용이 가능한 기술로 인정받고 있고, 실제로 이러한 시도들이 곳곳에서 일어나고 있다. 그렇지만 아직까지 기술적인 성과 단계로만 언급이 되고 있고, 소비자들이 체감하는 것은 조금 다르다. 그들이 직접 피부로 느낄 수 있을 만큼 친숙하거나, 언제든지 쓸 수 있을 정도로 가깝게 다가오고 있지 않기 때문이다.
이 문제에 대해서 사만다 고먼 공동 창업자는 텐더클로즈에서 개발한 '텐더'의 사례를 예로 들었다. '텐더'는 가상의 물고기와 교감을 하는 AR 콘텐츠 앱으로, 위치 기반으로 특정 데이터를 호출하거나 기록하는 것에 그치지 않는다. '텐더'가 내세운 가장 큰 특징은 카메라를 통해서 화면에 뜬 사람의 표정을 인식하고, 이를 물고기 '가비'가 받아들이면서 마치 경험치가 쌓이듯 상호작용하는 것이다. 예를 들어서 화가 난 표정을 보면 가비는 몸이 울그락불그락 변하면서 부풀어오른다. 웃는 사람을 보면 형형색색으로 변하면서 같이 웃는 표정을 짓게 된다.
또 한 가지 특징은, 사진이나 동상 혹은 그림 속에 드러난 표정에도 반응을 한다는 점이다. 그리고 단순히 한두 번 반응을 하고 끝나는 것이 아니라, 마치 경험치가 쌓여서 레벨 업을 하는 것처럼 가비는 점점 더 다양하고, 과장된 반응을 보이게 된다.
이는 게임이라는 관점에서 보면 지극히 간단한 기술을 구현한 것에 지나지 않는다. 모든 게임은 기본적으로 유저와 기계의 상호작용을 바탕으로 한다. 유저의 명령을 기계가 인식하고 이를 출력하고, 이 출력한 결과물에 유저가 영향을 받고 기계에 다시 입력을 하는 순환 관계가 이어지기 때문이다. 그렇지만 '텐더'에 활용된 기술은 AR, MR 콘텐츠의 첫 걸음이자 앞으로 지향해야 할 방향이 있다고 고먼은 지적했다.
'텐더'는 AR 기술을 통해서 수집한 정보들을 토대로 오브젝트 '가비'가 리액션을 하도록 했다. 그리고 이 리액션이 특정 명령에 조건반사적으로 대응하는 것이 아니라, 학습을 통해서 인식하고, 그때그때 다르게 반응하게끔 했다. 이는 현실을 기반으로 무언가 추가된 AR이 아니라, 그렇게 쌓인 것들을 바탕으로 또 다른 현실을 구축하는 MR의 개념이다. 여기서 또 다른 현실은, 화면 속 물고기가 '학습하고', '그때그때 유저에게 다른 반응을 보이며', '진짜로 화면 속에서 사는 것 같이 느끼게 한다'는 개념이다.
유니티 랩스의 조노 포브스 수석 소프트웨어 엔지니어는 이러한 개념을 구현하는 과정을 기술적으로 설명했다. 우선 오브젝트를 디바이스에서 스캔하는 과정을 거치게 된다. 그리고 이 스캔한 오브젝트를 디바이스에서 읽고, 이해하는 과정이 필요하다. 이는 마치 인간이 물체를 인식하는 과정과 유사한데, 이러한 과정에서 최근 머신 러닝 방식이 도입이 되고 있다.
그렇다면 디바이스에서는 물체를 어떻게 인식하도록 해야 할까? 포브스 수석 소프트웨어 엔지니어는 유니티 MARS에서 인식하는 방식을 예로 들었다. 일반적으로 엔진에서는 오브젝트의 상태를 설명할 때 앵글, 좌표 등을 토대로 한다. 이 수치를 보고, 조작하면서 개발자들이 오브젝트의 크기나 각도, 방향을 조절한다. 원래 있던 사물을 불러올 때에도 이 수치들을 바탕으로 화면에 나타내게 되며, 이를 개발자들이 보고서 게임에 맞춰서 바꿔나간다. MARS에서도 기본은 동일하다. 화면에 뜬 이미지, 영상 속 오브젝트들의 앵글과 좌표를 불러온 뒤에, 이를 화면 속에서 실제의 폭과 비율에 맞춰서 시뮬레이션을 한다. 그리고는 그에 맞춰 구축하도록 계산이 이루어진다.
여기까지는 현실 속 사물을 오브젝트화하게끔 인식하는 방법이었다면, MARS에서는 한 층 더 나아가 그 오브젝트 위에 추가로 작업을 하는 것까지 시도하고 있다. MARS 프로젝트의 궁극적인 목표는 스크립트 같은 것 없이도 간단히 AR 콘텐츠를 구축해나가는 것이기 때문이다. 예를 들면 마크업, 타일맵, 레이어 구분도 별도의 엔진 작업 없이 현실 속 모습에 바로 반영해서 작업할 수 있게끔 하고 있다. 이런 방식이 앞으로 MR의 기초적인 방식이며, 이 기술이 유저 그리고 이용자들에게 줄 이득과 재미는 상당할 것이라고 포브스 수석 소프트웨어 엔지니어는 기대했다.
매직리프의 브라이언 슈웝 디렉터는 이 과정이 결코 쉽지 않다는 것을 강조했다. 우선 현실 자체가 복잡하기 때문이다. 개를 예로 들자면, 도베르만과 슈나우저 모두 다 개에 속한다. 그리고 그 외에 다양한 견종들이 모두 다 개에 속한다. 이 사실은 단순하지만, 기계에게 이런 식으로 해서 특정 개체를 '개'라고 인식하도록 시키는 문제는 차원이 다르다.
우선 각 종별로 데이터를 입력해야 하기 때문에 막대한 양의 정보를 필요로 한다. 그 뒤에도 같은 종이지만 각각 다른 개체들을 보고서 오인할 문제가 있다. 그때마다 각 개체들을 대입하고 정보를 갱신해줘야 한다. 하나의 현실 속 정보만을 두고도 이렇게 많은 정보를 요구하는데, 두 가지 이상의 정보가 결합되면 훨씬 더 경우의 수는 복잡해진다. 때로는 단순 합산에 그치기도 하지만, 여러 정보들이 모이면서 하나의 문맥을 이루게 되면 이야기는 달라진다. 그뿐만 아니라 이 두 가지 경우의 수를 다 고려하는 것도 문제가 된다. 무언가를 구분해야 한다는 것 자체에 데이터가 필요하기 때문이다.
AR, MR에서는 한 단계 더 나아가 유저가 디바이스를 통해서 상호작용하는 것도 고려해야 한다. 만약 현실 속 공간에서 캐릭터가 뛰어노는 게임을 만든다고 가정하면, 현실을 촬영한 영상이나 이미지를 통해서 우선 맵과 공간을 디바이스가 인식하게 된다. 그 뒤에 이 공간의 구성에 맞춰서 캐릭터가 그에 걸맞는 액션을 취할 수 있도록 해줘야 한다는 것이다. 예를 들면 의자 위에 있던 캐릭터가 바닥으로 내려오게 된다면, 단순히 뻣뻣히 떨어지는 것이 아니라 그에 맞는 동작을 해줘야 하는 것이다.
특정 공간을 꾸미는 종류의 앱도 비슷하다. 예를 들면 바닥에 타일맵을 깔다가도 소파나 벽이 닿으면 타일맵의 축이 소파나 벽면을 따라서 바뀌어야 하기 때문이다.
이 과제를 해결하기 위해서 슈웝 디렉터는 매직리프에서는 '룰'을 강조했다고 밝혔다. 매직리프에서는 8명의 개발자들이 모든 룰의 근간이 되는 일반문을 만들었고, 이를 토대로 머신러닝을 하게끔 했다. 머신러닝이 필요한 이유는 간단하다. 개발자들조차도 모든 현실 속 환경을 다 알지 못하기 때문이다.
유저들이 각각 접하게 되는 현실 속 공간은 방대하다. 공간 정보뿐만 아니라, 공간 속에 있는 사물의 정보량도 많고, 이를 구분해서 인식하게 하는 일은 거의 불가능에 가깝다. 그런 상황에서 그 모든 것에 즉각적인 반응이 오게끔 하려면, 머신이 스스로 인식하는 수밖에 없다. 그래서 머신러닝이라는 개념이 필요해진 것이다. 다만 데이터가 중요하지 않다는 것은 아니다. 기본적으로 데이터가 있으면, 이를 대입해서 좀 더 빨리 결과를 도출하기 때문이다.
그 다음에 '콘텐츠'라는 측면에서 현실과 MR을 바라볼 필요가 있다고 강조했다. MR은 단순히 현실 속 공간에서 무언가가 나오는 것이 아니다. 납득이 가능한 무언가가 덧입혀지는 것이다. 허공에서 무언가가 나오는 것은 처음엔 신기한 경험이지만, 그것이 그냥 툭 튀어나오기만 하면 금방 질리게 된다. 맥락이 없고, 설득력이 없기 때문에 한 순간의 놀람으로 끝나는 것이다.
이 납득이 가능하다는 것은, 단순히 현실 속 공간에 맞는 무언가가 나오는 것만으로는 불충분하다. AR과 MR의 또 다른 특징은 유저와의 상호작용에 있기 때문이다. 유니티의 포브스 수석 소프트웨어 엔지니어는 앞서 언급한 '텐더'의 사례를 다시 들었다.
디바이스에 뜬 오브젝트는 유저의 리액션을 학습하고, 그때그때 다른 반응을 보여야 한다. 텐더에서 나오는 가비는 일반 사물에는 반응을 보이지 않지만, 얼굴 표정을 보면 그 표정을 읽고 반응한다. 화를 내는 얼굴이면 몸이 붉게 변하면서 몸을 부풀리고, 웃는 얼굴이면 덩달아서 웃는 표정을 짓는다. '텐더'뿐만 아니라 그 외 다양한 AR, MR 콘텐츠들도 문자 등 유저가 입력하는 다양한 정보에 맞춰서 무언가가 일어나야만 한다. 그래야만 유저가 비로소 납득할 수 있기 때문이다.
이런 문제들을 풀기 위해서는 무엇이 필요할까? 강연자들은 입을 모아서 '룰'이라고 다시 한 번 강조했다. 우선 앞서 언급한 대로 현실 속 사물과 배경, 정보를 인식하게끔 하려면 이를 분류, 분석하도록 하는 기준과 룰을 세워야 하기 때문이다. 여기에 더 나아가, 디바이스 상에서 오브젝트와 상호작용하게끔 하려면 또 다른 룰이 필요하다. 현실 속 사물을 디바이스에 담을 때, 화면 속에 출력된 이미지는 실사보다 몇 배 축소된 상태이다. 이 이미지 속의 사물과 오브젝트의 크기 비율을 맞추려면 어떤 기준으로 잡아야 하는지 정해줘야 한다. 그렇지 않으면 일관성이 깨지고, 유저들이 납득하지 못하게 된다.
이 과정 자체는 게임을 만드는 사람들이라면 다들 인지하고 있는 것이다. 복잡한 게임을 만들 때도 간단한 룰에서부터 시작하기 때문이다. 다만 기존의 게임과 MR이 다른 점이 있다면, 게임은 가상의 공간을 만들지만 MR은 현실을 기반으로 한다는 점이다. 가상의 공간과 달리 현실은 편집에 제한이 있기 때문에, 있는 그대로를 어떻게 어떤 식으로 스캔하고 출력하게끔 해야 하는지 고려할 필요가 있다.
그렇다면 이제 왜 MR인가, 하는 의문이 남는다. 그리고 MR이 유저에게 어떤 경험을 가져다 줄 수 있는지 하는 질문도 남아있다. 이에 대해 포브스 수석 소프트웨어 엔지니어는 좀 더 직관적인 것들을 이야기했다. 예를 들어 집안의 가구를 옮기지 않고도 미리 옮긴 이후의 배치도를 볼 수 있다던가, '텐더'의 경우처럼 가상의 무언가와 소통하고 교감하는 재미를 느낄 수 있다. 그뿐만 아니라 아직 이조차도 기초 단계에서 구현 가능한 것들이기 때문에, 더 다양한 것들이 가능할 것이라고 전망했다.
다만 MR은 여러 면에서 문제가 많다. 앞서 언급한 머신러닝과 현실 인식 문제 외에도 디바이스 간의 호환 문제가 있다. 디바이스가 각기 현실을 인식해서 출력하는 과정이 다르기 때문에, 크로스플랫폼이 서로 원활하지 못하다.
뿐만 아니라 프라이버시와 윤리 문제도 대두될 문제 중 하나다. AR을 위해서는 현실 속의 공간이 필요하다. 정확히는 공간에 대한 정보가 필요한데, 이를 처리하는 과정에서 필연적으로 개인정보 문제가 발생하게 된다. 이를 어떤 식으로 처리해야 할지, 또 처리 과정에서 윤리적으로 문제가 발생하지 않는지 하는 문제가 남아있다.
현 단계는 아주 기초적인 것만 나왔기 때문에 이런 이슈가 대두되지 않았다. 또한 시장에서의 반응도 기존의 콘텐츠, 미디어에 비해 파급력이 크지 않다. 그러나 강연자들은 소설 속 이야기였던 VR과 AR, MR이 점차 현실로 다가오고 있고 이러한 문제는 언젠가 다가올 수 있는 미래라고 주의했다. 그런 만큼 좀 더 폭넓게 기술을 보고 대비할 필요가 있다고 덧붙이면서 강연을 마쳤다.
! GDC2019 최신 소식은 박태학, 정필권, 원동현, 윤서호 기자가 샌프란시스코 현지에서 직접 전달해드립니다. 전체 기사는 뉴스센터에서 확인하세요. ▶ GDC 뉴스센터: http://bit.ly/2O2Bi0z
Ruudi@inven.co.kr