성남시와 인벤에서 추최하는 예비 게임 개발자를 대상으로한 '2017 성남 게임 대학생 캠프'가 27일, 28일 양일에 걸쳐 진행됐다. 이번 성남 게임 캠프에서는 개발사 탐방, 과제 수행뿐만 아니라 업계 전문가의 강연을 듣는 시간도 가졌다.
첫 강연은 마이크로소프트의 테크니컬 에반젤리스트인 김영욱 부장의 'VR, AR 그리고 MR - 홀로렌즈'로, 가상현실에 대한 소개와 VR, AR이 가지는 강점, 그리고 마이크로소프트의 홀로렌즈를 중심으로 MR에 대한 이야기를 들어볼 수 있었다. 김영욱 부장은 가상 현실과 콘텐츠에서의 중요한 요소, 디바이스는 어디까지 개발되고 있는지, 그리고 마이크로소프트의 홀로렌즈에 대한 이야기를 쉽고 흥미롭게 풀어나갔다.
※본 강연 기사는 강연자 시점에서 서술했습니다.
여기 있는 사람들은 VR, AR 체험을 한 번씩은 해봤을 겁니다. 그렇죠? 이제는 VR, AR을 넘어 MR까지 이야기가 나오고 있지요. 다들 아실 테니 간단하게 이야기하자면 VR은 인공적으로 만들어진 현실 세계입니다. 쓰는 순간 다른 세계로 가는 것이죠. AR은 현실에 가상 요소를 맵핑해 입히는 거고요. VR을 접한 사람들은 먼저 심리적으로 불안해해요. 손도 안보이고 알 수 없는 공간이니까요. 그래서 가장 기본적으로 좌우로 고래를 흔들어요. 주위를 인지하기 시작하는 거죠. 그 이후에는 상하로 고개를 돌려보는데 재밌는 게 꼭 이때 입을 벌립니다. VR 기술은 본인만 빼고 다 알죠. 얼마나 이상한지(웃음).
VR 기술은 생각보다 오래된 기술입니다. 60년대때부터 연구가 시작됐죠. 예전엔 은행 인출기 같은 부스 안에서 사람이 들어가서 체험하는 식이었습니다. 지금처럼 양쪽에 돋보기가 들어가는 획기적인 변화는 얼마 안 됐어요. 발전이 급격하게 이루어지고 있습니다..
■ VR기술, 눈으로 보는 세상을 만들어내다
사실 인간의 눈처럼 속이기가 쉬운 기관도 없어요. “내 눈으로 보기 전까지는 못 믿겠다”라는 말도 있지만 사실 우리는 눈에게 계속 속고 있는 거에요. 엄지를 앞으로 내뻗어봤을 때 딱 그 정도만 해상도가 높고 양쪽으로는 해상도가 떨어져요. 눈동자를 굴리면서 순간적으로 캡처하고 대뇌에서 조합해서 한 장의 이미지로 인식하는 겁니다. 옆으로는 낮은 해상도로 무엇이 있구나 하고 인지하는 정도로만 인식되지요. 왜, 지하철에서 스마트폰을 하고 있다가 옆에 어떤 여성분이 앉았을 때 뭔가 예쁜 거 같다고 생각하지만, 나중에 일어나서 잘 보면 안 예쁠 때가 많잖아요? 잘 안 보이니까 뇌가 보고 싶은 대로 대충 그려넣은 거에요. 눈의 이런 효과를 이용하는 VR 기기도 있어요. 그런 장치는 보이는 곳만 렌더링하면 되니까 저 사양에서도 충분히 사용할 수 있다는 점이 강점이죠.
사람의 눈은 양쪽에 있어요. 코를 기준으로 5도 정도 시선이 몰려 있지요. 한쪽 눈씩 보면 맺히는 상이 미묘하게 다른 것을 알 수 있습니다. 이 두 상의 차이를 이용해서 대뇌는 입체감을 만들어냅니다. 영상이나 게임을 보면 이렇게 5도 정도 꺾어서 입체감을 볼 수 있게 구현하기도 하죠. 사람의 감각을 이용하는 거에요.
그래서 가장 발전이 빠른 콘텐츠는 무엇일까. 네, 다들 생각하시는 19금 콘텐츠에요. 얼마 전에 직접 체험을 해보니 흥미진진하긴 한데 기대보단 ‘리얼’하지 않더라고요. 그 이유는 일단 높은 퀄리티의 장비를 이용하지 않았기 때문에요. 카드 보드에서 기어 VR 정도까지. 혹시 일본이라면 다르지 않을까! 해서 찾아보니 성인용 어트렉션도 있더라고요.
■ VR, 개발은 어떻게 되어가고 있나, 최근 주춤하고 있는 이유는?
디바이스쪽으로는 중국이 제일 앞서나가고 있어요. 우리나라는 삼성, 엘지 정도고 나머지는 다 외국제죠. 이번 중국에서 열린 차이나조이 행사도 보면 코엑스 6개를 합해둔 규모에 VR, AR, MR 관련만 100가지라고 하더라고요. 컨트롤러도 활, 창, 칼, 의자, 총 다양하게 있고요. 중국에서는 VR 센터를 만들어 사람들을 모아 지원하고 있는데, 저작권에 대한 개념이 약하다 보니 서로 베끼면서 예상치 못하게 어마어마하게 발전하고 있어요. 이젠 ‘중국제’라고 깎아내릴 수 없는 수준이에요. 가격 면으로도 경쟁력이 있어서 콘텐츠는 미국에서, 디바이스는 중국에서, 이런 식으로 비즈니스를 진행하는 곳도 많지요.
최근들어 VR이 주춤하고 있는 이유는 뭘까요? 일단 VR 디바이스가 비싸다는 점을 꼽을 수 있습니다. 또한, VR 디바이스에 더불어 PC 환경도 뒷받침이 되어야 하죠. 개인적으로 저도 작년 말 VR 공부를 하겠다고 PC를 새로 장만했는데 뭐, 오버워치 레벨만 올라가더라고요(웃음). 그리고 VR 콘텐츠를 유통할만한 마켓이 없다는 점도 VR이 주춤하게 된 이유 중 하나입니다. 콘텐츠가 아직 제대로 나온 게 없다는 점도 있고요.
대부분 신기술이 나오면 두 번째 해부터 인프라 구축과 표준을 만들어내는 데에 집중하고 3년 정도쯤에 결과가 나와요. 모바일이 그랬고, IoT가 그랬죠. VR도 비슷하게 내년 정도에는 재밌는 결과물이 하나둘 나오지 않을까 기대합니다. 멀미 현상도 해결되어야 하고요.
잘 만든 VR 콘텐츠를 보면 한 스테이지를 15분을 초과하지 않게 구성해요. 이렇게 콘텐츠의 설계가 몰입감에 큰 영향을 줍니다. 오큘러스보다 PS VR은 해상도 면에서는 떨어지지만, 콘텐츠 설계가 좋은 게 많아요. 예전에 ‘키친’ 공포체험을 해본 적이 있는데 발소리와 같은 ‘소리’를 이용해 공포감이 극대화되더라고요. 짧고 게임도 아닌 체험 정도였지만 몰입감이 상당했습니다.
■ AR, 그리고 MR까지
AR이야기를 좀 해볼까요? AR 기술이 나온 건 전투기에서부터였습니다. 전투기를 보면 패널에 실시간으로 정보가 띄워져요. 예를 들어 미사일을 피해야 할 때, 미사일이 어디에 있고 어떤 미사일인지, 현재 내 전투기의 고도는 어떻고 속도가 어떤 지보면서 빠르게 판단해야 합니다. 근데 이런 아래 계기판을 보면서 하기엔 어려워요. 그래서 실기간으로 시선을 다른데에 빼앗기지 않고 볼 수 있도록 개발된 겁니다. AR의 특징은 카메라를 통해 내가 보고 있는 현실을 컴퓨터도 함께 보고, 인공지능을 통해 분석된 정보를 얻는 거에요. 이젠 사람 감정에 대한 정보도 분석해서 알려주기도 하더라고요. 생각보다 정확하고요.
이런 AR 기술은 물류회사에서 빠르게 물품 분류를 하도록 쓰이는 등 다양한 곳에서 이용되고 있습니다. 시작은 VR 시장이 규모가 더 크지만 갈수록 AR 시장이 커져서 추월할 거라는 분석이 많고요. AR 하면 포켓몬 GO가 제일 알려졌지만, 앞으로 할수 있는 게 더 많을 거라고 생각합니다.
이제는 MR, 혼합현실에 관한 관심도 커지고 있습니다. VR, AR 등 기술의 특징을 이용해 혼합된 경험을 주는 것이 MR(Mixed Reality)입니다. VR 기기뿐만 아니라 음성 컨트롤, 제스처인식, 인공지능을 이용한 어시스트. MR 하면 가장 많이 나오는 것이 고래가 튀어나오는 컨셉영상과 마이크로소프트의 '홀로렌즈(Hololens)'입니다. 오큘러스나 바이브 등 기존 HMD는 PC와 연결된 선이 있죠. 자체적으로 컴퓨팅 파워가 없어서 정보처리를 PC에서 해야합니다.
홀로렌즈는 기기 자체가 하나의 컴퓨터입니다. 따라서 선이 필요 없죠. 스스로 공간과 손가락 제스처를 인식합니다. 바로 필요한 앱을 내가 보는 현실에 띄워놓고 쓸 수 있지요. 좋아 보이지만 사실 개발자용이 3,000달러, 시판용은 5,000달러, 우리나라로 들여오면 믿을 수 없는 가격, 700만 원 가까이 비싸지죠.
■ 중요한 것은 콘텐츠, 다양하게 이용되고 있는 VR
중요한건 콘텐츠겠죠. VR 360 영상은 최근 뮤직비디오나 광고에서도 이용되고 있어요. VR 360 영상을 촬영하는 카메라 원리는 앞뒤로 카메라가 두 개 있어 하나당 180도씩 찍어 합치는 방식입니다. 하지만 센서는 하나가 있어 4K 센서가 2K씩 나눠 처리하게 됩니다. 따라서 열화 되거나 다운되는 현상이 자주 일어납니다. 그래서 VR360 영상을 만드는 분들은 직접 장비를 만들어 촬영하기도 하는데, 고 프로 카메라 12대로 동그랗게 배치해 사용하기도 하죠. 이렇게 되면 고화질에 360 영상을 만들 수 있지만, 화이트밸런스가 제각각이라 후처리가 오래 걸린다는 단점이 생깁니다.
좋은데이 예시를 보면 알겠지만, 촬영이 굉장히 힘들어요. 촬영하는 전체 장소에 스텝, 장비가 하나도 나오면 안 되니까요. 마이크도 숨겨야 하고, 조명도 숨겨야 하고, 감독도 숨어야 하죠. 저번에 감독님을 만나서 "VR360 영상으로 전쟁영화 찍으면 재밌지 않을까요?" 하니, "재밌지. 네가 해." 이러시더라고요.
하지만 3D캐릭터로 넘어오면 이야기가 달라집니다. '클래시 오브 클랜'은 한 달에 광고비만 100억을 썼고, 그 이상을 벌어갔어요. 우리나라에서만. 이 예시 영상을 보면 중요한점이 이 앞에 있는 아처 캐릭터입니다. 가상세계로 오면 사람들은 불안해해요. 따라서 이야기를 이끌어주고, 시선을 따라가게 해줄 캐릭터가 필요한 겁니다. 상황을 설명해주고 "저기 봐, 드래곤이야" 이런 식으로 시선을 둘 곳을 알려주죠. 스토리 전개나 콘텐츠 구성을 분석하면서 보는 것이 중요합니다.
■ 마이크로소프트는? 홀로렌즈와 저렴한 HMD
홀로렌즈 이야기를 좀 더 해봅시다. 홀로렌즈는 VR 기기의 방향성을 보여줍니다.
홀로렌즈는 앞서 말했듯 자체적으로 컴퓨터입니다. 윈도우 10이 깔려있어요. 공간을 바로 인식하고 맵핑을 하며, 함께 하나의 홀로그램을 보면서 실시간으로 학회를 진행할 수도 있지요. 손가락 동작을 인식하기 때문에 붐, 에어텝 등 동작으로 허공에 대로 움직이면 됩니다.
모양도 가벼운 편이라 어색하진 않지만 쓰고 다닐 정도는 아니죠. 무게는 600그램이라 머리에 돼지고기 한 근을 달고 다닌다고 생각하시면 됩니다. 무게가 분산되어있어 무겁게 느껴지지는 않지만, VR, AR은 목을 돌려 시선을 옮겨야 하기 때문에 불편해하시는 분들이 있더라고요. 저도 처음 받아본 날은 온종일 가지고 놀아야지 했지만 4시간 정도 하니 무리가 오더군요. 배터리는 3시간 정도 지속하는데 사실 그 이상 이용하는 것 자체가 힘들어요. 신체적으로.
구조를 보면 앞부분에는 상하 카메라가 있고, 양쪽에 적외선 카메라가 있습니다. 디스플레이를 통해 눈앞에 바로 영상이 등장하게 되어있고요. 반달모양 보드의 인텔 CPU PC가 들어가 있어 바로 정보처리가 가능합니다. 또한, 3D사운드를 지원해 고개를 돌렸을 때 사운드가 변하는 것, 물체가 가까워지거나 멀어짐에 따라 소리가 변화하죠. 사운드는 몰입감에 핵심 요소인 만큼 중요한 기능입니다.
홀로렌즈는 현재 디자인을 할때 옆에 모델을 띄워두고 할수 있도록 지원하거나, 인체 해부, 항공 체험 등에서 이용되고 있습니다. 홀로렌즈가 VR과 다른 점은 내가 직접 몸을 움직일수 있다는 점이에요. 예를 들어 인체 해부도를 볼 때 내가 뒤로 가면 뒷모습이 보이고 위에서 단면을 바라보면 내장을 확인할 수 있겠죠. 공간인식을 중요하게 이용하고 있습니다. 물론 적외선 신호 마크를 설치하면 VR 기기로도 움직임을 인식해주지만, 지정된 장소에 설치해야만 사용할 수 있지요. 홀로렌즈는 언제 어디서나 홀로그램을 꺼내 볼 수 있다는 점이 달라요.
홀로렌즈 뿐만 아니라 8월에는 저가의 HMD가 출시될 예정입니다. 마이크로소프트가 직접 제작하는 것은 아니고, 아수스, 레노버, 에이서 등 7개 업체에서 제조되고 있습니다. 299달러로, 40만 원이 안되는 가격이면 구입해 사용할 수 있죠. 물론 선을 연결해야 하지만 직접 쓰고 유투브를 틀고, 인터넷 서핑 창을 띄워놓고 작업해보니 생각보다 괜찮았습니다.
VR, AR은 현재 콘텐츠가 게임에 치중되어있어요. 하지만 이에 한정되지 않고 다른 영역에서 두루 쓰일 것이라고 생각합니다. 여러분이 알고 있는 기술들이 새로운 국면을 맞이했습니다. 게임 뿐만 아니라 한발 물러나서 보면 재미있는 일들이 많을 것이라고 생각합니다.
desk@inven.co.kr