새로 나온 전자제품이나 기술에 관심이 있는 이들이라면, '시선 추적(eye tracking)'에 대해 한 번쯤 들어본 적이 있으실 겁니다. 정확히 어떤 원리로, 어떻게 작동하는 기술인지까지는 알지 못하더라도 별도의 컨트롤러 조작 없이 사람의 시선만으로 입력 장치를 대신한다는 대략적인 개념 정도는 널리 알려졌죠.

하지만 VR 콘텐츠를 플레이하기 위해 고가의 하이엔드 VR HMD를 사용하는 것 같은 특수한 상태가 아니라면 시선 추적 기술을 일상생활에서 접하기란 쉬운 일이 아닙니다. 시선 추적 기술이 여러 분야에서 혁신을 가져다주리라는 기대에 찬 시선도 적지 않지만, 솔직히 일반인들에게 있어선 '남일'이라는 인상이 더 강한 상황입니다.

스웨덴에서 시선 추적 기술을 연구하고 개발하는 기업 'Tobii'는 시선 추적 기술을 게임과 e스포츠에 접목해 더 넓은 분야에서 활용하려는 포부를 가지고 있습니다. 시선 추적 기술이란 정확히 어떤 기술인지, 이를 게임과 e스포츠에는 어떤 식으로 활용할 수 있을지, 또 시선 추적 기술이 보편화된다면 앞으로의 게임은 어떤 모습으로 혁신을 보여줄지 Tobii의 아난드 스리바차(Anand Srivatsa) CEO와의 인터뷰를 통해 들어보았습니다.



▲ Tobii 'Anand Srivatsa' CEO

Q. 스웨덴의 기업 'Tobii'는 그 이름부터 국내 게이머들에게는 다소 생소합니다. 어떤 서비스를 제공하는 기업인지, 인벤 유저들을 위해 간단하게 소개 부탁드립니다.

- 안녕하세요. 저는 Tobii의 CEO인 Anand Srivatsa입니다. 마침 올해 Tobii가 20주년을 맞이한 해인데, 한국 최고의 게임 미디어인 ‘인벤’을 통해 한국 게이머분들에게 인사를 드리게 되어 무척 반갑습니다. 바로 얼마 전이 한국의 최고 명절 중 하나인 추석이라고 들었는데, 모쪼록 가족 및 친구분들과 즐겁게 지내셨길 바랍니다.

Tobii는 시선 추적 기술 분야에서 세계 1위의 회사이고, Tobii의 시선 추적 기술은 의학, 과학, 자동차 자율 주행 등 여러 분야에서 폭넓게 활용되고 있습니다. Tobii의 시선 추적 기술을 게임에 접목시키기 위한 노력을 시작한 것은 약 6년 정도 되었습니다. 시선 추적 기능을 게임에 직접 탑재하기 위해 세계적으로 유명한 게임 회사들과 많은 협업을 하고 있고 앞으로도 더욱 많은 개발사들과 협업을 기대하고 있습니다.

저희가 시선 추적 메트릭스와 시선 주목도 수치 등을 탑재하여 개발한 'Tobii Ghost'라는 소프트웨어도 게임과 관련이 있는데, 이 툴을 사용하시면 게임 플레이 화면 위에 게이머의 시선을 표시하는 등 재미있는 콘텐츠를 개발하고 구현하실 수 있습니다.

▲ Tobii 게이밍 부분 담당 'Martin Lindgren'

- 안녕하세요. 저는 Tobii에서 게이밍 부분을 담당하고 있는 Martin Lindgren입니다. Tobii는 시선 추적 기술을 의학이나 자동차 자율 주행에서 운전자의 시선 관련 데이터를 활용하여 안전성을 높이는 솔루션을 개발하는 등 여러 부문에서 시선 추적이 활용되고 있고, 지속적으로 시선 추적 기술을 활용한 새로운 솔루션들이 실제 생활에 많은 변화와 발전을 가져올 것이라고 생각합니다.

VR 분야는 저희도 큰 관심을 갖고 있고, 다양한 VR/AR 헤드셋 제조사들과 협업을 통해서 저희의 시선 추적 알고리즘을 헤드셋에 탑재하고 게임에 활용할 수 있는 방법을 찾기 위해 꾸준히 노력하고 있습니다. PC 분야에서는 게임과 교육, 장애 지원 보조 기술 등 매우 다양한 분야에서 사용되고 있습니다.


Q. 시선 추적 기술은 현재 Tobii 이외에도 여러 기업과 과학자들이 공통으로 연구하고 있는 분야인데요. Tobii의 시선 추적 기술은 여타 기술과 어떤 부분에서 차이점, 특장점이 있나요?

- Tobii의 시선 추적 기술은 우선 획득한 데이터를 매우 쉽게 가공하고 분석할 수 있는 툴을 함께 제공함으로써 사용자나 연구자가 쉽게 활용할 수 있다는 점. 그리고 20년 가까이 수많은 데이터를 분석하면서 지속적으로 알고리즘을 개선해왔기 때문에 정확도와 데이터 획득 안정성 면에서 차별화되어 있다고 말씀드릴 수 있겠습니다.

또한, 신제품 개발 시, 얼마나 많은 사람이 사용할 수 있는 범용성을 갖춘 시선추적 알고리즘이 탑재되어 있느냐는 평가 측면에서도, 그 어느 기술기업보다도 더 빠르고 정확한 알고리즘 개발이 가능한 개발 경험치와 데이터를 보유하고 있다고 자신 있게 말씀드릴 수 있습니다.


Q. 시선 추적 기술이라는 말을 들었을 때 가장 먼저 떠올릴 수 있는 것은 역시 VR 관련 기술인데요. Tobii의 시선 추적 기술은 VR 기술이나 하드웨어에 어떤 식으로 활용되고 있는지, 실제 사례가 궁금합니다.

- 이미 시중에 출시된 VR HMD 제품 중 Tobii의 시선 추적 기술이 탑재된 제품들이 있습니다. HP의 리버브 G2 Omnicept Edition, HTC사의 Vive Pro Eye, 그리고 최근 틱톡으로 유명한 Bytedance에 인수된 Pico사의 Neo2 Eye 등이 있고 또 여러 제품들이 출시를 앞두고 있습니다.

Tobii의 시선 추적 기술을 HMD에 탑재하면 새로운 형태의 상호작용이 가능해지기 때문에 하드웨어 제조사와 소프트웨어 개발자 그리고 실 사용자나 연구자까지 새로운 혜택을 누릴 수 있습니다. 연구 및 개발 과정에서 프로세싱 리소스 소모를 최소화할 수 있도록 도와주는 포비티드 렌더링(Forveated Rendering) 기술을 포함하여, 시선의 품질이나 편안함 정도를 향상시킬 수 있도록 사용자의 동공간 거리를 측정해주기도 하고 또 사용자의 프로필 관리를 간소화하면서도 보안은 더욱 강화할 수 있도록 해주는 등 다양한 것들을 새롭게 시도해볼 수 있습니다.



Q. 앞서 소개해주신 것처럼 주로 산업 현장이나 의료, 연구 분야에 주로 활용될 것이라는 이미지를 가지고 있는 ‘시선 추적’ 이라는 생소한 기술을 게임과 e스포츠 분야로 끌어오기 위해 어떤 노력을 하고 있는지 궁금합니다.

- 현재는 약 160개 게임 타이틀을 지원하고 있습니다. 그리고 더 많은 개발사와 Esports 관련 파트너들과의 협업을 위해 많은 준비와 노력을 하고 있습니다. 실제로 한 e스포츠 행사에서 관객들이 프로 게이머들이 어디를 쳐다보고 있는지 확인할 수 있도록 방송을 한 적이 있는데, 관객들의 호응이 매우 뜨거웠습니다.

▶ Tobii의 시선 추적 기술이 지원되는 게임 목록 보기



Q. Tobii의 기술이 적용된 게임들이 생각보다 더 많은데, 실제로 게임에 시선 추적이 적용되면 어떤 방식으로 작동하여 사용자의 게임 경험을 확대해주는 것인지 궁금합니다.

- 가장 대표적인 사례를 들자면 '시선 확장(Extended View)'을 말씀드릴 수 있겠습니다. 이것은 게이머가 머리와 눈의 이동을 통해 인게임 카메라를 컨트롤 할 수 있는 기능을 의미합니다. 인게임 카메라 컨트롤이 적용된 대표적인 게임으로는 유로트럭 시뮬레이터2와 아메리칸 트럭 시뮬레이터가 있는데, 유튜브를 통해 공개된 영상을 보면 어떤 식으로 작동하는지 쉽게 이해하실 수 있습니다.

▲ 고개를 돌리는 것으로 게임 내 시선 조작이 가능하다. 보다 현실적인 운전 체험을 할 수 있는 셈이다

이 기능은 주로 조이스틱으로 플레이하는 우주 항공 게임이나 비행 시뮬레이션 게임에서 특히 효과적입니다. 시선 확장 기능이 게이머가 조종석 주변을 조금 더 자유롭게 쳐다볼 수 있도록 해서 훨씬 쉽게 타겟을 포착할 수 있도록 해주거나, 혹은 엘리트 데인저러스나 스타 시티즌 같은 게임에서 우주를 탐험할 때 더 나은 경험을 제공합니다.


Q. FPS 게임에서도 효과적으로 활용할 수 있을 것이라는 생각이 듭니다, 눈에 보이는 적에 바로 크로스헤어를 이동시킬 수 있을 테니까요. 이외에도 장르에 구애되지 않고, 모든 장르의 게임에 아이트래킹 기술을 적용할 수 있을까요?

- 좋은 질문입니다. 제가 판단하기에는 시선 추적 기술이 기존의 입력 기기들을 완벽히 대체하는 것보다는 기존 입력 체계들, 그러니까 마우스, 키보드, 조이스틱, 게임패드 등과 함께 사용되어 추가적인 보조 컨트롤 입력 기술로 활용될 가능성이 더 크다고 판단됩니다. 따라서 향후 시선 추적 기술을 어떠한 게임에도 활용할 수 있겠지만, 마우스를 완벽하게 대체할 수는 없을 것 같습니다.

▲ "FPS에의 활용도 기대되지만, 마우스를 완전히 대체하기는 어려울 것"

Q. 시선 추적이 기존의 입력 장치를 완벽하게 대체하려면 어떤 연구가 이어져야만 할까요? 완벽히 대체하기가 사실상 어렵다면, 시선 추적은 어떤 방향으로 발전해나가게 되는 걸까요?

- 앞서 말씀드렸듯 시선추적이 마우스의 역할을 완벽하게 대체하는 것은 어렵다고 생각됩니다. 다만, 마우스를 사용할 수 없는 상황이나 그런 상황에 있는 사람들에게는 아주 매력적인 대안이 될 수 있다고 생각합니다.

현시점에서 마우스 등의 기존 입력 장치를 대체할 수 있는 장치의 역할을 할 수 있기 위해서 어떤 연구를 더 해야 할 것인지는 저희도 조금 더 고민이 필요할 것 같습니다. 저도 한 명의 게이머로서 평소에 FPS 장르의 게임을 자주 즐기지만, 마우스보다 더 빨리 에임을 컨트롤 할 수 있는 입력 장치를 생각하기는 어렵군요.


Q. 키보드와 마우스를 자유롭게 활용할 수 없는, 신체에 장애가 있는 게이머들을 위한 기술로도 활용되는 것은 좋은 방향성이라고 생각합니다. 해당 분야로의 발전을 위해서 개발 중인 하드웨어나 서비스가 있다면 소개해주세요.

- 키보드와 마우스를 자유롭게 활용할 수 없는 장애가 있는 분들을 위한 시선 추적은 ‘Augmentative and Alternative Communication Technology’라는 활용 분야가 따로 있습니다. 말 그대로 보완 대체 의사소통 기술을 의미합니다.

이 분야에서도 몸이 불편한 분들을 위한 게임들이 있는데, 재활과 치료 등의 효과를 기대한 훈련 목적의 게임이 대부분입니다. 아쉽게도, 장애가 있는 분들이, 일반인들과 함께 동등한 입장에서 게임을 즐길 수 있을 정도로 도움을 줄 수 있는 아이트래킹 기술은 아직 기대하기 힘들어 보입니다.

하지만, 눈으로만 즐길 수 있는 게임들도 충분히 재미있게 만들 수 있다면, 신체장애를 가진 분들에게 매우 기쁜 소식이 될 것이니, 국가와 사회 공헌활동에 관심이 많은 기업으로부터 많은 투자와 연구가 진행되기를 희망합니다. Tobii도 함께 지원할 수 있는 부분이 있다면 적극적으로 도움을 드릴 수 있도록 하겠습니다.


Q. Tobii 에서는 현재 e스포츠 트레이닝 측면에서도 시선 추적의 가능성을 찾으려는 노력 중이라고 들었습니다. 실제로 e스포츠 교육 분야에서 시선 추적 기술이 어떻게 활용되고 있나요?

- e스포츠 트레이닝 관련해서는 현재 소수의 파트너들과 협업을 하고 있습니다. 가장 좋은 사례는 리그 오브 레전드를 활용한 ‘Mobalytics’사와의 협업입니다.

저희는 시선의 주목도가 상위권 게이머와 평균 게이머들 사이의 가장 큰 차이점이라는 것을 확인했습니다. 예를 들면, 낮은 랭크의 게이머들은 상위 랭크 게이머들에 비해 미니맵을 체크하는 확률이 50%이상 낮았습니다. Mobalytics는 시선 추적 기술을 활용하여 ‘정보 처리’, ‘맵 인지도’. ‘픽 인지도’, ‘전투 준비’, 그리고 ‘Tunnel Vision(매우 좁은 시야 범위를 갖고 있는 정도)’의 5가지 주요 항목들을 측정해서 제공하고 있습니다. 한국의 유명한 리그 오브 레전드 팀 중 하나인 T1과도 협업을 하고 있지만 자세한 내용은 말씀드리기 어려운 점 양해 부탁드립니다.

▲ Tobii는 e스포츠 트레이닝 기능을 활용하여 T1과 협업을 진행 중이다


Q. 시선 추적 기술을 활용한 e스포츠 트레이닝이 활성화된다면, 향후 e스포츠 업계, 나아가 게임 업계에 어떤 가능성을 기대해볼 수 있을까요?

- e스포츠 트레이닝 플랫폼들은 이제 시작 단계이고 앞으로 무궁무진하게 발전할 것으로 기대하고 있습니다. 개인적인 생각으로는 앞으로는 게이머의 퍼포먼스를 측정하고 이해하는데 시선 추적 기술을 활용한 데이터들이 아주 주요한 자료가 될 것 같습니다. Tobii는 현재 제공하는 데이터 외에 게이머의 나른함, 인지 부하 정도 등을 측정할 수 있는 기술을 개발하고 있고 이를 통해 보다 다양한 수치들을 데이터화해서 제공할 준비를 하고 있습니다.


Q. Tobii의 시선 추적 기능을 이용하려면 가장 먼저 갖춰야 하는 장비가 바로 '아이트래커'죠. 대표적인 시선 추적 장치인 ‘Tobii 아이트래커5’는 어떤 원리로 작동하는 기기인지 소개해주세요.

- 아이트래커5는 간단하게 설명하면 NIR 카메라와 적외선 발광체를 활용하여 게이머의 눈을 촬영하고, 이 촬영된 결과물을 Tobii의 알고리즘을 통해 계산해서 게이머가 화면에서 어디를 쳐다봤는지를 데이터로 남기는 기기입니다.

아이트래커5는 아직 한국에서는 공식 판매를 하기 전이지만, 최근 진행된 20주년 기념 이벤트 등을 통해서 글로벌 게이머들에게 많은 호응을 받고 있습니다. 세계 최고 수준의 프로게이머들이 가장 많은 한국 시장에 제품을 공식적으로 선보일 수 있는 날을 최대한 앞당길 수 있도록 노력해보겠습니다.

하지만, 한국 선수들의 실력이 더욱 향상되면 한국 선수들이 올림픽 양궁처럼 모든 트로피를 가져갈 것 같아서 걱정되기도 하네요. 물론 농담입니다.



Q. 추후 한국에서도 판매될 예정인 '아이트래커5'만 갖추면 누구나 시선 추적 기술을 경험해볼 수 있게 되는 걸까요?

- 현재로서는 앞서 소개해드렸던 160여개의 게임에서만 아이트래커5를 활용할 수 있습니다.



Q. 아이트래커5는 약 34만 원가량의, 기존의 입력장치들과 비교하면 다소 부담스럽게 느껴질 수 있는 가격대를 형성하고 있습니다. 향후 일반 유저들도 부담 없이 구매를 고려해볼 수 있을 정도로 가격 경쟁력을 갖출 수 있을까요?

- 소비자분들 입장에서는 가격이 조금 비싸다고 느끼실 수 있을 것 같습니다. 다른 컴퓨터 하이 엔드 보조 장치들의 가격과 시선 추적 기술의 중요성 등을 고려해서 가격을 책정했는데, 생산량 등에 변화가 있으면 가격 정책도 소비자 친화적으로 변경될 가능성이 있습니다.

아울러, 다양한 과금 정책들과 수익분배 방법에 대한 논의가 가능하니, 콘텐츠 개발자와 판매자들이 더 많은 관심을 가져 주시고 그 저변이 충분히 확대된다면, 소비자들의 가격 부담을 덜어줄 수 있는 수익모델은 반드시 찾을 수 있을 거라 생각합니다.

▲ "저변이 더욱 확대된다면, 다소 부담스럽게 느껴지는 가격도 더 완화될 수 있을 것"


Q. 스트리머의 게임 방송, 혹은 e스포츠 대회에 출전한 선수들의 모습을 통해 아이트래커의 모습이 자주 노출된다면, 선뜻 구매를 결정하지 못하는 일반 유저들의 심리적 허들이 많이 낮아질 수 있으리라고 봅니다.

- 유튜브에서 실제로 아이트래커를 활용하는 이들이 공유한 영상들을 꽤 많이 찾아보실 수 있습니다. 아직은 한국 게이머분들께는 저희가 친숙하지 못해서 대부분 영상이 영어로 되어 있지만, 영상을 보시면 어떤 식으로 활용할 수 있는지 쉽게 이해가 가능하실 것 같습니다.

구체적으로 말씀드릴 순 없지만 내년부터는 Tobii가 한국 게이머 분들에게도 더욱 친숙해질 수 있도록 다양한 준비를 하고 있다가 정도는 말씀드릴 수 있겠습니다. 괜찮다면 토비 게이밍 유튜브 채널의 구독을 부탁드려도 될까요?

▶ '토비 게이밍 유튜브' 페이지 바로가기


Q. 160개 게임을 넘어 더 다양한 콘텐츠에서 시선 추적 기술을 만나보려면 더 많은 개발자들의 참여가 필요할 것이라고 보는데요. 자신이 개발하고 있는 게임 콘텐츠가 아이트래킹 기능을 지원하게끔 하려면 어떤 준비, 혹은 개발 절차가 필요한지 알고 싶습니다.

- 만약 개발자분들 중에서 시선 추적 기술을 개발하고 계시는 콘텐츠에 탑재하는 것에 관심이 있으신 분들은 Tobii의 개발자 홈페이지에 방문하셔서 저희가 준비한 SDK 가이드를 한 번 검토하시기를 추천합니다. 시선 추적을 탑재하는 가장 좋은 첫걸음이 될 것입니다. 저희도 모든 가능성을 오픈한 상태로 많은 연락을 기다리고 있습니다. 특히 한국은 최고의 개발력을 갖춘 게임 스튜디오가 많으므로 게이머 분들 뿐 아니라 개발자분들의 많은 관심도 부탁합니다.

▶ Tobii 공식 개발자 홈페이지 바로가기

Q. 시선 추적 기술이 일부 VR 콘텐츠에서만 활용되는 기술이 아닌, 실제로 게임과 e스포츠 분야에서도 두루 찾아볼 수 있는 대중적인 기술이 될 수 있도록 하기 위해서 어떤 노력을 이어나갈 계획인지, 포부를 듣고 싶습니다.

- 미래에는 PC나 HMD를 제작할 때 시선 추적 기술의 탑재 여부가 매우 중요한 차이가 될 것으로 판단됩니다. 인간의 행동과 의도를 이해할 수 있는 가능성을 토대로 게임을 디자인하거나 소프트웨어를 개발하는 것과 그렇지 않은 것은 결과에 차이가 날 수 있을 것 같습니다.

게임과 관련해서는, 아직은 시선 추적을 활용해서 할 수 있는 것 중 극히 일부만 진행되었다고 생각합니다. 시선 추적을 활용한 개발이 보편화되어 게임의 디자인 단계부터 시선 추적기술의 탑재를 염두에 두고 개발하는 게임들은 아주 멋진 변화들을 가져올 수 있다고 생각합니다. 예를 들면, 유저의 시선 이동이 아바타 간의 소셜 상호 작용에 큰 영향을 미치는 게임이나, 또는 게임 속의 캐릭터들이 게이머의 시선에 따라 반응하고 대답하는 단계가 되면 게임 세상이 조금 더 실제 세상과 유사해지는 경험을 할 수 있지 않을까요?


올해는 글로벌 Tobii 창업 20주년 되는 해입니다. 한국에도 2000년대 후반부터 Web UI/UX Design과 심리학 분야를 중심으로 소개되기 시작하여 지금은 200곳에 가까운 고객이 계시지만, 대부분이 중형 자동차 가격대의 특수 장치와 소프트웨어를 사용한 사람의 행동을 이해하기 위한 연구가 가장 큰 사용 목적이었습니다.

지금부터는, Tobii의 시선 추적 기술이 조금 더 우리의 일상에 가깝게 다가와 우리를 더 편리하고 안전하고 즐겁게 만들어 줄 수 있는 분야로 그 활용영역을 넓혀가고자 합니다. 미래에는 프로야구 선수의 홈런볼이 팬들에게 큰 기념이 되는 것처럼, 프로 게이머의 결승전 경기 시선 데이터가 기념품이 되는 것도 불가능한 일만은 아닐 것 같습니다.

시선 추적을 더욱 가치 있게 사용할 수 있는 다양한 응용 아이디어들을 지원하는 방법과 소통 채널에 대해 깊이 고민하고 있고, 한국의 게임 분야 그리고 게임으로 확장될 수 있는 교육, 의료 진단/치료 등 다양한 분야에 계신 한국 분들을 만나 뵙기를 기대합니다. 감사합니다.