영화 '매트릭스(The Matrix)'에서 주인공 네오가 총알을 피하는 순간, 카메라는 시간을 멈춘 듯 피사체를 360도로 회전한다. 영화 시각효과(VFX)의 역사를 바꾼 이 '불릿 타임(Bullet-time)' 기법을 탄생시킨 주역, 킴 리브레리(Kim Libreri)가 2014년 돌연 에픽게임즈의 최고기술책임자(CTO)로 합류했을 때 영화와 게임 업계 모두가 놀랐다. 영화계의 살아있는 전설이 왜 게임 엔진 회사로 향했을까.
10여 년이 지난 지금, 그의 선택은 '언리얼 엔진'이라는 도구를 통해 현실과 가상의 경계를 지우는 거대한 흐름을 만들어 내고 있다. 최근 에픽게임즈 코리아 사옥에서 만난 킴 리브레리 CTO는 확신에 찬 목소리로 "게임과 영화의 경계는 이미 90% 무너졌다"고 단언했다.
그는 이번 방한 인터뷰에서 세계적인 거장 쿠엔틴 타란티노 감독과의 협업 프로젝트인 '유키의 복수' 비하인드 스토리를 공개했다. 아날로그 필름을 고집하는 타란티노 감독이 최첨단 디지털 도구인 언리얼 엔진을 통해 '킬빌' 세계관의 미공개 스토리를 구현하게 된 과정은, 기술이 어떻게 창작자의 상상력을 해방시키는지 보여줬다.
영화와 게임, 기술과 예술의 교차점에서 그가 그리는 미래는 과연 어떤 모습일까. 킴 리브레리 CTO와의 일문일답을 통해 영화와 게임의 미래 이야기를 들어봤다.
한국 독자들에게 당신은 영화 '매트릭스'의 '불릿 타임'을 만든 VFX 거장으로 유명합니다. 영화계에서 정점을 찍은 후, 2014년 에픽게임즈 CTO로 합류하며 게임 업계로 과감하게 전향하셨는데요. 익숙한 영화계를 떠나 새로운 분야에 도전하게 된 결정적 계기가 무엇입니까?
“제 커리어의 목표는 항상 이미지를 통해 사람들을 즐겁게 하고 흥분시키는 것이었습니다. 제가 대학을 졸업하고 일을 시작했던 1989년만 해도 컴퓨터 그래픽과 비디오 게임 기술은 매우 원시적인 단계였습니다. 당시 제가 원하는 수준의 이미지를 구현해 사람들의 마음을 열기 위해서는 영화 산업이 유일한 선택지였죠.
그렇게 20년 동안 영화를 만들었습니다. 하지만 저는 항상 비디오 게임에 대한 열정을 가지고 있었습니다. 어느 순간 제가 영화를 만들며 배웠던 모든 기술과 경험을 비디오 게임에 접목할 수 있겠다는 확신이 들었습니다. 영화적 퀄리티의 이미지를 게임이라는 상호작용 매체 안에서 구현해 낸다면, 제가 진정으로 꿈꿔왔던 시각적 경험을 완성할 수 있을 것이라 생각했기에 이적을 결심했습니다.
영화와 게임, 두 분야 모두에 깊은 애정을 갖고 계신 것 같습니다. 혹시 어느 한쪽에 더 마음이 기우는 부분이 있나요? 그리고 과거에 가졌던 영감이나 꿈이 현재의 비전에 어떤 영향을 주었는지 궁금합니다.
“어릴 때부터 두 분야를 분리해서 생각하지 않고 모두 사랑했습니다. 제 첫 게임기는 아타리 2600이었고 첫 컴퓨터는 아타리 800이었는데, 비록 당시 그래픽은 점(Dot)에 불과했지만 저는 그 너머의 가상 세계를 꿈꿨습니다. 영화는 이야기를 들려주고, 게임은 그 이야기의 일부가 되게 합니다. 이 둘의 결합은 제 오랜 꿈입니다.
믿기지 않겠지만, 1985년 대학 시절 ILM(Industrial Light & Magic)이 <스타워즈>를 어떻게 만들었는지에 대한 책을 읽고 꿈을 꾼 적이 있습니다. 꿈속에서 제가 <스타워즈>의 호스(Hoth) 행성 전투 한복판에서 스노우 스피더를 조종하고 있었는데, 그건 완벽한 게임이면서 동시에 완벽한 현실처럼 보였습니다. 그때부터 "언젠가는 영화와 게임이 같은 기술로 만들어지는 날이 올 것"이라고 믿었고, 그것이 제 인생의 목표가 되었습니다.
평소 "게임과 영화의 경계가 허물어지고 있다"고 강조해 오셨습니다. 두 매체의 본질적 차이는 무엇이며, 현재 기술적으로 그 경계가 얼마나 사라졌다고 보십니까?
“영화와 게임 모두 컴퓨터 그래픽(CG)을 기반으로 합니다. 엔비디아(NVIDIA) 같은 하드웨어 제조사의 혁신과 언리얼 엔진 같은 소프트웨어의 발전 덕분에 이제는 하나의 기술로 두 매체를 모두 만들 수 있게 되었습니다. 언리얼 엔진은 사실상 '현실 엔진(Reality Engine)'이나 다름없습니다.
저는 현재 그 경계가 90% 정도 무너졌다고 봅니다. 나머지 10%는 완벽한 '포토리얼리스틱(실사 수준)' 구현의 문제입니다. 게임 그래픽이 훌륭하지만 아직 영화의 완벽한 실사 느낌에는 미치지 못하는 부분이 있습니다. 하지만 GPU 성능 향상과 최근 대두된 생성형 AI(Generative AI) 기술이 게임 엔진과 결합한다면, 수년 내에 진짜와 가상을 구분할 수 없는 수준에 도달하여 나머지 10%도 채워질 것입니다.
에픽게임즈 CTO로 재직한 지 10년이 넘었습니다. 지난 10년간 기술적 측면에서 에픽게임즈가 달성한 가장 의미 있는 성과나 변화는 무엇이라고 평가하십니까?
“저 개인의 성과라기보다 우리 엔지니어와 아티스트 팀 전체가 함께 이룬 성과입니다. 가장 핵심적인 기술적 성취는 '언리얼 엔진 5'를 통해 게임 산업과 영화 산업의 기술적 기반을 하나로 통합한 것입니다. 이제 산업계는 두 분야를 별개가 아닌, 동일한 기술로 스토리텔링을 하는 하나의 영역으로 인식하기 시작했습니다. 한국의 많은 기업들도 이 기술로 놀라운 이야기들을 만들어내고 있죠.
특히 3~4년 전 공개한 '매트릭스 어웨이큰스(The Matrix Awakens)'를 꼽고 싶습니다. 30년 전 영화 '매트릭스' 1편, 그리고 리로디드와 레볼루션을 제작할 당시에는 가상 시뮬레이션을 진짜처럼 보이게 하기 위해 수많은 노력과 시간이 필요했습니다. 디지털 휴먼, 디지털 도시, 디지털 불 효과 등을 구현하기 위해 고군분투했죠. 하지만 우리는 언리얼 엔진 5를 통해 그 모든 것을 실시간 시뮬레이션으로 완벽하게 구현해 냈습니다. 컴퓨터가 만든 가상 세계가 현실과 구분할 수 없는 수준에 도달했음을 기술적으로 증명해 낸, 꿈이 현실이 된 순간이었습니다.
최근 쿠엔틴 타란티노 감독과의 협업이 큰 화제입니다. 수많은 명작 중 <킬빌> 시리즈의 스핀오프 격인 '유키의 복수'를 프로젝트로 선정한 배경이 궁금합니다.
“번 프로젝트의 시작은 포트나이트 챕터 7의 배경인 '미국 서부(West Coast)'와 'LA'의 진정성을 살리기 위함이었습니다. 우리 디자인 팀을 이끄는 닉 도널슨이 "정말 LA답고 진정성 있는 감독과 협업하고 싶다"고 요청했고, 그 과정에서 타란티노 감독의 이름이 나왔습니다. 처음엔 저도 "그건 미친 짓(Crazy)"이라며 불가능할 거라 생각했죠.
하지만 미팅이 성사되었습니다. 타란티노 감독은 게임을 잘 모르고, 아날로그 필름을 고집하는 분입니다. 그런데 포트나이트의 '배틀 로얄' 장르에 대해 설명하자, 그가 가장 좋아하는 영화인 <배틀 로얄>을 언급하며 대화가 통하기 시작했습니다. 제가 "혹시 과거 제작 환경의 제약으로, 혹은 편집 과정에서 잘라내야 했던 미공개 아이디어가 있느냐"고 묻자, 그가 "'킬빌'에서 브라이드에게 복수하려는 '유키'의 이야기를 다루지 못한 게 늘 아쉬움으로 남는다"고 답했습니다. 그 순간 우리는 "빙고! 바로 그걸 같이 만듭시다"라고 의기투합하게 되었습니다.
타란티노 감독은 대표적인 아날로그 연출가입니다. 100% 디지털 공간인 언리얼 엔진을 활용한 제작 방식(버추얼 프로덕션)이 기존 영화 현장과는 달랐을 텐데, 에픽게임즈는 이 협업 과정을 어떻게 지원했습니까?
“통상적인 VFX 작업(그린 스크린)은 결과물을 즉시 볼 수 없어 연출자에게 매우 추상적이고 어려운 과정일 수 있습니다. 에픽게임즈는 이 점에 주목해, 타란티노 감독이 디지털 환경을 낯설어하지 않도록 '실사 촬영과 동일한 경험'을 제공하는 데 주력했습니다.
언리얼 엔진은 가상의 세계와 캐릭터를 실시간으로 렌더링해서 보여줍니다. 덕분에 타란티노 감독은 복잡한 기술적 절차 없이, 마치 실제 촬영장에서 카메라를 잡고 배우를 지도하듯 직관적으로 연출할 수 있었습니다.
배우의 연기를 실시간으로 반영하는 과정도 흥미롭습니다. 구체적으로 어떤 기술이 적용되었나요?
“메타휴먼 애니메이터(Metahuman Animator)' 기술이 활용되었습니다. 참고로 이 기술의 리드 개발자는 샌프란시스코 지사의 한국인 엔지니어 '지훈(Jihoon)' 님입니다.
이 기술 덕분에 배우 우마 서먼은 자신의 연기가 디지털 캐릭터에 실시간으로 반영되는 것을 마치 거울을 보듯 확인할 수 있었습니다. 감독이 "더 크게 웃어달라"고 주문하면, 배우가 즉시 표정을 바꾸고 그것이 캐릭터에 그대로 적용됩니다. 덕분에 우마 서먼은 자신의 젊은 시절 얼굴(캐릭터)을 보며 섬세한 감정 연기를 조율할 수 있었습니다.
작품 속에서 유키가 손전등으로 얼굴을 비추는 장면이 인상적이었습니다. 마치 언리얼 엔진의 빛 표현 능력을 과시하는 듯했는데요. 게임 엔진에서 '빛(Lighting)'의 사실적인 구현은 어떤 의미를 갖습니까?
“빛은 사물을 현실적으로 보이게 할 뿐만 아니라 장면의 분위기(Mood)를 결정합니다. 언리얼 엔진 5의 조명 시스템은 현실 세계의 물리 법칙을 거의 그대로 따릅니다. 이는 제작자에게 '예측 가능성'을 의미합니다.
물체가 낮에서 밤으로, 혹은 다른 환경으로 이동하더라도 빛이 물리적으로 정확하게 반응하기 때문에 아티스트가 일일이 조명을 다시 세팅하거나 추측해서 작업할 필요가 없습니다. 덕분에 조명 담당자는 기술적인 처리에 시간을 쏟기보다, 마치 영화 촬영 감독처럼 예술적인 연출에 집중할 수 있게 되었습니다.
포트나이트 챕터 7 트레일러를 보면 전작인 챕터 6에 비해 불과 1년 사이임에도 그래픽 퀄리티가 비약적으로 상승했습니다. 실제 기술적 도약이 있었던 것입니까?
“맞습니다. 에픽게임즈는 우리가 만든 엔진으로 직접 게임(포트나이트)을 만들기 때문에 엔진은 계속 진화합니다. 지난 1년 동안 라이팅, 글로벌 일루미네이션(Global Illumination), 애니메이션 기능이 대폭 향상되었습니다.
이제 우리 애니메이터들은 마치 메타버스 세상에 들어간 것처럼 게임 레벨 안에서 직접 캐릭터를 연기하고 촬영합니다. 전통적인 포스트 프로덕션(후반 작업) 방식이 아니라, 게임 속에서 실시간으로 촬영하는 방식이죠. "이건 CGI가 아니라 언리얼 엔진 촬영물이다"라고 말할 수 있습니다.
최근 AI 기술의 발전 속도가 무섭습니다. AI가 게임 엔진과 VFX 산업에는 어떤 영향을 미치고 있으며, 에픽게임즈는 이를 어떻게 활용하고 있나요?
“앞서 언급한 메타휴먼의 자연스러운 얼굴 움직임 뒤에는 머신러닝 기술이 있습니다. 또한 AI는 디자인이나 레벨 레이아웃 같은 반복적인 작업을 돕는 훌륭한 '어시스턴트' 역할을 합니다.
하지만 가장 기대되는 분야는 NPC(Non-Player Character)입니다. 지난 20년 동안 게임 속 NPC는 큰 변화가 없었습니다. 하지만 AI 기술이 적용되면 NPC는 자신이 누구인지, 플레이어가 누구인지 인지하고 상황에 맞게 상호작용하게 될 것입니다. 이는 게임 속에 전례 없는 생명력을 불어넣을 것입니다.
"아티스트에게 자유롭게 창작할 수 있는 붓과 물감을 주고 싶다"는 철학을 언급하신 적이 있습니다. 이 철학은 현재 어떻게 실현되고 있습니까?
“우리의 목표는 창작을 쉽게 만드는 것입니다. 사람들을 제한하는 것은 엔진 성능이 아니라, 오직 그들의 상상력이어야 한다고 믿습니다. 우리는 강력하지만 사용하기 쉬운 툴을 제공하고자 노력합니다.
특히 한국의 개발자들은 이 철학을 훌륭하게 증명하고 있습니다. 모바일 환경에서도 언리얼 엔진을 활용해 압도적인 비주얼을 만들어내고 있습니다. 우리는 아티스트와 디자이너가 지루한 반복 작업은 컴퓨터에 맡기고, 창의적인 일에만 집중할 수 있도록 계속해서 힘을 실어줄 것입니다.
기술 발전으로 인해 영화 현장의 전통적인 일자리가 사라질 것이라는 우려도 있습니다. 이에 대해 어떻게 생각하십니까?
“일자리에 대한 위협은 그래픽 엔진보다는 AI에 대한 우려에 가까운 것 같습니다. 언리얼 엔진은 사람을 대체하는 것이 아니라 창의성을 극대화하는 도구입니다. 단순히 프롬프트 몇 줄 입력해서 나오는 결과물보다, 아티스트가 직접 조명, 카메라, 환경을 손끝으로 통제하고 즉각적인 결과를 확인하며 만든 콘텐츠가 더 가치 있다고 믿습니다.
언리얼 엔진은 수정 사항을 렌더링하느라 1시간씩 기다릴 필요 없이, 눈앞에서 즉시(Instantaneous) 보여줍니다. 이것은 아티스트에게 전례 없는 자유와 창의성을 부여하는 '게임 체인저'입니다. 우리는 창작자를 대체하는 것이 아니라, 그들이 지루한 기술적 제약에서 벗어나 가장 창의적인 상태가 되도록 돕는 것입니다.
누구나 고품질 영상을 만들 수 있는 시대가 되었습니다. 미래의 크리에이터가 갖춰야 할 가장 중요한 능력은 무엇이라고 보십니까?
“''상상력(Imagination)'입니다. 툴은 반복 작업(Iteration)을 빠르게 처리해 줄 뿐입니다. 모든 사람이 스티븐 스필버그처럼 머릿속 아이디어를 한 번에 완벽하게 구현할 수는 없습니다. 우리는 계속 실험하고 고쳐야 합니다. 언리얼 엔진 같은 도구는 그 실험의 속도를 획기적으로 높여줍니다.
독자들에게 전하고 싶은 조언은 "두려워하지 말고 상상하라"는 것입니다. 툴을 배우고, 끊임없이 실험하십시오. 때로는 "이건 정말 말도 안 돼"라고 생각하는 '미친 짓(Crazy things)'도 시도해 보십시오. 역사적으로 최고의 아이디어는 가끔 그런 엉뚱하고 미친 시도에서 나왔습니다. 기술이 여러분의 상상력을 제한하지 않게 하십시오.
Haao@inven.co.kr 
