지난 7월 16일, 넥슨이 서비스하는 장수 온라인 FPS게임 서든어택에 ‘길로틴 시스템’이 정식 적용됐습니다. 길로틴 시스템은 유저들로 구성된 배심원단이 비정상적인 게임 행위를 직접 판결하는, 유저 배심원단 제도의 일종입니다.
길로틴 시스템에서 유저는 비정상적인 행위로 의심되는 자를 신고할 수 있고, 배심원단으로 선정된 유저들은 신고가 누적된 특정 이용자에 대한 의심 기록, 배틀 로그, 스크린샷 등 사건파일을 검토해 유무죄를 판단하게 됩니다. 제재 여부는 다수의 배심원 결정에 따르고, 악용 사례를 막고자 허위 신고와 부정확한 판결이 반복되는 이용자, 배심원에게는 게임 이용정지 등의 불이익이 내려지죠.
넥슨은 여러 지표를 통해 길로틴 시스템이 불법 프로그램 사용률을 크게 낮추는 데 이바지했다고 소개하고 있지만, 몇몇 유저들은 아직도 생소하게만 느껴지는 유저 배심원단 제도를 달갑지 않은 시선으로 바라보고 있습니다. 대표적인 것이 '일개 유저들의 판결을 신용할 수 없다'라는 의견, 그리고 '운영자가 해야할 일을 유저에게 떠넘기는 것'이라는 시선인데요.
실제로 서든어택의 유저 배심원단 제도 '길로틴'은 어떤 특징을 가지고 있는 시스템인지, 유저들의 우려와 같은 결점이 남아있는 것인지, 해당 시스템을 개발한 장본인들의 이야기를 들어보았습니다.
Q. 먼저 길로틴 시스템 관련 질문에 답해주실 두 분의 소개를 부탁드립니다.
홍일화 - 안녕하세요. 저는 플랫폼개발팀을 맡고 있는 홍일화라고 합니다. 플랫폼개발팀은 넥슨지티에서 서비스하는 게임들의 웹, 모바일 플랫폼서비스를 개발하는 팀이라고 생각해주시면 되겠습니다. 이전 플리마켓이나 서든라디오, 병영수첩, 서든어택 홈페이지 이번 길로틴 시스템도 플랫폼개발팀에서 개발했습니다.
김태현 - 안녕하세요. 서든어택에서 기획팀을 맡고 있는 김태현입니다. 서든어택의 기획팀은 기획, QA, 개발PM이 함께 있는 조직입니다. 조직의 구성처럼 라이브 서비스 전반에 걸친 업데이트 일정 수립, 기획업무, 업데이트 QA까지 담당하고 있습니다.
Q. 지난 7월 16일, 서든어택에 ‘길로틴 시스템’이 정식으로 적용됐습니다. 서비스가 개시된 지 한 달여가 지났지만, 아직도 해당 시스템에 대해 모르고 있을 유저들을 위해 길로틴 시스템이 무엇인지 소개 부탁드립니다.
홍일화 - 한마디로 정의하자면 ‘유저들의 자발적 신고로 사건파일을 생성하고, 이를 배심원 그룹이 판결하여 실시간 게임 제재’까지 이뤄지는 시스템'이라고 봐주시면 될 것 같습니다. FPS 게임의 숙명 중 하나인 부정 프로그램 사용 유저들을 빠르고 효과적으로 제재하기 위한 시스템이고요.
기존에 내부에서 운영 중인 운영팀 제재, 보안프로그램 제재 등의 정책은 더욱 강화하고 이에 더해 효과적인 시스템인 길로틴을 추가하는 개념입니다. 가장 큰 목적은 ‘눈에 띄고 대놓고 쓰는 핵들은 빠르게 없애 클린한 게임환경을 만드는데 기여하는 것’ 입니다.
Q. 길로틴과 같은 ‘유저 배심원단 시스템’은 서든어택 이외에도 여러 게임에서 도입됐으나, 대부분 오랫동안 지속되지 못했습니다. 게임에 적용된 유저 배심원 시스템의 한계점은 무엇이라 보는지, 또 길로틴에서는 이를 해결하기 위해 어떤 방법을 사용했는지 궁금합니다.
홍일화 - 말씀하신 것처럼 타게임 속 유저 배심원단 시스템들은 큰 효과를 보지 못했습니다. 서든어택의 길로틴은 다를 것이라 기대하고 있으며, 기존의 배심원단 시스템들과 다르다고 말할 수 있는 차이점은 크게 세 가지입니다.
첫 번째는 '쉬운 접근성'입니다. 길로틴을 위해 게임 클라이언트를 실행할 필요 없이, 웹을 통해 빠르고 간편하게 접근, 이용할 수 있습니다. 앞으로는 인게임 WIC(웹인클라이언트), 서든라디오 모바일 앱에서도 길로틴을 이용할 수 있도록 해서 접근성을 더욱 높일 계획입니다.
두 번째는 현재와 과거를 아우르는 사건 생성 기준에 있습니다. 기존의 타 게임 속 서비스들은 대부분 현재 시점만 지원하여 풍부한 사건 풀을 형성하지 못했고, 그러다보니 소규모로 운영되어 지속적인 유지가 어려웠죠. 길로틴에서는 본인이 직접 참여한 매치에서 만난 부정 유저를 신고하여 사건을 생성하는 것은 물론, 기록실 개념의 병영수첩을 통해 본인이 직접 만나지 않았던 부정유저, 혹은 과거 시점의 기록들에 대한 사건 생성도 가능합니다.
세 번째는 피로도 최소화입니다. 앞에서도 언급했듯 유저 배심원 제도를 성공적으로 안착시키기 위해선 '지속 가능한 서비스'가 되는 것이 무엇보다 중요했는데요. 길로틴은 병영수첩 이상 기록, 배틀로그, 킬캠, 배심원 코멘트 등의 복합적 증거자료를 통해 하나의 사건을 검토하는 시간, 즉 피로도를 줄이도록 노력했습니다. 곧, X-FILE 이라는 재미있는 콘텐츠도 업데이트할 예정이니, 많은 기대 부탁드립니다.
이처럼 다양한 차별화 포인트가 잘 버무려져서 서든어택에 실질적 도움이 되는 지속 가능한 서비스로 만들어 가는 것이 최종 목표라고 할 수 있습니다.
Q. 길로틴 공개 당시엔 '유저들에게 핵 제재 업무를 떠넘겼다'라는 유저 인식이 팽배했죠. 정식 서비스를 진행하고 약 한 달여가 지났는데, 현재 유저들의 반응은 어떤가요?
홍일화 - 항상 유저분들의 의견에 귀를 기울이고 있으며 긍정, 부정 반응을 모두 주의 깊게 보고 있습니다. 꼭 말씀드리고 싶은 점은, 기존에 내부에서 진행하던 핵 제재 시스템과 운영 업무들은 더욱 강화하여 운영 중입니다. 이에 더해 길로틴 시스템을 추가한 것이고, 내부의 핵 탐지 활동들과 유저분들과 함께 만들어 가는 길로틴을 투 트랙으로 운영하며 더 큰 시너지가 나고 있다고 보고 있습니다.
Q. 핵 제재 시스템을 더욱 강화했다면, 배심원제를 활용하는 수고로움 없이 강화된 핵 감지 기능을 보유한 AI를 적극 활용하는 방법도 좋을 것 같은데요.
김태현 - 서든어택은 넥슨 전용의 보안모듈인 NGS(Nexon Game Security)를 적용 중에 있습니다. 해당 모듈은 상시 업데이트를 진행하고 있으며, 다양한 종류의 핵을 막아내고 있습니다. 그리고 넥슨 인텔리전스렙스와 함께 딥러닝, 즉 AI를 통한 핵 사용자 패턴 분석을 진행하고 있으며, 길로틴 이전부터 점진적인 고도화를 진행하였기에 이 부분에 있어서도 핵 사용 억제에 효과를 보고 있습니다.
Q. AI나 보안 모듈을 쓰자는 이야기가 나오는 이유는 결국 ‘유저들로 구성된 배심원을 어떻게 믿느냐’라는 불신에서 시작된 의견으로 보입니다. 정말로 현재 배심원들에게 제공되는 정보만 가지고 핵 유저를 판별해내는 것이 가능한가요?
홍일화 - 위에서 말씀드린 것처럼 AI, 보안 모듈, 운영팀 수동탐지 등의 내부 탐지들은 더욱 강화하고 있습니다. 길로틴 시스템의 증거자료로 제공되는 의심기록, 배틀로그, 스크린샷은 눈에 띄는 핵 유저를 빠르게 판별하는데 굉장히 효과적이라고 보고 있습니다. 판결 정확도는 상당히 높고, 오진율은 굉장히 낮은 상태로 운영되고 있다고 봐주시면 좋을 것 같습니다.
Q. 실제 정식 서비스 이후에 집계된 데이터가 있다면 소개해주세요. 베타 서비스에서 수집된 지표와 차이가 있는지도 궁금한데요. 실제로 어떤 효과들이 있었나요?
홍일화 - 우선 베타 서비스 때처럼 정식 서비스 이후도 자체 실시한 핵 위험도가 길로틴 시스템 이전에 비해 큰 폭으로 줄어들어 핵 제재에 효과를 보는 것으로 나타났습니다. 이상 탐지와 불법 프로그램 탐지, 핵 위험도 등의 추이를 보여주는 그래프가 점진적으로 하강해 불법 프로그램 사용률이 감소한 것을 확인할 수 있었습니다. 특히, 내부에서 탐지하는 이상 탐지의 경우는 82%가량이 줄어 매우 인상적인 결과를 보였습니다.
이와 함께 8월 5일 기준으로 ‘길로틴 시스템’의 사건파일 처리율이 총 37,910건 중 100%를 기록해서 63.2%였던 베타서비스 때보다 더욱 활발한 참여가 이뤄진 것으로 나타났습니다. 건당 평균 판결 시간 또한 12시간 33분 46초를 기록해 40.48시간이었던 베타 서비스보다 신속한 처리가 이뤄졌습니다. 끝으로 판결 일치율은 96.4%를 기록해 베타 서비스 때의 88.4%보다 판결 신뢰성 역시 큰 폭으로 끌어올렸습니다.
Q. 정식 서비스에서 새롭게 추가된 추가 기능들 덕분에 "베타 때는 안됐는데, 정식에서는 가능하게 됐다"와 같은 사례가 발생했다면 이것도 소개 부탁드립니다.
홍일화 - 하나의 사건이 최종 판결까지 완료되는 시간이 굉장히 단축되었고, 사건의 처리율이 굉장히 올라갔습니다. 베타 때는 하나의 사건이 완료되는데 40시간 정도가 걸렸다면 현재는 최대 하루를 넘기지 않는다고 봐주시면 되겠습니다. 그리고 베타때는 일부 사건들이 판결 완료 기준을 채우지 못해서 유찰 처리되었는데요. 정식 적용 이후 지금까지는 사건파일이 생성되면 100% 처리되고 있습니다.
Q. 반대로 베타 때는 미처 발견하지 못했던 문제는 없었는지 궁금합니다. 유저들이 불편함을 느껴 피드백을 전달한 내용이나, 개선이 필요하다고 여겨진 부분은 없었나요?
홍일화 - 정식 서비스에서 추가된 코멘트 시스템은 음과 양이 있다고 생각하고 있습니다. 앞으로 운영하며 긍정적인 부분보다 부정적인 면이 더 부각된다면 개선을 진행할 생각입니다. 다만, 아직 방향이 정해진 것은 아닙니다. 또한, 열심히 참여해주시는 유저분들께서 만족할 만한 보상을 드리고자, 보상은 주기적으로 리뉴얼을 생각하고 있는데요. 얼마나 만족해 주실지 걱정되는 점도 있지만, 열심히 준비하고 있습니다.
Q. 서비스를 장기간 유지하기 위해서 가장 중요한 것이 보상이죠. 현재의 보상은 유저에게 동기를 부여하는 장치로서 제대로 작동하고 있다고 보시나요?
홍일화 - 게임의 밸런스를 고려하여 적절한 보상을 꾸준하게 리뉴얼하여 제공할 계획입니다. 앞으로 예정중인 X-FILE을 통해서도 추가 보상을 계획하고 있으니, 기대 부탁드립니다.
Q. 서비스 기간 중에 무고죄로 불편을 호소한 유저는 없었나요? 만약 무고가 있을 경우 제재 기간에 대해 적절한 보상을 제공하고 제재 이력 초기화를 해준다고 밝힌 바 있는데, 이러한 보상이 유저가 납득할 만한 수준이었는지도 궁금합니다.
홍일화 - 보상도 보상이지만, 중요한 점은 무고가 최대한 발생하지 않도록 시스템의 안전장치를 2중, 3중으로 설계하는 것으로 생각하고 있습니다. 안정성도 올리면서 처리 속도와 판결 정확도도 확보하는 밸런스를 매우 중요하게 생각하고 있고, 계속해서 보완을 해 나갈 계획이니 지켜봐 주시기 바랍니다.
그리고 혹여 발생한 무고에 대해서는 저희 내부에서 최대한 빠르게 확인하고 처리하여 드리는 게 중요할 텐데요. 아직 부족한 부분은 있으나, 효율적이면서도 정확하게 확인할 방안을 계속 고도화해 나가고 있습니다.
Q. 앞으로의 길로틴 시스템을 어떻게 발전시켜나갈 계획인지, 개발 방향 혹은 향후 로드맵을 소개해주세요.
홍일화 - 앞에서도 잠깐 언급한 것처럼, 우선 인게임과 서든라디오앱, 그리고 웹 길로틴으로 플랫폼의 확장을 계획하고 있습니다. 앞으로는 더욱 편리하게, 접근하기 쉽게 이용하실 수 있도록 준비 중입니다. 또 판결의 정확도를 최대로 끌어올리고 오진을 줄일 수 있는 안전장치들을 계속해서 보완해 나가고 있으니 기대 부탁합니다. 핵 잡는 딱딱한 시스템으로의 접근보다는, 개발사와 유저가 함께 클린한 게임 환경을 만들어가는 상생의 즐길 거리 콘텐츠로 만들어 가고자 합니다.
Q. 개인적으로도 유저 배심원단 제도는 하나의 즐길 거리로 활용될 가능성을 가지고 있다고 생각합니다. 하지만 여전히 게임 내에 적용된 유저 배심원단 제도를 바라보는 유저들의 불신이 남아있는 상황인데요. 앞으로 이러한 인식을 바꿔나가기 위해 어떤 움직임이 필요하다고 생각하시나요?
홍일화 - 배심원단 제도의 본질은 유저분들이 함께 참여하여 판결하는 시스템이기 때문에 판결의 정확도가 얼마나 높은가가 곧 시스템의 신뢰도로 이어집니다. 타 게임에 적용된 배심원단 제도에서 아쉽게 느껴졌던 부분들을 개선해서 '길로틴'에 담았고, 그러한 길로틴 시스템을 제대로 운영하는 것이 유저 배심원 제도에 대한 불신을 줄일 수 있는 유일한 방법이라고 생각합니다. 유저들이 믿고 참여할 수 있는 길로틴을 만들 수 있도록 계속 노력할 것이니, 앞으로도 관심 있게 지켜봐 주시길 바랍니다.
Robiin@inven.co.kr