아침에 출근할때 보통 몇분쯤 걸린다는 것을 누구나 짐작할 수 있는데, 이것도 바로 일상 생활의 통계 라는 것. 듣고보니 그렇다. 보통이란 말은 통계에서 사용하는 평균과 같은 뜻이니까. 네오플의 윤명진 팀장은 던전 앤 파이터의 실제 사례를 통해 통계 분석의 활용에 대한 발표를 시작했다.
가장 먼저 설명한 것은 바로 통계가 당연한 일의 연속이라는 것. 누구나 휴일에는 UV, 즉 유저들의 방문율이 오르고 접속자가 상승한다는 것을 알고 있으며, 이것이 바로 개인의 상식과 경험에 의해 빠르게 판단을 내리는 직관적인 형태의 통계.
그러나 업무에 활용하는 분석은 이런 직관적인 판단보다는 실제 수치의 통계를 활용한 판단이 주가 된다.
예를 들어 직관적인 판단으로는 시험기간에 접속률 등의 지표가 하락할 것이라고 예상하기 쉽지만, 통계에 의하면 오히려 시험을 치르기 전 기간에 지표가 하락하고 시험 첫째날 오후가 되면 급격하게 지표가 상승한다.
또한 일년중에 특별한 이벤트와 업데이트가 없다고 가정했을 때 접속자가 가장 많은 시기는 보통 명절이라고 생각하기 쉽지만, 실제로는 솔로들이 밤을 지새는 크리스마스라고 한다.
[ 2008년 갑자기 접속자가 크게 상승한 이유는? ]
[ 경험치 2배와 아이템드롭율 2배의 결과 ]
두번째 주제는 통계를 위한 가설의 기준. 일반적으로 커뮤니티를 기반으로 하는 가설과 실제 지표에 의한 가설, 그리고 마지막으로 게임의 지식을 활용한 가설까지 총 세 종류의 기준이 있다고 한다.
첫번째인 커뮤니티를 기반으로 하는 설정은 각종 게임의 게시판이나 커뮤니티에 올라오는 유저들의 의견들을 캐치하여 가설을 설정하는 것으로 상황 대처가 늦고 객관적이기 힘들다는 단점이 있다고 한다.
또한 지표에 도달하기까지, 즉 게이머들의 불만이 드러날 때까지의 기간이 너무 오래 걸려 문제점을 파악했을 때에는 이미 늦는 경우가 많아서 위험한 방법.
두번째는 실제 게임의 지표를 활용한 가설의 설정. 실제 게임의 각종 통계 수치를 활용하여 유저들이 어떤 부분에 관심을 갖고 있는지 파악할 수 있어 커뮤니티보다 대응도 빠르고 객관적인 결과를 얻을 수 있는데다 과거의 데이터와 비교까지 가능하다는 것이 장점이다.
그러나 문제는 각종 지표들을 분석하는데 충분한 기간이 필요하고, 또 지표에서 파악할 수 없는 부분들은 모르고 넘어가는 경우가 발생할 수 있는 문제가 있다.
[ 투표 역시 게임의 접속에 영향을 준다. ]
윤명진 팀장이 가장 나은 방법이라 추천하는 세번째는 바로 게임의 지식과 경험에 의한 가설의 설정. 즉 분석하는 게임에 대해 충분한 이해도를 갖춘 사람이 가설을 설정하고 더욱 정확한 결론을 도출하는 형태.
실제로 던전 앤 파이터의 가장 쉬운 난이도와 가장 어려운 난이도에서 죽을때 소모하는 코인의 갯수와 던전 완료 수준을 비교해보면, 오히려 가장 어려운 난이도에서 코인도 덜 쓰고 심지어 클리어 횟수도 높다고 한다.
이런 현상이 발생하는 원인은 게이머들의 숙련도. 즉 가장 쉬운 난이도에서부터 차근차근 몬스터들의 패턴과 스테이지를 익힌 결과 오히려 가장 어려운 난이도에서 덜 죽고 많이 깬다는 것. 이런 데이터는 수치로 표현하기도 힘들 뿐더러 분석도 어렵다고 한다.
통계를 분석하는 사람이 게임은 해서 뭐하냐는 회사도 물론 있지만, 윤명진 팀장은 분석을 하는 사람이야말로 정말 게임을 해서 충분한 지식을 갖고 있어야 한다고 주장했다.
[ 난이도는 올라갔는데 깨는 사람이 많아지는 현상의 원인은? ]
마지막 주제는 통계적 분석의 결과를 실제 게임에 반영하는 것. 당연히 담당자의 입장에서 가장 어려운 것은 개발팀을 설득하는 일. 결국 해결방법은 뻔한 이야기일수도 있겠지만, 역시 신뢰와 공동의 목표.
과거 던전 앤 파이터의 가장 큰 업데이트 중 하나였던 세컨드 임팩트 당시, 개발자들은 물론 게이머들조차 던전을 더욱 어렵게, 만레벨의 달성도 어렵게, 만레벨이 된 이후 남들보다 훨씬 희소성있게 등 전반적으로 게임의 난이도를 올리자는 결론에 합의했다고 한다.
게이머들조차 게시판 등을 통해 게임이 좀 더 어려워야 한다는 것에 동의했고, 개발자들 역시 그런 방향으로 세컨드 임팩트를 업데이트했다. 그러나 실제 업데이트를 한 결과, 던전 앤 파이터는 엄청난 하락세를 경험한다.
게이머들과 개발자들이 동의했는데 왜 동시 접속자가 하락했을까? 원인은 바로 합의된 것으로 생각했던 난이도와 게임의 보상에 문제가 있었다는 것. 만레벨을 찍기 어려워야 한다는 점을 머리로는 인정했으나 실제 게임을 해보니 어려운데다 재미도 없었다는 것이다.
[ 오른쪽의 파랑색 지표가 각성 이후 회복된 UV ]
문제는 이렇게 불만을 가진 게이머들이 소리없이 이탈을 해버려 지표로는 드러나지 않는다는 점. 외부로 드러나는 점이 없었기 때문에 개발실을 설득하는 것도 어려웠으나, 기존에 이미 많은 통계 분석으로 개발실과의 신뢰를 쌓아왔기에 결국 분석의 결과를 게임에 도입했다.
세컨드 임팩트 이후의 업데이트는 통계 분석의 결과에 따라 게임의 난이도를 좀 더 쉽게 조절하는 형태로 등장하였으며, 이것이 바로 던전 앤 파이터의 각성 업데이트. 이후 다시 원래 수준의 UV를 회복해 더욱 신뢰를 쌓는 계기가 되었다고 한다.
결국 윤명진 팀장은 통계 분석이란 과거 사건의 분석을 통해 올바른 방향을 정하도록 돕는 일이며 더 좋은 게임을 만드는 계기가 될 수 있고, 게임이 세상을 더 나은 것으로 만든다면 통계 분석이 게임을 더 좋게 만들 수 있다는 발언을 마지막으로 발표를 마쳤다.
roman@inven.co.kr