날짜 :
2013-03-28 20:13
댓글 :
218

[GDC2013] Riot 유저 행동 분석팀 제프리 린 "악성 플레이를 줄이기 위한 노력들"

이동원 기자 (Niimo@inven.co.kr)
욕설을 하고 상대방을 비난하는 온라인 게임 문화의 어두운 부분은 특히 상대방과 경쟁을 하는 게임에서 빈도가 심하게 나타나곤 한다. 최근 전세계적으로 인기를 얻고 있는 리그오브레전드 역시 이런 문제를 안고 있는 중이다.

프로게이머로 데뷔하는 신인 선수의 과거 욕설 행적이 알려져 이에 대해 논란이 생기는 것과 같이 큰 사건이 아니더라도, 심한 욕설은 물론 팀원들에게 피해를 주는 식으로 게임을 플레이하는 일명 '트롤러'에 관한 보고는 하루가 멀다하고 화제가 되고 있다.



하지만 라이엇게임즈가 이에 대해 손을 놓고 있는 것은 아니다. 다른 온라인 게임사에서는 좀처럼 찾아보기 힘든 '행동 분석팀'의 존재 자체가 바로 그 증거.

행동 분석팀(Player Behavior)이란, 두뇌 인지 과학 박사, 인간 요인 심리학 박사, 인지 신경과학 박사 등 전문가들은 물론, 개발자, 마케팅 담당 등 라이엇게임즈의 수많은 부서에서 각각 게임을 다루고 있는 사람들이 모인 팀을 말한다. 그리고 이 팀의 수장이라고 할 수 있는 '제프리 린(Jeffery Lin)'의 이야기를 들을 수 있다면 어떻게 하겠는가.

아래는 미국 샌프란시스코에서 열리고 있는 게임 개발자 컨퍼런스(GDC)에서 열린 제프리 린의 강연을 정리한 내용이다. 강연에서는 악성 유저들의 행동을 개선하고 더 나은 게임 환경을 조성하기 위해 라이엇게임즈가 어떤 다양한 시도를 했는지, 그리고 그런 시도들이 실제로 어떤 효과를 거두었는지 확인할 수 있었다.




뇌 과학, 심리학자 등 전문가들과 라이엇게임즈의 다양한 직원들로 꾸려진 행동 분석팀은 우선 악성 유저에 대처하기 위해 과학적인 접근을 하기 시작했다.

그들이 가장 먼저 한 것은 악성 유저들의 행동 패턴을 분석하는 것이었다. 누구나 기분이 좋지 않거나 컨디션이 나쁜 날이 있다. 그런 날에 게임이 잘 풀리지 않으면 화가 날 수도 있을 것이다. 하지만 조사한 결과, 악성 유저들은 평범한 유저들에 비해 더 자주, 그리고 더 강하게 게임에서 폭력성을 나타내는 경향을 보였다.



- 악성 유저와 일반 유저의 악성 행동 빈도 비교 차트


그렇다면 이런 질문을 던져볼 수 있을 것이다. 모든 악성 유저를 게임에서 쫒아낸다면 유저들의 행동 문제를 해결할 수 있을까?

답은 "그렇지 않다."

악성 유저가 아닌 일반적인 유저들 10명이 모여서 게임을 한다고 했을 때, 각각의 유저들을 떨어뜨려놓고 보면 특별히 심한 악성 행동 패턴은 나타나지 않을 것이다. 하지만 게임은 10명이 같이 하는 것이기 때문에 10명의 결과가 합산된 것이 실제로 유저들이 경험하게 되는 나쁜 경기라고 할 수 있다.

"1일차에는 1번 유저가 나쁜 행동을 합니다. 2일차에는 9번 유저가 합니다. 3일차는 아무 일도 없었지만, 4일차에는 4번 유저, 6번 유저, 7번 유저, 9번 유저가 나쁜 날이었습니다. 개개인별로는 크게 나쁘게 게임하지 않았겠지만, 10명이 함께 게임을 하게 되면서 대부분의 게임에서 악성 행동을 경험하게 되는 결과가 나타나게 되죠. 악성 유저가 없는 상황인대도 말입니다."



- 일반 유저 10명이 함께 게임을 하게 되는데...



- 각각은 일반 유저 패턴이지만 10명의 결과가 합산되면, 거의 매번 나쁜 게임을 경험하게 된다.


그렇다면 어쩔 수 없다는 뜻일까. 그래서는 안된다. 그래서 행동분석팀은 몇 가지 목표와 가설을 세우고 실험을 하기 시작했다.

첫 번째 목표는 부정적인 행동으로 부터 유저를 보호하는 것이었다. 이를 위해 전체 채팅 보기 옵션을 넣으면 행동이 개선될 것이라는 가설을 세우고 실제 게임에 이를 적용해보았다.



결과는 성공적이었다. 옵션을 넣기 1주일 전까지만해도 채팅이 있는 게임의 81%가 부정적인 내용의 채팅이었는데, 이 옵션을 넣은 후에는 부정적인 채팅이 32% 감소한 것이다. 오히려 긍정적인 채팅은 이전의 8.7%보다 35.5% 증가했다.

"이것은 굉장히 작은 변화라도 큰 영향을 줄 수 있음을 보여준 사례입니다. 악성 행동으로부터 유저를 보호하는 것 자체만으로도 그런 행동의 빈도를 줄일 수 있다는 점을 확인하게 되었죠."


- 채팅을 끌 수 있게만 했는데도 악성 채팅이 줄어들었다


두 번째 목표는 악성 유저를 제거하거나 개선시키는 것이었다. 이들이 세운 가설은 커뮤니티가 그들의 행동을 스스로 관리하게 장려한다면 결국 악성 행동에 저항하는 효과가 나타난다는 것. 그렇게 탄생한 것이 '배심원단(Tribunal)' 시스템이다.



배심원단 시스템은 큰 호응을 얻었다. 최근까지 1억 5백만 건 이상의 투표가 기록되었고, 28만 명의 악성 유저가 개선되는 성과를 거두었을 정도. 배심원단의 투표를 통해 악성 유저는 경고를 받거나 이용정지를 당했다.



하지만 문제는 여전히 남아 있었다. 한 번 이용정지를 당한 유저들은 정지 기간이 끝난 후에도 비슷한 행동을 반복하고 있었기 때문이다. 3일, 7일, 14일의 이용정지가 끝나면 그 전보다 더 많이 신고를 당한 것이다.

어떻게 하면 실질적으로 이들의 행동을 개선할 수 있을까. 행동분석팀이 세운 가설은 '왜 정지를 당했는지' 알려준다면 행동이 개선된다는 것이었고, 그래서 라이엇게임즈는 '개선 카드(Reform Card)'를 보내기 시작했다.

개선 카드를 보내고 나서 놀라운 변화가 일어났다. 처벌에 대한 정확한 안내가 나가면서, 이전에 비해 이용 정지 후 리포트 되는 비율이 현저히 낮아진 것이다.


- 개선 카드 이전에는 악성 유저가 처벌 이후에 더 많은 리포트를 받았지만, 개선 카드 이후에는 현저히 줄어들었음을 보여주는 통계


"이전에 이용 정지를 당할 때는 로그인 화면에서 정지 사실만 알 수 있을 뿐, 왜 그런 처벌을 받았는지 확인할 수가 없었죠. 그래서 악성 유저들은 그런 처벌이 부당하다고 생각하고 화가 났던 겁니다. 그래서 정지 기간이 끝나면 더 심한 행동을 했던 것이죠."

긍정적인 효과는 또 있었다. 게시판에 "우리 팀이 병X 같길래 내가 호모XX라고 했더니 영구 정지를 당했다."라는 글이 올라오자 "그런 단어를 쓴다면 매번 정지를 당할 거야.", "개선 카드가 너무 좋아. 너 같은 사람들이 정지되는 이유가 명확해지거든.", "너랑은 절대로 게임을 같이 하고 싶지 않을꺼야."라는 다른 유저들의 답이 달린 것이다. 유저들 사이에서 악성적인 행동에 저항하는 문화가 형성되기 시작한 것이다.



처벌을 받은 유저들이 실질적으로 개선되는 모습도 확인할 수 있었다. 자신이 잘못한 부분을 사과하고 다시는 그렇게 하지 않겠다는 내용의 우편물이 라이엇게임즈 본사로 배달되기 시작한 것이다.

"배심원단 시스템을 통해 아주 큰 규모의 커뮤니티는 악성 행동을 혐오하게 되며, 툴을 제공하여 이런 문화를 바꿀 수 있다는 점을 확인했습니다. 또 악성 유저들에게 자세한 피드백을 주고 이에 대해 토론하도록 장려하면서 실제로 악성 유저들을 개선시키는 효과를 확인했죠."



어느 정도 성과를 얻은 라이엇게임즈가 세 번째 목표로 잡은 것은 스포츠맨쉽 문화를 만드는 것이었다.

이를 위해 심리학에서 사용하는 '점화(Priming)'를 도입하기로 했다. 점화란 행동을 하기 전에 기억 속에 특정한 설명을 주입해 활성화시키는 심리학 방법론을 말한다. 예를 들어, 어떤 일을 수행할 때 '노인'과 연관된 단어를 사용하면 걷는 속도가 느려지는 현상이 이에 해당되는 것이다.

리그오브레전드에서는 게임이 시작할 때 보이는 '오늘의 팁'이 바로 여기에 해당되는 시스템. 그리고 오늘의 팁 역시 성과를 거뒀다. 긍정적인 행동을 유도하는 오늘의 팁을 본 유저들의 언어 폭력, 공격적인 태도, 리포트 비율이 감소하기 시작한 것이다.



하지만 행동분석팀은 '오늘의 팁'을 적용함에 있어서도 다양한 조건 변수들을 만들어 어떤 것이 가장 효과적인지 실험을 진행했다. 팁의 내용을 재미있는 것, 긍정적인 행동에 관한 것, 부정적인 행동에 관한 것, 스스로를 돌아보게 하는 것, 게임 플레이의 팁 등으로 다양화하고 글자의 색도 빨간색, 파란색, 흰색을 섞어서 사용했다. 노출되는 위치도 로딩 화면, 게임 내 영역 등 다양하게 설정했다. 이런 경우의 수를 모두 감안해 217 가지의 조건을 만들어 어떤 조건에서 행동의 변화가 나타나는지 수치적으로 측정하기 시작했다.



"예를 들어 '팀원의 실수에 공격적으로 대하면 팀원은 게임을 더 잘 못하게 됩니다'라는 팁을 빨간색으로 나타냈을 때, 부정적인 태도는 8.34% 감소하고, 언어 폭력은 6.22% 감소하며, 공격적인 언어는 11% 감소했습니다. 하지만 모든 조건을 똑같이 하고 글자의 색깔만 하얀색으로 하자 오히려 부정적인 태도가. 0.55% 증가하고, 언어 폭력이 2.48% 증가하는 현상이 나타났죠."

또 하나의 예. "이번 게임에 누가 가장 스포츠맨쉽이 뛰어난 사람이 될까요?" 라는 팁을 빨간색으로 노출했을 때는 어떤 결과가 나왔을까. 스스로를 돌이켜보길 원해서 삽입한 팁이지만 빨간색으로 보이면서 경고나 주의의 의미를 띄게 되었고, 이는 결국 부정적인 태도, 언어 폭력, 공격적인 말투, 리포트율에서 모두 증가하는 결과로 이어졌다.

목표 달성하기 위해 여러가지 가설을 세우고, 이를 실험을 통해 긍정적인 효과를 거두어왔던 행동분석팀. 하지만 제프리 린은 아직도 행동분석팀의 연구와 실험은 진행중이라고 말했다.

"리그오브레전드를 경쟁 요소가 있는 게임 중에서 가장 스포츠맨쉽이 뛰어난 문화를 가진 게임으로 만들고 싶습니다."

리그오브레전드 인벤 바로가기

코멘트

새로고침
새로고침

게임별 조립 PC

인벤 최신 핫뉴스

[뉴스] 지스타 대신 스팀에서 만난다, '킹덤 언더 파이어2' 출.. [20] 강승진 (Looa@inven.co.kr) 11-19
[뉴스] 온라인 플레이 탑재한 '디제이맥스 리스펙트', 스팀으.. [7] 인벤팀 (desk@inven.co.kr) 11-19
[뉴스] 3편 대신 VR, '하프라이프: Alyx' 공개 [6] 강승진 (Looa@inven.co.kr) 11-19
[리뷰] 향 첨가 수준이 아닌 POE 맛 제대로 살린 '패스 오브 .. [16] 배은상 (Silber@inven.co.kr) 11-18
[칼럼] 지스타에서 본 다음 게임 세대 청사진 [10] 이두현 (Biit@inven.co.kr) 11-18
[순위] [순위분석] 수능 이벤트로 순위표 2위 달성한 '피파 온.. [26] 박광석 (Robiin@inven.co.kr) 11-18
[뉴스] 펄어비스, 인텔과 기술 협업 MOU 체결 [23] 인벤팀 (desk@inven.co.kr) 11-18
[뉴스] 'IGC X G-CON 2019' 강연기사 모아보기 [2] 허재민,김수진 (desk@inven.co.kr) 11-18
[뉴스] '스타워즈 제다이: 오더의 몰락' 11월 15일 국내 정식.. [16] 인벤팀 (desk@inven.co.kr) 11-18
[동영상] 신작 명칭 확정! '길티기어-STRIVE-', 정식 트레일러 .. [0] 양영석 (Lavii@inven.co.kr) 11-18
[뉴스] 넥슨컴퓨터박물관, 100만 관람객을 맞이하다 [8] 인벤팀 (desk@inven.co.kr) 11-18
[뉴스] 지스타 2019 'BIC 페스티벌 쇼케이스 2019' 성황리에 .. [0] 인벤팀 (desk@inven.co.kr) 11-18
[뉴스] 지스타 2019, 역대 최다 관람객 24만 명 달성하며 성료 [43] 인벤팀 (desk@inven.co.kr) 11-18
[뉴스] 엑자일콘에 등장한 카드 게임? 직원과 팬 모두가 즐긴.. [18] 배은상 (Silber@inven.co.kr) 11-17
[인터뷰] 핀란드 게임 산업, 어떻게 폭발적인 성장을 하게 됐을.. [1] 윤서호 (Ruudi@inven.co.kr) 11-17
인벤 방송국 편성표
명칭: 주식회사 인벤 | 등록번호: 경기 아51514 | 등록연월일: 2009. 12. 14 | 제호: 인벤(INVEN)
발행인: 서형준 | 편집인: 강민우 | 발행소: 경기 성남시 분당구 성남대로 331번길 8, 17층
발행연월일: 2004 11. 11 | 전화번호: 02 - 6393 - 7700 | E-mail: help@inven.co.kr

인벤의 콘텐츠 및 기사는 저작권법의 보호를 받으므로, 무단 전재, 복사, 배포 등을 금합니다.
Copyrightⓒ Inven. All rights reserved.