트리뷰널이 공개된지 약 2년이 지났습니다. 트롤, 자리비움, 탈주와 같은 플레이를 방해하는 부정적인 플레이어들을 많이 걸러내오고 리그오브레전드에 긍정적인 면을 보여준 것은 사실이지만, 북미 포럼에서는 트리뷰널 시스템의 오류 가능성이 꾸준히 제기되어 왔습니다.

 

오늘 Lyte는 트리뷰널 시스템에 대한 자세한 내용을 이야기했습니다. 트리뷰널 시스템이 완벽하지는 않지만 라이엇이 어떻게 해왔는지, 그리고 어떻게 할 것인지에 대한 포괄적인 내용이 담겨 있습니다. 아래 내용을 확인해 보세요. 

 

 

시스템을 완벽하게 만드는 것은 정말 어려운 일이다 (난 불가능하다는 것을 말하는 것이다). 이것이 약이 되던지 (결과적으로 삶이냐 죽음을 결정할 수 있다면) 또는 외과적인 처치라던지 (이 경우는 60-80%의 높은 결정을 보인다) 또는 과학적이라던지 (긍정 오류의 5% 수준이 고려된다). 이러한 시스템이 완벽하지 않다는 것은 통상적인 경향이기도 하다. 매일마다 이루어지는 트리뷰널의 프로세스에서 정확히 판결하는 실질적인 양을 확인해보면, 트리뷰널이 위의 어떠한 예제들보다 더 정확하고 긍정 오류의 비율이 낮다는 것을 알 수 있다.

 

질문자는 현재 두가지 문제를 얘기하고 있다:
 1) 플레이어들은 거짓 리폿을 하고 트리뷰널로 보내지기도 한다. 이것은 실제적으로는 몇가지 이유로 인해 신뢰할 수 없기도 하다. 예를 들자면, 트리뷰널은 이미 리폿 당시에 거짓 리폿을 걸러낸다. 몇몇 플레이어만이 이러한 필터를 통과한다. 하지만 이것은 매우 드문 일이다. 불가능하지는 않지만, 정말 드물다. 우리는 Zileas의 계정에서 4인큐로부터 거짓 리폿을 받았을 때 시스템이 조치한 내용을 보았고, 현재 이런 경우에는 20%만이 트리뷰널로 가도록 설정해 두었다.

 

 2) 플레이어가 처벌받지 않아도 된다고 결정되어도 끝에는 트리뷰널에서 처벌되는 때가 있다. 우리는 의도적으로 트리뷰널 시스템이 1% 미만의 비율로 긍정 오류를 유지하도록 설정했고, 시스템은 매우 보수적이다 -- 트리뷰널의 현재 지표들은 평가되고 있다. 하지만, 3천만 이상의 플레이어들에게는 낮은 긍정 오류의 비율도 결과적으로는 많은 오류가 있는 것처럼 포스팅되기도 한다.

 

우리는 현재 트리뷰널의 지점에서 체감되는 사건 반려의 양을 줄이고 있다. 예를 들자면, 플레이어 행동 팀에게 트리뷰널의 80%에서 90%의 정확도를 보이는 트리뷰널을 개발하라고 하면 100시간이 걸린다. 실제로 90%에서 95%를 보이는 트리뷰널의 정확도는 1000시간이 걸렸다. 그런고로, 95에서 99%의 정확도를 보이는 트리뷰널은 10,000시간이 걸릴 것이다.

 

현재 트리뷰널의 정확도는 매우 높은 지점에 이르러 있다. 그리고 긍정 오류의 비율 또한 매우 낮다. 이러한 시스템을 계속 최적화하려면 정말 많은 영겁의 시간이 필요하다. 또한 우리는 사소한 것을 고치거나 논리 최적화 등을 통해 트리뷰널을 더 나아지게 하고 있다. 또한, 우리는 명예와 같은 새로운 기능을 통해 큰 효과를 얻을 수 있었다.

 

시스템을 완벽하게 만드는 것은 불가능하다. 앞으로도 트리뷰널에서 긍정 오류가 완전히 사라지거나 부정적인 플레이어들을 100% 걸러내고 처벌하지는 못할 것이다. 

 

-----------------------------------------------------------------------------------------------------------

 

아래 내용은 이 포스트에 대한 Lyte의 문답입니다.

 

Q. "Zileas의 계정 리폿'이 실험이었는지, 아니면 Zileas가 정말 4인큐에게 트롤을 해서 그렇게 된 것인지요?

Was this "reporting Zileas' account" thing an experiment, or was he actually being trolled by/trolling 4 man premades lol?

 

A. 실험이 아니었습니다. 질리언은 4명의 프리메이드에게 여러 게임에서 공격당했습니다. 그리고 트리뷰널 필터가 얼마나 작동하는 가를 체크했지요.
It wasn't an experiment. He was attacked by 4-man premades several games in a row, and came over to check how the filters were working. They were.

 

 

Q. 이것은 별것 아닌 트집이지만, 이런 종류의 이유들은 타당하다고 본다.
 단지 부정적이고, 이것에 대한 이유가 없다면, 단지 변명으로 다가올 뿐이다.
 대신 낙관적인 면에 기울어 포스트를 쓴다면, 보자마자 부정적이거나 패배적인 어조로 볼 수 있다.

 

다시 말하자면, 별것 아닌 트집이지만 시스템의 최적화를 하든지 아무런 변경사항이 없던지 할수 있다는 태도를 보여야 한다고 본다.

 

"침착하세요, 소환사님!" - 럭스

 

This is nitpicking, but this kind of reasoning really grinds my gears.
 It's just negative and there's really no reason for it, and it just comes off to me as an excuse.
 Instead of opening your post with a positive note, you set this negative
, defeatist tone right off the bat.
 
Again, nitpicking, but you have to have a can-do attitude when trying to optimize systems, or nothing ever changes.
 
"Stay positive!"-Lux

 

A. 나는 부정적인 것을 말하고자 하는것이 아니고 단지 현실적인 것을 말하고자 하는 것이다. "트리뷰널과 같은 시스템을 만드는 것은 불가능하다" 라고 말하는 것은 패배주의자다. "시스템을 100%의 정확도와 0%의 긍정 오류로 만드는 것은 불가능하다"는 것은 다른 이야기다.

 

과학자로서, 그렇게 말하지 않으면 무책임하다고 본다 -- 이것은 부정적인 것과는 상관이 없다. 과학자들은 이런 것들을 이렇게 말할 수 없다. "이 연구는 현재 100% 확신적으로..." 그것을 이렇게 말하는 것은 무책임한 행동이 될테니깐.

 

Hm, I wasn't trying to be negative--just realistic. Saying "it's impossible to build a system like the Tribunal" is defeatist. Saying, "it's impossible for systems to have 100% accuracy and 0% false positive" is different.

As a scientist, it would be irresponsible to say otherwise--it has nothing to do with being negative! This is why scientists rarely say things like, "this study proves with 100% certainty that..." It'd be irresponsible to say such things.

 

 

Q. 미안하지만, 나는 "무언가는 길이고 이것은 맞다 왜냐면 많은 사람들이 믿기 때문이다" 라는 점에 동의할 수 없네요.
기본적인 교육을 받았다면, 이것은 기초적인 룰이죠. 언쟁을 할때 사람들은 몇몇 약점을 나타내 보입니다. 예를 들자면 어떤 것을 내가 맞다고 생각하면 이유가 별게 없죠. 내가 맞기 때문이니깐요. 내가 무슨 말을 하려고 하면 일반적인 사람들은 자신들의 배경에서 오는 다름을 인정하지 못하고 논리적으로 알려고 하지 않아요. 트리뷰널 시스템은 일반적으로 사람들에게 너무 많은 권한을 부여합니다. 그리고 또 말하자면 나는 3일동안 정지상태이기 때문에 꺼져 있을 뿐이거든요. 나는 이 문제에 대해 깊게 생각했고 내 태도를 바꾸고자 했어요. 제가 단지 롤의 리폿을 받아 꺼져 있을수만은 없으니깐요. 나는 당신이 정말 멋진 사람이라고 이해하고 싶어요. 나는 70개의 게임동안 명예를 받았고 이것을 유지했으면 좋겠어요. 제가 실버 5 레벨의 게임을 하기 때문에, 그리고 챔피언 선택에서부터 뭐라고 했지만 인게임에서는 캐리를 많이 했는데 제재로 인해 명예를 잃는다는건 공평하지 않잖아요.

 

I'm sorry but I do not believe in the "something is this way and it is right because this many people believe in it "
If you have taken any basic argument education, its a basic rule. There are few flaws people make when they are arguing. For example a point I am right can't be reasoned with because I am right. Its not logical. What I'm trying to say is that general population does not know how to make a logical thoughts even though it varies from their background. The tribunal system gives too much power to the general public. And what I'm also saying is I'm just qqing because I am suspended for three days. I had deep thoughts about this matter and I shall change my attitude. If I may qq just one more thing league is becoming league of reports. I hope u understand I'm really a nice guy. I wish I can keep the honors I gained 70 games. So not fair to lose them all because of 5 silver lvl games where I was harasses a lot in champ selection and in game by bunch of morons I carried.

 

A. 저는 보통 이러한 유형의 토론에 끼어들지는 않지만, 이번 쓰레드에서 당신의 게임에서는 수동적인 공격성향과 나가버리는 부정적인 문제가 있다는 점을 지적하려고 해요.

당신의 리폼 카드의 행동은 롤에서 좋지 않아요. 전 행동의 조정을 통해 두번째 밴을 당하지 않았으면 좋겠어요. 하지만 당신이 자신의 행동을 합리화하면, 롤에서는 좋지 못한 결과로 나올거에요. 이것은 실제 생활에서 괜찮다던가 실제 친구들 또는 다른 컨텍스트들이 말하는 것과는 상관이 없어요. -- 그곳은 리그오브레전드가 아니니깐요. "캐리해서 상관없다" 라던가 몇백의 Elo를 얻었다, 몇번 이겼다는 것들은 다 상관이 없어요 -- 당신이 몇백명의 사람들에게 부정적인 경험을 심어주고 있다는 것만 있을뿐이죠.

 

"하아 실버 팀.." 과 같은 언어는 게임의 즐거움에 아무것도 득이 되지 않아요. 그리고 단지 이러한 경험은 게임이 시작하기도 전에 당신의 팀원들에게 멘탈에 금이 가게 할 뿐입니다.

 

몇백명의 플레이어들이 자신의 의견을 말하고 더이상 당신과 플레이하고 싶지 않다고 이야기하네요. 리폼 카드를 보니, 많은 플레이어들이 왜 그렇게 생각하는지 이해하기 힘든게 아니에요. 플레이어 서포트 스탭도 당신의 케이스를 확인했고, 당신이 더 나은 행동을 보여야 한다는 점에 동의했습니다.

 

I generally don't chip into these types of discussions, but I wanted to point out that even in this thread, you are being passive aggressive and quite negative on your fellow gamers.

Your Reform Card is an example of behavior that is not OK in League of Legends, and I hope with some adjustments you don't receive a second ban. But to start, you have to realize that no matter how you rationalize your behavior, it's not OK in League. It doesn't matter if it's OK in real life or OK with your friends or any other context--it's not acceptable in League. It doesn't matter if you "carried a bunch of morons" or gained hundreds of Elo or won your games--you are creating negative experiences for hundreds of players.
 
Language like "sigh silver team," doesn't add anything to the enjoyment of the game and the only thing it does is make the experience slightly worse for your teammates before the game has even started.
 
Hundreds of players voiced their opinion and said they don't enjoy playing with you. When I look at your Reform Card, it's not difficult to understand why so many players feel that way. Player Support staff also reviewed your case and agree you need to improve your behavior.

 

 

Q. Lyte의 업데이트에 감사드립니다. 한가지 궁금한게 있는데 이전게시물에 나와있는 Zileas의 프리메이드 리폿 말이죠.

이런 경우의 게임에서 시스템은 프리메이드를 '그들의 기록' 이나 그들 중 한명이 스팸 리폿으로 경고를 받았는지를 종합적으로 판단해 신뢰성 있는 리폿으로 본거죠? 계정 정보를 고려하는건지 아닌지 잘 모르겠네요.

 

Thanks for all the updates on this Lyte, I do have a question regarding your earlier post about Zileas getting pre-made reported since I'm sure that will get jumped on by some.
 
In the cases of those games were the reporting pre mades credible overall in their history or were they some of the ones who've been getting warned for spam reporting? Don't know if this would be considered account info or not.
 
A. 저는 특정한 계정에 대한 정보를 공개할 수 없습니다만, 시스템은 리폿을 하는 사람들의 '역사적 신뢰성' 과 '행동 기록' 을 평가하며 리폿을 받아들입니다. (Zileas이 이런 케이스였죠)

 

I can't reveal information about their accounts in particular; however, the system assesses both the 'historical credibility' of the players who are reporting, and the 'behavioral history' of the recipient of the reports (Zileas in this case).

 

-----------------------------------------------------------------------------------------------------------

 

It's extremely difficult (I would say impossible) to have a perfect system. Whether it's medicine (where results could decide between life or death) or surgeries (where a 60-80% success rate is considered high) or science (where a 5% false positive rate is considered standard), there is a common trend--these systems are not perfect. When you consider the actual number of correct cases the Tribunal processes everyday, you will notice that the Tribunal is more accurate than any of the above examples, and has a lower false positive rate.

You are actually discussing two problems:
1) Players are getting false reports and are being sent to the Tribunal. This is actually extremely unlikely for a few reasons. For example, the Tribunal already filters out false reports at the time of the report. For a player to only be sent to Tribunal by false reports that also bypass the filters... it's just extremely rare. Not impossible, but rare. We saw this system in action when one of Zileas' accounts was false-reported by premades of 4 multiple times in a row--he ended up only 20% of the way to a Tribunal case.

2) Players that end up in Tribunal are punished when they don't deserve it. We have intentionally set the Tribunal to sustain a false positive rate lower than 1% to ensure that the system is extremely conservative--this is the current bar that the Tribunal is measured by. However, when you have 30+ million players, even an extremely low false positive rate results in a lot of errors that get posted on the forums.

We're at a point in the Tribunal where we are coming up against diminishing returns. For example, let's say it takes the player behavior team 100 hours in development to bring the accuracy of the Tribunal from 80% to 90%. To actually bring the accuracy of the Tribunal from 90% to 95% is going to cost us 1000 hours. Then, to bring the accuracy of the Tribunal from 95% to 99% might cost 10,000 hours.

We are currently at a point where Tribunal accuracy is extremely high, and false positives are extremely low. To continue optimizing these systems requires such an exponentially high ratio of hours that we are better off working on small tweaks to the Tribunal to continue small, logical optimizations; alternatively, we could just get big gains working on a new feature or system like Honor.

It's impossible to create a perfect system. We're never going to have a Tribunal that never has a false positive, or accurately targets and punishes 100% of negative players.

 

http://na.leagueoflegends.com/board/showthread.php?t=3136016&page=3#34761252