비교하고자 하는 건 인간의 본능과도 같다. 어떤 게 더 빠른지, 더 강한지, 그리고 더 뛰어난지 인간은 항상 이를 비교해 왔다. 이는 최근 몇 년 사이 전 세계적인 화제를 불러일으킨 AI도 마찬가지다. 현존하는 AI 가운데 가장 뛰어난 AI는 어떤 AI일까. AI의 점수를 매기기 위한 정확한 기준이 확립되지 않은 만큼, 아직 이에 대해 얘기하기엔 이르지만, 적어도 게임에 한해서는 답이 나온 것 같다.
북미 현지 시각으로 3월 23일, 미국 캘리포니아 샌프란시스코에서는 미스트랄 AI, 서리브럴 밸리(Cerebral Valley), 쉑15(Shack15)가 공동 주최한 '미스트랄 AI 해커톤'이 개최됐다. 다양한 프로그램이 진행된 가운데 특히 눈길을 끌었던 건 바로 SF3 LLM 콜로세움이다. 스트리트 파이터3를 활용해 LLM(Large Language Models, 대규모 언어 모델) AI들이 맞붙은 것으로 8개의 LLM AI들이 맞붙은 결과 오픈 AI의 'GPT 3.5 터보'가 우승을 차지했다.
LLM은 방대한 양의 자연어 처리 작업을 수행할 수 있는 딥러닝 알고리즘을 뜻한다. 이번 SF3 LLM 콜로세움에 참가한 8개의 LLM AI들에게는 '스트리트 파이터3'와 관련된 다양한 정보들이 텍스트 형태로 제공되었으며, 이를 LLM AI들이 학습하고 상황에 따라 어떻게 대처하는지 파악하는 식으로 진행됐다. 동일한 조건을 위해 캐릭터는 켄으로만 제한됐으며, 공개된 영상에서는 단순히 펀치와 킥을 날리는 데에서 그치지 않고 파동권이나 승룡권 등의 기술을 구사하는 것도 엿볼 수 있다.
SF3 LLM 콜로세움에 참가한 LLM AI는 오픈 AI의 GPT 3.5 터보, GPT 4(일반, 1106, 0125), GPT 터보 5개와 미스트랄 AI의 미스트랄 스몰, 미스트랄 미디움, 미스트랄 라지 3개로 342경기를 진행한 결과 GPT 3.5 터보가 1776점으로 1위를 차지했다. 이어 미스트랄 스몰 최신 버전이 1586점으로 2위에 올랐으며, GPT 4 1106 프리뷰 버전, GPT 4, GPT 4 터보, GPT 4 0125 프리뷰 버전이 3~6위를 차지했다. 한편, 미스트랄 AI의 미스트랄 미디움과 라지 모델은 7위, 8위에 그쳤다.
한편, 상대적으로 성능이 더 뛰어난 것으로 알려진 GPT 4, 미스트랄 미디움과 라지 모델이 아닌 GPT 3.5 터보와 미스트랄 스몰 최신 버전이 상위권에 오른 이유에 대해 미스트랄 AI 운영진은 "소형 모델이 지연 시간과 속도 면에서 이점이 있다"면서 빠른 반응 속도가 이점으로 작용했다고 설명했다.
해당 프로젝트의 소스 코드는 미스트랄 AI가 깃허브를 통해 공개했으며, 누구나 시도해 볼 수 있다.
인벤 주요 뉴스
▶ [동영상] '메타포: 리판타지오', SGF 통해 아키타이프 소개 [0] | 윤홍만, 정재훈, 김수진, 윤서호 (Nowl@inven.co.kr) | 06-08 |
▶ [뉴스] 올해의 신작부터 기대작까지, SGF 2024 오프닝 [4] | 윤서호,김수진,정재훈,윤홍만 (desk@inven.co.kr) | 06-08 |
▶ [동영상] 해리포터 멀티 게임 '퀴디치 챔피언' 9월 3일 출시 [5] | 윤홍만, 정재훈, 김수진, 윤서호 (Nowl@inven.co.kr) | 06-08 |
▶ [동영상] '다크 앤 다커', 15개월 만에 스팀으로 귀환 [48] | 윤홍만, 정재훈, 김수진, 윤서호 (Nowl@inven.co.kr) | 06-08 |
▶ [동영상] 8인 협동 리얼 좀비 슈터 '노 모어 룸 인 헬2' [3] | 정재훈,윤홍만,김수진,윤서호 (desk@inven.co.kr) | 06-08 |
▶ [동영상] 액션 끝판왕 '팬텀 블레이드 제로', 실제 플레이 영상 [2] | 정재훈,윤홍만,김수진,윤서호 (desk@inven.co.kr) | 06-08 |
▶ [동영상] 마상 전투 추가? '몬헌 와일즈', 신규 트레일러 공개 [5] | 윤홍만, 정재훈, 김수진, 윤서호 (Nowl@inven.co.kr) | 06-08 |
▶ [동영상] 체코의 자존심, '킹덤 컴: 딜리버런스2' SGF 트레일러 [0] | 정재훈,윤홍만,김수진,윤서호 (desk@inven.co.kr) | 06-08 |
▶ [동영상] 돌아온 타임머신, '문명7' 최초 공개 [8] | 정재훈,윤홍만,김수진,윤서호 (desk@inven.co.kr) | 06-08 |
▶ [동영상] 갑자기(?) 일본으로 간 '더 파이널스' [4] | 정재훈,윤홍만,윤서호,김수진 (desk@inven.co.kr) | 06-08 |
▶ [동영상] '퍼스트 디센던트', SGF 2024 현장 반응은? [1] | 윤홍만, 정재훈, 김수진, 윤서호 (Nowl@inven.co.kr) | 06-08 |
▶ [동영상] 소니 독점작 호라이즌 신작, 마침내 멀티 플랫폼으로 [4] | 윤홍만, 정재훈, 김수진, 윤서호 (Nowl@inven.co.kr) | 06-08 |
▶ [동영상] '퍼스트 디센던트' 7월 2일 정식 출시 [8] | 윤홍만, 정재훈, 김수진, 윤서호 (Nowl@inven.co.kr) | 06-08 |
▶ [동영상] 퀄리티 실화? 마침내 공개된 '야구자: 슬리터헤드' [0] | 윤홍만, 정재훈, 김수진, 윤서호 (Nowl@inven.co.kr) | 06-08 |
▶ [뉴스] 40주년 앞둔 IP 명가 가이낙스, 파산 [9] | 윤서호 (Ruudi@inven.co.kr) | 06-07 |