구글 '제미나이4 카본', 벤치마크 싹쓸이


구글 딥마인드가 28일(현지시간) 새 프런티어 모델 '제미나이4 카본'을 공개했다. 2주 전 내놓은 '아르곤'의 후속작으로, 코딩과 에이전트형 작업, 사이버보안 분야에서 큰 폭의 성능 향상을 이뤘다고 밝혔다.


9to5Google은 28일 보도에서 카본이 벤치마크 평가기관 아티피셜 애널리시스의 지능지수(v5.0)에서 59점을 받아 1위에 올랐다고 전했다. 코딩·에이전트·과학 작업, 풀스택 웹 개발, 멀티모달 이해 등에서 사용자 피드백을 반영해 개선했다는 설명이다.


웹 개발 능력을 겨루는 웹데브 아레나에서는 엘로 점수가 89점 올라 1769점으로 4위에 올랐다. 구글은 이를 두고 웹 개발 결과물의 출력 품질과 아티팩트 완성도가 좋아진 덕분이라고 설명했다.


보안 분야 성적도 눈에 띈다. 취약점 탐지 역량을 겨루는 SEC-bench Pro에서 88.2%를 기록해 "현존 최고 수준"이라는 평가를 받았고, 실제 취약점 공격 능력을 보는 ExploitGym에서는 54.8%, 패치 작성 능력을 보는 CWE-bench에서는 71.0%를 기록했다.


구글 딥마인드는 공식 X 계정을 통해 "카본은 며칠에 걸친 복잡한 작업을 수행하더라도 막히거나 지름길을 택하지 않고 고품질의 신뢰할 수 있는 코드를 제공한다"고 자신했다. 다만 정식 출시일이나 요금제 등 구체적인 공개·판매 일정은 이번 발표에 담기지 않았다.

https://x.com/GoogleDeepMind/status/2115489359415890211