기사 원문 - https://www.artificialintelligence-news.com/2024/02/16/google-launches-gemini-1-5-experimental-1m-token-context/


Google은 회사가 "실험적인" 백만 토큰 컨텍스트 창이라고 부르는 기능을 갖춘 최신 AI 모델인 Gemini 1.5를  공개했습니다 .

새로운 기능을 통해 Gemini 1.5는 최대 100만 자까지 매우 긴 텍스트 구절을 처리하여 맥락과 의미를 이해할 수 있습니다. 이는 각각 최대 200,000개 및 128,000개의 토큰을 제공하는 Claude 2.1 및 GPT-4 Turbo와 같은 이전 AI 시스템을 왜소하게 만듭니다.


“Gemini 1.5 Pro는 양식 전반에 걸쳐 긴 컨텍스트 검색 작업에서 거의 완벽한 리콜을 달성하고, 긴 문서 QA, 긴 비디오 QA 및 긴 컨텍스트 ASR의 최첨단 기능을 향상시키며, Gemini 1.0 Ultra와 일치하거나 능가합니다. 광범위한 벤치마크에서 최첨단 성능을 발휘합니다.”라고 Google 연구원은 기술 문서 (PDF)에서 밝혔습니다.

Google 최신 모델의 효율성은 혁신적인 MoE(Mixture-of-Experts) 아키텍처 덕분입니다.

Google DeepMind의 CEO인 Demis Hassabis는 "기존 Transformer가 하나의 대규모 신경망으로 기능하는 반면 MoE 모델은 더 작은 '전문가' 신경망으로 나누어집니다."라고 설명했습니다.

“주어진 입력 유형에 따라 MoE 모델은 신경망에서 가장 관련성이 높은 전문가 경로만 선택적으로 활성화하는 방법을 학습합니다. 이러한 전문화는 모델의 효율성을 크게 향상시킵니다.”

1M 토큰 컨텍스트 창의 강력한 기능을 보여주기 위해 Google은 Gemini 1.5가 326,914개의 토큰으로 구성된 Apollo 11 비행 기록 전체를 수집한 다음 이에 대한 특정 질문에 정확하게 답변할 수 있는 방법을 보여주었습니다. 또한 메시지가 표시되면 684,000개의 토큰 무성 영화의 주요 세부 정보를 요약했습니다.

Google은 처음에 개발자와 기업에 백만 개의 토큰 컨텍스트 창을 갖춘 제한된 Gemini 1.5 미리보기에 대한 무료 액세스를 제공하고 있습니다. 대중을 위한 128,000개 토큰의 일반 출시는 가격 세부 정보와 함께 나중에 공개될 예정입니다.


현재로서는 백만 개의 토큰 기능이 아직 실험적입니다. 그러나 초기 약속대로라면 Gemini 1.5는 복잡한 실제 텍스트를 이해하는 AI 능력에 대한 새로운 표준을 설정할 수 있습니다.

Gemini 1.5 Pro 테스트에 관심이 있는 개발자는 AI Studio에 등록 할 수 있습니다. Google은 기업 고객이 Vertex AI 계정 팀에 연락할 수 있다고 말합니다.