AMD는 2024년 기준 대비 2026년까지 AI 전력 효율을 4배까지 높이는 데 성공했다. 이는 단계별 중간 로드맵 목표였던 3배를 상회하는 수치로, 과거의 전력 효율 개선 속도보다 두 배 이상 빠른 수준이다. 이번 전력 효율 향상은 단일 칩 세트의 성능 개선에 그치지 않고 CPU, GPU, 메모리, 네트워크, 소프트웨어 및 랙 스케일 시스템 디자인 전반을 아우르는 동시 최적화 기술이 적용된 덕분이다. AMD의 최고 임원이자 수석 연구원(Corporate Fellow)인 샘 날프지거(Sam Naffziger) 부사장은 코멘트를 통해 차세대 시스템 혁신의 중요성을 강조했다.
대규모 AI 모델과 고성능 연산 알고리즘이 점차 정교해짐에 따라, 데이터 이동 과정에서 발생하는 전력 소모를 줄이는 것이 핵심 과제로 떠올랐다. AMD는 초고속 메모리 아키텍처와 대용량 캐시 메모리 통합, 고대역폭 메모리 기술을 적용하여 데이터 전송 시 낭비되는 전력을 크게 감소시켰다.
또한 GPU와 CPU 간, 그리고 각 시스템 구성요소 간의 데이터 전송을 원활하게 돕는 고속 스케일업 상호연결(Scale-up Interconnect) 기술을 통해 병목 현상을 해결했다. 이는 게이머와 크리에이터들이 접하는 게이밍 환경과 마찬가지로, 데이터 연산 정체 현상을 줄여 인프라가 동일한 전력 범위 내에서 더 높은 연산 처리를 지속할 수 있도록 돕는다. 소프트웨어 분야에서는 오픈 소스 기반의 AMD ROCm 소프트웨어 스택과 프레임워크 최적화를 통해 하드웨어 자원의 효율성을 끌어올렸다. 이를 통해 생성형 AI 연산 시 토큰당 소비되는 전력을 줄이고 전체 처리량을 개선했다.
AMD는 2030년까지 2024년 대비 랙 스케일 AI 학습 및 추론 전력 효율을 20배 향상시키는 목표를 유지하고 있다. 대표적인 AI 학습 워크로드를 기준으로 했을 때, 이 목표가 달성되면 2030년형 AMD 랙 2개만으로 2024년형 랙 570개와 동일한 연산 성능을 구현할 수 있으며, 사용 단계에서의 전력 소비는 20분의 1, 탄소 배출량은 28분의 1 수준으로 감소하는 동일한 연산 성능 기준을 확보할 수 있다. 또 하나, 동일한 전력을 사용할 경우 와트당 플롭스(FLOPs/Watt) 기준 연산 성능을 최대 20배까지 확장할 수 있다.
샘 나프지거, AMD 수석 부사장 겸 기업 펠로우는 "차세대 AI 효율성은 컴퓨팅 실리콘, 메모리, 인터커넥트, 소프트웨어 및 랙 규모 시스템 설계 전반에 걸친 더욱 긴밀한 공동 최적화에 달려 있습니다. 2026년까지 예상되는 4배 향상은 AMD의 접근 방식의 강점과 전체 시스템 분야에서 AMD가 이루고 있는 진전을 반영하며, 2030년 목표 달성을 향한 예상 속도를 뛰어넘는 것입니다."라고 말했다.
한편, AMD 측은 시스템 하드웨어 및 자체 로드맵을 통한 20배 향상 외에도, 데이터센터 소프트웨어 생태계 및 알고리즘 발전이 상호작용할 경우 2030년까지 전체 AI 전력 효율이 최대 100배까지 증대될 수 있을 것으로 전망했다.
Bector@inven.co.kr 
