기사 원문 - https://www.tomshardware.com/tech-industry/artificial-intelligence/amd-fires-back-at-nvidia-with-instructions-on-running-a-local-ai-chatbot-recommends-using-a-third-party-app
　

Nvidia와 Intel이 최근 로컬에서 실행되는 AI 챗봇을 공개한 가운데, AMD도 뒤처지지 않고 Ryzen 및 Radeon 프로세서 소유자를 위한 자체 솔루션도 출시한 것으로 보입니다. 5~6단계만 거치면 사용자는 코딩 경험이 필요 없이 클라우드가 아닌 로컬 하드웨어에서 실행되는 AI 챗봇과 상호 작용을 시작할 수 있습니다.

AMD 가이드에서는 사용자에게 Ryzen AI PC 칩 또는 RX 7000 시리즈 GPU가 필요합니다. 현재 Ryzen AI는 Radeon 780M 또는 760M 통합 그래픽을 갖춘 Phoenix 및 Hawk Point 기반의 고급 Ryzen APU에서만 사용할 수 있습니다. 이는 Ryzen 5 8600G가 지원되는 동안 Ryzen 5 8500G가 작동하지 않을 수 있음을 의미합니다... 단, 응용 프로그램 자체에는 "AVX2 지원이 포함된 CPU"만 요구 사항으로 나열되어 있습니다. 즉, 광범위한 환경에서 (아마도 매우 느리게) 작동해야 함을 의미합니다. 다양한 프로세서. 사용자는 RX 7000 시리즈 사용자를 위한 ROCm 버전이 있는 LM Studio를

다운로드하여 설치해야 합니다 . 표준 패키지는 Intel CPU 및 Nvidia GPU에서도 작동합니다. LM Studio를 설치하고 실행한 후 채팅에 최적화된 Llama 2 7B 등 원하는 LLM을 검색하면 됩니다. AMD는 특정 수준의 양자화(4비트) 및 기타 특성을 나타내는 "Q4 K M" 레이블이 있는 모델을 사용할 것을 권장합니다. Ryzen CPU 사용자는 이 시점에서 봇과 자유롭게 채팅할 수 있지만 NPU가 활용되는지 여부는 확실하지 않지만 그렇지 않은 것으로 추측됩니다. RX 7000 시리즈 GPU 사용자는 오른쪽을 열어야 합니다. 패널을 클릭하고 GPU 오프로딩을 수동으로 활성화한 다음 오프로드 슬라이더를 완전히 "최대"로 드래그합니다. AMD의 튜토리얼은 AMD, Intel 및 Nvidia의 모든 소비자 하드웨어에서 AI 챗봇을 실행하는 사용하기 쉬운 공식 방법이 하나 이상 있음을 의미합니다. 당연히 Nvidia는 당연히 Nvidia GPU에서만 실행되는 Chat with RTX 앱을 최초로 선보였습니다 . Chat with RTX는 문서, 비디오, 기타 파일을 분석할 수 있다는 점에서 틀림없이 가장 구체화된 솔루션입니다. 또한 이 Nvidia 챗봇에 대한 지원은 30 시리즈까지 확장되며 20 시리즈 지원도 테이블 위에 있을 수 있습니다. 한편, 인텔의 AI CPU/NPU 및 GPU 솔루션은 잡초에 더 가깝습니다 . 인텔은 앱을 사용하여 로컬 AI 챗봇을 선보이는 대신 Python을 사용하여 코딩하는 방법을 시연했습니다. 사용자가 작성해야 하는 코드는 그리 길지 않지만 코딩을 포함하는 것은 많은 잠재 사용자에게 장벽이 될 것입니다. 또한 채팅 응답은 명령줄에 표시되지만 "최첨단 AI"라고 정확하게 표시되지는 않습니다. 대신 LM Studio를 사용해 볼 수 있지만 아직 Intel GPU 또는 NPU를 지원하지 않는 것으로 나타나므로 CPU만 사용하게 됩니다.

AMD에는 Nvidia와 같은 자체 AI 챗봇 앱이 없지만 적어도 ROCm GPU 하드웨어 지원이 있기 때문에 기능 측면에서는 Intel보다 더 나은 것으로 보입니다. AMD의 다음 단계는 아마도 RTX를 사용하여 자체 버전의 Chat을 만들거나 적어도 LM Studio 개발자와 협력하여 AMD 하드웨어에 더 많은 기능을 활성화하는 것입니다. 아마도 우리는 Radeon Adrenalin 드라이버 제품군에 AI 기능이 통합되는 것을 보게 될 것입니다. AMD는 드라이버 수준 AI 최적화를 수행 하고 드라이버 제품군은 종종 Fluid Motion Frames와 같은 새로운 기능을 받습니다.