AMDは、1兆パラメータという巨大な大規模言語モデル（LLM）を、AMD Ryzen AI Max+クラスター上でローカル実行する手法を公開しました。
この技術は、複数ノードに分散してLLMを効率的に実行する「シャード並列処理」と「パイプライン並列処理」を組み合わせた、AMD独自の「AIメモリ・ファブリック」を活用します。
これにより、高性能なAIインフラを必要とせず、データプライバシーを維持しながら、最新のLLMをローカル環境で活用することが可能になります。
具体的には、AMD Ryzen Threadripper PRO 7000WXシリーズCPUを搭載したノードを多数接続し、メモリ帯域幅とCPU性能を最大限に引き出すことで、1兆パラメータLLMの推論を現実的な速度で実現しています。
AMDは、AI開発者や研究者に対し、この技術を通じてAIの民主化を推進することを目指しています。