SambaNova、日本語特化モデル「Fugaku-LLM」をSamba-1 Composition of Expertsのエキスパートに導入

最終更新日:2024/05/27

Fugaku-LLM SambaNovaのCoEに導入

SambaNovaは、スーパーコンピューター「富岳」で学習された日本語特化モデル「Fugaku-LLM」を、SambaNovaのCoEに導入したと発表しました。

このAIニュースのポイント

SambaNova Systemsが日本語特化モデル「Fugaku-LLM」をCoEに導入
スーパーコンピューター「富岳」で学習された「Fugaku-LLM」がSambaNovaのSN40Lシステム上で最適に動作
SambaNovaへの導入が、多くの人が「富岳」の成果をホストする基盤に

AI開発を手掛ける米スタートアップのSambaNova Systemsは5月13日、日本語特化モデル「Fugaku-LLM」を、SambaNovaの独自技術であるSamba-1 Composition of Experts（CoE）のエキスパートとして導入したと発表しました。「Fugaku-LLM」は、日本最速のスーパーコンピュータ「富岳」で学習されたLLMです。

SambaNova独自のCoEアーキテクチャは、複数の専門家モデルを集約しています。用途に応じて最適なエキスパートを選択することで、パフォーマンスと精度を向上させます。今回導入された「Fugaku-LLM」は、CoEアーキテクチャ上に実装されており、3層のメモリとデータフローアーキテクチャを持つSambaNovaのSN40Lシステム上で最適に動作します。

理化学研究所計算科学研究センターの松岡聡センター長は、「SambaNovaのCoEの柔軟性と拡張性の高さは、世界のスーパーコンピュータによる大規模言語モデル学習の成果をホストする基盤として多いに期待できます」とコメントし、「Fugaku-LLM」がSambaNovaのCoEにいち早く導入され、多くの人が「富岳」の成果を利用できることに期待しています。

また、SambaNova Systemsの共同創業者兼CEOであるロドリゴ・リアン氏は、「Fugaku-LLMをCoEのエキスパートの一つとして加えたことは、常に世界最高水準で最速のAIモデルにアクセスできるという戦略に合致している」とコメントしています。

出典：valuepress