東工大ら、スパコン「富岳」で学習したLLM「Fugaku-LLM」を公開

最終更新日:2024/05/20

東工大ら7社は、スーパーコンピュータ「富岳」を用いて学習した日本語能力に優れた大規模言語モデル「Fugaku-LLM」を公開しました。

このAIニュースのポイント

スパコン「富岳」で学習させた130億パラメータモデルの「Fugaku-LLM」を公開
独自データを用いた学習のため、透明性・安全性に優れており、且つ独自データ学習を行う国産のオープンモデルの中で最高性能を達成
国産CPUを中央演算処理装置とした「富岳」を用いてLLMを学習できたことで、AI分野における日本の優位性確立に寄与

東京工業大学学術国際情報センターの横田理央教授の研究チームと東北大学大学院情報科学研究科の坂口慶祐准教授、富士通株式会社人工知能研究所の白幡晃一シニアプロジェクトディレクター、理化学研究所のMohamed Wahibチームリーダー、名古屋大学大学院工学研究科の西口浩司准教授、株式会社サイバーエージェント AI事業本部AI Labの佐々木翔大リサーチサイエンティスト、Kotoba Technologies Inc. の小島熙之CEOは、理化学研究所のスーパーコンピュータ「富岳」を用いて学習した日本語能力に優れた大規模言語モデル「Fugaku-LLM」を2024年5月10日に公開しました。

本研究では、「富岳」を用いることで、大規模言語モデルを学習する際の演算速度を既存技術の6倍、通信速度を3倍に高速化することに成功しました。

「Fugaku-LLM」は、サイバーエージェントが収集した独自の日本語学習データと英語のデータなどを用いて学習された130億パラメータモデルです。一から独自のデータを用い学習を行っているため、学習の全学習工程を把握でき、透明性と安全性の観点から優れており、また、国内で多く開発されている70億パラメータモデルより高性能なモデルです。

日本語ベンチマーク「Japanese MT-Bench」では、平均スコア5.5と、国産で独自のデータで学習を行っているオープンなモデルの中では最高性能を達成しており、特に人文社会系のタスクでは9.18と高いベンチマーク性能を発揮しています。敬語など日本語の特徴を踏まえた自然な対話の実行が期待されています。

通常、大規模言語モデルの学習にはGPUが用いられますが、大規模言語モデルの学習のために世界中でGPU不足が起きており、最新のGPUを大量に入手することは困難です。そのような中、GPUではなく富士通製の国産CPUを中央演算処理装置とした「富岳」を用いて大規模言語モデルを学習できたことは、日本の半導体技術の活用や、経済安全保障の観点からも重要な成果です。

今回の取り組みで得られた知見は「富岳」の後の次世代計算基盤の設計に活かされうるものであり、AI分野における日本の優位性確立に寄与していくと述べています。

また、本製品は研究者やエンジニアが大規模言語モデルの開発に活用できるように、GitHubやHugging Faceを通じ公開しており、誰でも研究および商業目的での利用が可能です。

今後は公開されたモデルを用い、多くの研究者や技術者が基盤モデルの改善や新たな応用研究に参画することで、効率的な学習方法や言語モデルが創出されます。

科学シミュレーションと生成AIの連携による科学研究サイクルの自動化のように、AI基盤モデルを科学研究に活用する「AI for Science」や数千を超すAIによるバーチャルコミュニティの社会シミュレーションなど、次世代の革新的な研究やビジネスの成果につながることが期待されます。

出典：東京工業大学