Preferred Networksが日英対応言語モデルを公開。2言語あわせたベンチマーク評価で世界トップレベル

最終更新日:2023/11/08

Preferred Networksは、130億パラメータの日英2言語対応の大規模言語モデルPLaMo-13Bを研究・商用利用可能なオープンソースソフトウェアライセンスで公開しました。

このAIニュースのポイント

Preferred Networksは、130億パラメータの事前学習済み大規模言語モデル PLaMo-13Bを公開
PFNはオープンデータセットを独自に収集・加工し、国立研究開発法人産業技術総合研究所のAI橋渡しクラウドのNVIDIA A100を使用して、約1ヶ月間の学習を実施
PFNは新会社Preferred Elementsを設立し、大規模なマルチモーダル基盤モデル開発を加速。2024年中に商用サービス提供を目指す

9月28日、株式会社Preferred Networksは、130億パラメータの事前学習済み大規模言語モデル PLaMo-13Bを、研究・商用で利用可能なオープンソースソフトウェアライセンスで公開しました。このモデルは、大規模言語モデルのベンチマーク評価において日英2言語をあわせた能力で世界トップレベルの性能を示しています。

PLaMo-13Bの開発にあたり、PFNはオープンデータセットを独自に収集・加工し、1.4兆トークンの大規模な日英2言語のデータセットを作成しました。また、国立研究開発法人産業技術総合研究所が保有するAI橋渡しクラウド（ABCI）のNVIDIA A100を480GPU使用して、約1ヶ月間の学習を行いました。この学習により、130億パラメータというコンパクトなモデルでも日英2言語のベンチマーク評価で世界トップレベルの性能を実現し、標準的なGPUサーバーでも利用することができます。

PFNはPLaMo-13Bの推論に必要なコードおよびパラメータを、研究・商用利用が可能なライセンス（Apache License v2.0）で公開することで、日本語・英語ともに優れた性能を有する大規模言語モデルを使った様々な研究開発および検証を進められる環境を多くの開発者に提供します。この取り組みは、日本のAI技術の進歩と産業の発展に貢献することが期待されています。

さらに、PFNは新しいマルチモーダル基盤モデルの開発を強化するために新会社、株式会社Preferred Elementsを設立し、今回公開するOSSよりも大規模かつ高機能な基盤モデルの開発を加速します。これにより、PFNグループが手掛ける様々なプロダクト・サービスの活用が進められるとともに、商用サービスの提供を2024年中に開始することを目指しています。

PFNは、事前学習用データの収集・加工や大規模計算基盤を用いた事前学習など、大規模言語モデル開発のための実用的なノウハウを蓄積してきました。今後は、ハルシネーション、バイアス、悪用リスクへの対策など、大規模言語モデルの課題に対して、国・大学・企業と連携を深め、社会や産業のインフラとして活用するための安全性を備えた基盤モデルの開発に努めていきます。

また、PFNは2023年10月17日から20日にかけて開催されるCEATEC Japanに出展し、PLaMo-13Bなどの大規模言語モデルを用いた3Dモデル生成、材料探索シミュレーション、ロボット制御などのデモ展示を行う予定です。

出典：株式会社Preferred Networks