産総研ら、世界トップレベルの生成AI開発を開始

最終更新日:2023/10/30

産総研ら生成AIの開発を開始

産総研らは、計算資源ABCIを用いて世界トップレベルの生成AIの開発を開始しました。日本の産業競争力強化や社会課題解決に資する成果を創出します。

このAIニュースのポイント

産総研らは、計算資源ABCIを活用して、世界トップレベルの生成AIの開発を開始した
開発の第一歩として、LLM-jpは従来の国産LLMの10倍の規模を持つ1750億個のパラメタ数を持つ、日本語に強いLLMの構築に着手
構築される国産LLMは、ABCI以外の計算資源も活用してモデルを完成させ、LLM-jpを通じて公開される予定

国立情報学研究所（NII）らが主宰する勉強会LLM-jpと、国立研究開発法人産業技術総合研究所、国立大学法人東京工業大学は、2023年10月17日に世界トップレベルのLLMの構築と開発を開始したと発表しました。産総研はLLM構築に必要な計算資源、AI橋渡しクラウド（ABCI）を提供します。

産総研は国立研究所や大学と連携し、AI技術の研究開発を行ってきました。2023年9月には、NIIが代表機関としてABCIの第2回大規模言語モデル構築支援プログラムに応募し、採択されました。大規模言語モデル構築支援プログラムは、LLM構築の需要の高まりを背景として、ABCIの一定部分を最大60日間占有利用する機会を採択者に提供するもので、これにより大規模な計算資源が不可欠であるLLMの構築を推進できます。

今回構築するLLMの規模は1750億個のパラメタ数で、OpenAI社のGPT-3と同等の規模です。産総研はLLMの構築に必要な計算資源としてABCIを提供し、産総研と東工大は、LLM-jpとも協力しながら、LLM開発に必要な高品質かつ大規模な共有データセットの構築を行います。

今後産総研らは、計算資源を活用しながら日本の英知を結集し、世界トップレベルの性能を持つLLMの構築を目標に研究開発を進めます。構築される国産LLMは、ABCI以外の計算資源も活用しながらモデルを完成させた上で、LLM-jpを通じて公開される予定です。

出典：産業技術総合研究所