スパコン「富岳」、大規模言語モデルの分散並列学習手法の研究開発を開始

最終更新日:2024/01/17

スパコン富岳、新研究開発を開始

東京工業大学、東北大学、富士通、理化学研究所は5月22日、スーパーコンピュータ「富岳」の政策対応枠を活用して、大規模言語モデル(LLM)の分散並列学習手法の研究開発を開始すると発表しました。

国立大学法人東京工業大学、国立大学法人東北大学、富士通株式会社、国立研究開発法人理化学研究所は5月22日、「富岳」政策対応枠において、スーパーコンピュータ「富岳」を活用した大規模言語モデル（LLM）の分散並列学習手法の研究開発を開始すると発表しました。

ChatGPTに代表される大規模深層学習モデル（基盤モデル）は、インターネットやスマートフォンのように社会全体のあり方を変える革新的な技術であり、Society5.0における研究開発、経済社会、安全保障などのあらゆる側面から基盤技術として期待される一方で、基盤モデルの性能を高めるためには大量データを効率的に処理する高性能計算資源が不可欠です。

そこで東京工業大学、東北大学、富士通、理化学研究所の4者は、今後この研究開発の成果物を公開することで、アカデミアや企業が幅広く使える大規模言語モデルの構築環境を整え、国内におけるAIの研究力向上に貢献し、学術および産業の両面で「富岳」の活用価値を高めることを目指します。今回開発する大規模言語モデル分散並列学習手法は、スーパーコンピュータ「富岳」の超大規模な並列計算環境において、大規模言語モデル学習を効率良く実行する技術となります。

今後4者は、日本の研究者やエンジニアが大規模言語モデルの開発に活用できるように、今回の「富岳」政策対応枠で得られた研究成果を、2024年度に「GitHub」や「Hugging Face」を通じて公開する予定です。また、多くの研究者や技術者が基盤モデルの改善や新たな応用研究に参画することで、効率的な方法が創出され、次世代の革新的な研究やビジネスの成果に繋がることが期待されます。

さらに今後は、ものづくりをはじめとする産業分野などへの応用を想定した、マルチモーダル化のためのデータ生成手法および学習手法の開発を行う名古屋大学や、大規模言語モデル構築のためのデータおよび技術提供を行うサイバーエージェントとの連携も今後検討していくと発表しています。

出典：富士通株式会社

AIsmiley編集部

株式会社アイスマイリーが運営するAIポータルメディア「AIsmiley」は、AIの専門家によるコンテンツ配信とプロダクト紹介を行うWebメディアです。AI資格を保有した編集部がDX推進の事例や人工知能ソリューションの活用方法、ニュース、トレンド情報を発信しています。

・Facebookでも発信しています
@AIsmiley.inc
・Xもフォローください
@AIsmiley_inc