日経新聞、経済情報特化LLM「NiLM」を開発。約40年分の記事データを元に学習

最終更新日:2024/05/13

日経新聞は、経済情報に特化したLLM「NIKKEI Language Model」を開発しました。最大で130億パラメーターの独自の事前学習モデルと最大700億パラメーターモデルをファインチューニングしたLLMの2つを発表しています。

このAIニュースのポイント

日経新聞が、経済情報特化のLLMを開発
二つのモデルを発表し、自社保有のデータのみを学習に使用
研究開発は今後も継続し、性能改善や課題に対する検証を進めていく

株式会社日本経済新聞社の研究開発部署である日経イノベーション・ラボは、経済情報に特化したLLM「NIKKEI Language Model」を開発しました。日経グループが著作権や使用権を有する記事のみを使用した、日本の経済情報に専門特化した最大級の言語モデルです。

最大で130億パラメーターの独自の事前学習モデルと最大700億パラメーターモデルをファインチューニングしたLLMの2つを発表。独自事前学習モデルは、インターネット上の公開情報は利用せず、約40年分の日本経済新聞や日経産業新聞、日経MJ、日経ヴェリタス、NIKKEI Prime、日経BPの各媒体など、日本経済新聞社グループが著作権や使用権を持つ記事のみを使用し、日本の経済情報に専門特化した言語モデルです。

また、最大700億パラメーターのモデルをファインチューニングしたLLMの開発も完了しており、記事の要約や最新ニュースに関する知識など社内独自タスクにおける性能改善も確認しています。本モデルは、MetaのLlama 2の700億パラメーターモデルやLlama 3の80億パラメーターモデルなどをベースにデータを追加学習させている。

また、最大700億パラメーターのモデルをファインチューニングした大規模言語モデル(LLM)の開発も完了。記事要約や最新ユースに関する知識など、社内の独自タスクにおいて性能改善を確認した。また、MetaのLlama 2の700億パラメーターモデルやLlama 3の80億パラメーターモデルなどをベースにデータを追加学習させています。

現在学習に利用している記事のみでも、WikipediaやCommon Crawlなどのデータセットを用いずに、日本語コーパスのトークン量は約1兆規模に達しています。今後も日経新聞は、自らのデータを用い、継続的な情報更新が可能なモデルの作成・研究開発を継続し、性能改善や課題に対する検証を進めていく方針です。

出典：日本経済新聞