生成AI

最終更新日:2023/08/18
Stability AI Japanは、70億パラメータの日本語向け汎用言語モデル「Japanese StableLM Alpha」をリリースしました。
このAIニュースのポイント
Stability AI Japanは、70億パラメータの日本語向け汎用言語モデル「Japanese StableLM Base Alpha 7B」及び、指示応答言語モデル「Japanese StableLM Instruct Alpha 7B」をリリースしました。
汎用言語モデル「Japanese StableLM Base Alpha 7B」は、日本語と英語のテキスト生成に特化した汎用言語モデルで、ウェブを中心とした大規模データを用いて学習したモデルです。学習データには、オープンデータセットに加え、Stability AI Japanが作成した独自のデータセットなどが含まれています。また、学習にはEleutherAIのGPT-NeoXを発展させたソフトウェアを利用しました。
指示応答言語モデル「Japanese StableLM Instruct Alpha 7B」は、汎用言語モデルをベースに追加学習を行い、ユーザーの指示に従って受け答えのできるモデルです。Supervised Fine-tuningという手法を使用して追加学習が行われ、複数のオープンデータセットを利用しています。
また今回リリースした言語モデルは、ベンチマークスイート「lm-evaluation-harness」による複数の日本語タスクを用いた性能評価において、一般公開されている日本語向けモデルで良い性能を発揮しています。
モデルはHugging Face HubにおいてHugging Face Transformersに準拠する形式で公開しており、Hugging Face Transformersの他のモデルと同様に推論や追加学習を試すことが可能です。
Stability AI Japanは、今後もこのような日本向けの生成基盤モデルを構築し公開していく予定だとコメントしています。
業務の課題解決に繋がる最新DX・情報をお届けいたします。
メールマガジンの配信をご希望の方は、下記フォームよりご登録ください。登録無料です。
AI製品・ソリューションの掲載を
希望される企業様はこちら