Stability AI Japan「Japanese StableLM Alpha」をリリース、日本語向け汎用言語モデルと指示応答言語モデルを一般公開。

最終更新日:2023/08/18

Stability AI 日本語向け汎用言語モデルを公開

Stability AI Japanは、70億パラメータの日本語向け汎用言語モデル「Japanese StableLM Alpha」をリリースしました。

Stability AI Japanは、70億パラメータの日本語向け汎用言語モデル「Japanese StableLM Base Alpha 7B」及び、指示応答言語モデル「Japanese StableLM Instruct Alpha 7B」をリリースしました。

汎用言語モデル「Japanese StableLM Base Alpha 7B」は、日本語と英語のテキスト生成に特化した汎用言語モデルで、ウェブを中心とした大規模データを用いて学習したモデルです。学習データには、オープンデータセットに加え、Stability AI Japanが作成した独自のデータセットなどが含まれています。また、学習にはEleutherAIのGPT-NeoXを発展させたソフトウェアを利用しました。

指示応答言語モデル「Japanese StableLM Instruct Alpha 7B」は、汎用言語モデルをベースに追加学習を行い、ユーザーの指示に従って受け答えのできるモデルです。Supervised Fine-tuningという手法を使用して追加学習が行われ、複数のオープンデータセットを利用しています。

また今回リリースした言語モデルは、ベンチマークスイート「lm-evaluation-harness」による複数の日本語タスクを用いた性能評価において、一般公開されている日本語向けモデルで良い性能を発揮しています。

モデルはHugging Face HubにおいてHugging Face Transformersに準拠する形式で公開しており、Hugging Face Transformersの他のモデルと同様に推論や追加学習を試すことが可能です。

Stability AI Japanは、今後もこのような日本向けの生成基盤モデルを構築し公開していく予定だとコメントしています。

出典：Stability AI Japan

AIsmiley編集部

株式会社アイスマイリーが運営するAIポータルメディア「AIsmiley」は、AIの専門家によるコンテンツ配信とプロダクト紹介を行うWebメディアです。AI資格を保有した編集部がDX推進の事例や人工知能ソリューションの活用方法、ニュース、トレンド情報を発信しています。

・Facebookでも発信しています @AIsmiley.inc
・Xもフォローください @AIsmiley_inc
・Youtubeのチャンネル登録もお願いいたします@aismiley
メルマガに登録する