Stability AI 日本語画像言語モデル「Japanese InstructBLIP Alpha」を公開

最終更新日:2024/02/09

Stability AI 日本語画像言語モデル公開

Stability AIが「Japanese InstructBLIP Alpha」をリリースしました。画像キャプションや質疑応答に活用できる日本語画像言語モデルです。

Stability AIは、日本語に特化した画像言語モデル「Japanese InstructBLIP Alpha」を一般公開しました。このモデルは、画像に対してテキストで説明を生成する能力を持つだけでなく、画像に関する質問にもテキストで回答することが可能です。

「Japanese InstructBLIP Alpha」は、日本語向けの指示応答言語モデル「Japanese StableLM Instruct Alpha 7B」をベースにしており、画像を入力として受け取り、それに基づいてテキストを生成するモデルです。

このモデルは、高い性能を持つ画像言語モデルInstructBLIPの構造を採用しています。少ない日本語データセットで効果的なモデルを構築するため、大規模な英語データセットで学習されたInstructBLIPの一部を初期化し、その後に日本語データセットで微調整されています。

「Japanese InstructBLIP Alpha」は研究目的で作成されたモデルであり、研究目的の利用に限定されています。このモデルの活用例として、画像を用いた検索エンジン、目の前に情景説明や質疑応答、そして目の不自由な方などに画像について文字で説明する、などが想定されています。

「Japanese InstructBLIP Alpha」は、日本語テキストを生成することに加えて、日本特有の建造物を正しく認識することができます。

また、入力は画像に加え、質問などのテキストも入力ででき、例えば以下の例のように、入力された画像についての質問に返答をすることも可能です。

このモデルはHugging Face Hubで公開されており、Hugging Face Transformersの形式に従って推論や追加学習が可能です。

今後もStability AIは、日本向けのAIモデルの開発・公開を進め、日本のAIコミュニティの活性化に貢献する予定です。

出典：Stability AI

AIsmiley編集部

株式会社アイスマイリーが運営するAIポータルメディア「AIsmiley」は、AIの専門家によるコンテンツ配信とプロダクト紹介を行うWebメディアです。AI資格を保有した編集部がDX推進の事例や人工知能ソリューションの活用方法、ニュース、トレンド情報を発信しています。

・Facebookでも発信しています
@AIsmiley.inc
・Xもフォローください
@AIsmiley_inc