チューリング、日英言語マルチモーダル学習ライブラリ「Heron」と最大700億パラメータの大規模モデル群を公開

最終更新日:2024/02/14

チューリング マルチモーダルモデルと大規模モデル群を公開

自動運転EV開発のチューリングは、日英言語対応の大規模マルチモーダル学習ライブラリ「Heron」と、それにより学習した最大700億パラメータの大規模モデル群を公開しました。

自動運転EV開発のTuring株式会社は、日本語を含む複数言語対応のマルチモーダル学習ライブラリ「Heron」と最大700億パラメータの大規模モデル群を公開しました。今回公開したマルチモーダルモデルの学習技術と知見を活かし、完全自動運転にむけた開発を進めていきます。

近年注目されている大規模言語モデル(LLM)は、大量のテキストデータを学習に用いることで、広範な知識の獲得や人間のような応答が可能です。しかし、LLMは一般的にその入力と出力はテキストに限定されるため、画像など視覚情報を用いたタスクには直接適用できないという課題がありました。

今回チューリングは、画像と言語の双方を入力情報として扱える「マルチモーダル」モデルを公開しました。

今回公開したマルチモーダルモデルは、画像認識用に事前学習された「画像エンコーダ」部分と「大規模言語モデル」部分、その間をつなぐ「アダプタ」部分から構成されます。アダプタ部分を学習した後、画像エンコーダおよび大規模言語モデルも追加学習することで、全体として画像に何が写っているかを正確に把握しつつ、豊富な言語モデルの知識を利用して回答することが可能です。

Heronのモデル学習の特長は、対話を含むデータセットを用いることにより、自然かつ適切な対話が可能となっている点です。これまでのマルチモーダルモデルでは単純な回答しかできなかった複合的な画像からの言語タスクにおいて、より詳細で自然な文章生成が可能となり、前の質問を含む文脈を理解して応答できます。

今回公開した学習済みのマルチモーダルモデル群は、Llama 2-chat、ELYZA-Llama 2、Japanese StableLMなどをベースにHeronで追加学習を行い、マルチモーダル化させたものです。

さらに、注釈テキストやQ&Aからなる約15万枚の画像/テキストの英文データセットに対し、独自に日本語に翻訳した大規模な日本語の画像/テキスト情報のデータセットを作成・公開しました。このような対話形式のマルチモーダル学習向けの大規模な日本語データセットの公開は、世界で初めてです。

チューリングでは高度な自動運転を実現するため、視覚情報によって得られた情報を、人間のように言語化して高度な文脈を理解できるAIモデルを開発しています。今回公開したマルチモーダルモデルの学習技術と知見を活かし、完全自動運転にむけた開発を進めていくとコメントしています。

出典：PR TIMES

AIsmiley編集部

株式会社アイスマイリーが運営するAIポータルメディア「AIsmiley」は、AIの専門家によるコンテンツ配信とプロダクト紹介を行うWebメディアです。AI資格を保有した編集部がDX推進の事例や人工知能ソリューションの活用方法、ニュース、トレンド情報を発信しています。

・Facebookでも発信しています
@AIsmiley.inc
・Xもフォローください
@AIsmiley_inc