チューリング、日英言語マルチモーダル学習ライブラリ「Heron」と最大700億パラメータの大規模モデル群を公開

最終更新日:2024/02/14

チューリングマルチモーダルモデルと大規模モデル群を公開

自動運転EV開発のチューリングは、日英言語対応の大規模マルチモーダル学習ライブラリ「Heron」と、それにより学習した最大700億パラメータの大規模モデル群を公開しました。

このAIニュースのポイント

チューリングは、日英対応のマルチモーダル学習ライブラリ「Heron」と、最大700億パラメータの大規模モデル群を公開
「Heron」は画像認識モデルと大規模言語モデルを接続したマルチモーダルモデルで、画像について自然で適切な対話が可能
今回公開したマルチモーダルモデルの学習技術と知見を活かし、完全自動運転にむけた開発を進めていく

自動運転EV開発のTuring株式会社は、日本語を含む複数言語対応のマルチモーダル学習ライブラリ「Heron」と最大700億パラメータの大規模モデル群を公開しました。今回公開したマルチモーダルモデルの学習技術と知見を活かし、完全自動運転にむけた開発を進めていきます。

近年注目されている大規模言語モデル(LLM)は、大量のテキストデータを学習に用いることで、広範な知識の獲得や人間のような応答が可能です。しかし、LLMは一般的にその入力と出力はテキストに限定されるため、画像など視覚情報を用いたタスクには直接適用できないという課題がありました。

今回チューリングは、画像と言語の双方を入力情報として扱える「マルチモーダル」モデルを公開しました。

今回公開したマルチモーダルモデルは、画像認識用に事前学習された「画像エンコーダ」部分と「大規模言語モデル」部分、その間をつなぐ「アダプタ」部分から構成されます。アダプタ部分を学習した後、画像エンコーダおよび大規模言語モデルも追加学習することで、全体として画像に何が写っているかを正確に把握しつつ、豊富な言語モデルの知識を利用して回答することが可能です。

Heronのモデル学習の特長は、対話を含むデータセットを用いることにより、自然かつ適切な対話が可能となっている点です。これまでのマルチモーダルモデルでは単純な回答しかできなかった複合的な画像からの言語タスクにおいて、より詳細で自然な文章生成が可能となり、前の質問を含む文脈を理解して応答できます。

今回公開した学習済みのマルチモーダルモデル群は、Llama 2-chat、ELYZA-Llama 2、Japanese StableLMなどをベースにHeronで追加学習を行い、マルチモーダル化させたものです。

さらに、注釈テキストやQ&Aからなる約15万枚の画像/テキストの英文データセットに対し、独自に日本語に翻訳した大規模な日本語の画像/テキスト情報のデータセットを作成・公開しました。このような対話形式のマルチモーダル学習向けの大規模な日本語データセットの公開は、世界で初めてです。

チューリングでは高度な自動運転を実現するため、視覚情報によって得られた情報を、人間のように言語化して高度な文脈を理解できるAIモデルを開発しています。今回公開したマルチモーダルモデルの学習技術と知見を活かし、完全自動運転にむけた開発を進めていくとコメントしています。

出典：PR TIMES

AIsmiley編集部

株式会社アイスマイリーが運営するAIポータルメディア「AIsmiley」は、AIの専門家によるコンテンツ配信とプロダクト紹介を行うWebメディアです。AI資格を保有した編集部がDX推進の事例や人工知能ソリューションの活用方法、ニュース、トレンド情報を発信しています。

・Facebookでも発信しています
@AIsmiley.inc
・Xもフォローください
@AIsmiley_inc
・Youtubeのチャンネル登録もお願いいたします@aiaismiley1345

メルマガに登録する

AIサービス: 画像認識・画像解析; 自然言語処理-NLP-; AIモデル作成

導入活用事例: 自動車・タクシー

DXトレンドマガジンメールマガジン登録

業務の課題解決に繋がる最新DX・情報をお届けいたします。
メールマガジンの配信をご希望の方は、下記フォームよりご登録ください。登録無料です。

お名前 - 姓・名

お名前を入力してください

お名前 - 名

名を入力してください

メールアドレス

メールアドレスを入力してください

シェアする

AI・人工知能記事カテゴリ一覧

AI・人工知能サービス

特集

今注目のカテゴリー

ChatGPT連携サービス

チャットボット

画像認識・画像解析

需要予測

ChatGPT連携サービス

チャットボット

画像認識・画像解析

需要予測

DXトピックス

AIsmileyからご案内

FOLLOW US

SNSをフォローして、最新情報をチェックできます！

DXトレンドマガジンメールマガジン登録

メールマガジンの配信をご希望の方は、下記フォームよりご登録ください。登録無料です。

お名前 - 姓・名

お名前を入力してください

お名前 - 名

お名前 - 名を入力してください

メールアドレス

メールアドレスを入力してください

ニュースPVランキング

週間PVランキング

日本初、積水ハウスが住宅検討層向けにチャットで気軽に相談できる「…

東京都日野市にAIプロデュースの美容室がオープン。立地選定からデ…

JAPAN AIの「JAPAN AI CHAT」に新機能追加。グ…

日本調剤、AI薬歴作成支援サービス「corte」を導入。薬剤師の…

AI活用のご相談したい企業様はこちら

03-6452-4750

AI活用を無料で相談する

AI製品・ソリューションの掲載を
希望される企業様はこちら

詳細はこちら