DXを推進するAIポータルメディア「AIsmiley」| AI製品・サービスの比較・検索サイト
03-6452-4750 10:00〜18:00 年末年始除く

東大研究グループ、ネズミの脳波を基にAIが画像を生成する研究を発表。芸術創作の新しい手法へ期待

最終更新日:2024/10/02

東京大学の研究グループが、ネズミの大脳皮質から記録した脳波を基にAIを使ってリアルタイムで絵を描くシステムを構築する研究を2024年9月7日に発表しました。

このニュースのポイント

  • 東京大学の研究グループ、ネズミの大脳皮質から記録した脳波を基に生成AIを利用し、画像生成する研究を発表
  • 「Stable Diffusion」モデルを改造し、ネズミの大脳皮質から記録した電位をリアルタイムで入力できるシステムを構築
  • 心臓や腸蠕動などの生体信号、自然現象の時系列信号にも応用できるため、芸術創作の新しい手法を提供することが期待

東京大学大学院薬学系研究科 池谷 裕二 氏と山城 皓太郎 氏の研究グループが、ネズミの大脳皮質から記録した脳波を基にAIを使ってリアルタイムで絵を描くシステムを構築する研究を2024年9月7日に発表しました。この研究では、潜在拡散モデルを利用して脳の状態に応じてリアルタイムで画像を更新するシステムを開発しました。

潜在拡散モデルは、ノイズからデータに変換するモデルであり、ノイズを追加してデータを劣化させる関数と、そのノイズを除去する画像復元ネットワークから成り立っています。今回の研究ではStability AI社の「Stable Diffusion」モデルに改造を加え、ネズミの大脳皮質から記録した電位を入力しています。

「Stable Diffusion」はStability AI社が公開した文章から画像を生成できるオープンソースのモデルで、個人がローカル環境でカスタマイズして画像を生成できるため、多様な画像生成が可能です。

拡散モデルは、ノイズを除去して元の画像を復元する技術であり、純粋なノイズから新しい画像を生成することができます。モデルは画像セットの特徴を学習し、ガウスノイズなどのランダムノイズを入力することで、学習したスタイルに沿った画像を生成します。

特に「Stable Diffusion」のようなモデルでは、文章がノイズから画像を復元するための指針となり、文章に従った画像の生成が可能です。また、指示文章を入力せずにノイズだけからも画像を生成することができます。生成プロセスでは、指示文は文字埋め込み層でベクトルに変換され、ノイズと共に拡散モデルに入力されて、最終的に画像が出力されます。

このシステムでは「Stable Diffusion」に指示文章を入力せず、ネズミの大脳皮質から記録した局所場電位を代わりに入力しています。局所場電位は、脳の特定の部位でのニューロンの電気的活動を測定する手法で、電極を使用して信号を検出します。この方法により、各エリアのニューロン活動を把握することができます。

これを「Stable Diffusion」のデータ形式に合うように圧縮して潜在ベクトルに変換します。この変換された潜在ベクトルを使用して画像を生成します。

局所場電位は1秒間を1/30秒ごとに切り取って画像を生成します。脳波は時系列データのため、1/30秒前のデータと現在のデータは類似しており、これにより画像間のスムーズな変化が実現されます。切り取った局所場電位は潜在ベクトルに変換され、隣接する潜在ベクトルの類似性から連続的な画像が滑らかに推移します。

この手法は神経活動にとどまらず、心臓や腸蠕動などの生体信号、自然現象の時系列信号にも応用できるため、芸術創作の新しい手法を提供することが期待されています。

出典:東京大学

AIsmiley編集部

株式会社アイスマイリーが運営するAIポータルメディア「AIsmiley」は、AIの専門家によるコンテンツ配信とプロダクト紹介を行うWebメディアです。AI資格を保有した編集部がDX推進の事例や人工知能ソリューションの活用方法、ニュース、トレンド情報を発信しています。

・Facebookでも発信しています
@AIsmiley.inc
・Xもフォローください
@AIsmiley_inc

メルマガに登録する

DXトレンドマガジン メールマガジン登録

業務の課題解決に繋がる最新DX・情報をお届けいたします。
メールマガジンの配信をご希望の方は、下記フォームよりご登録ください。登録無料です。

お名前 - 姓・名

お名前を入力してください

メールアドレス

メールアドレスを入力してください

AI・人工知能記事カテゴリ一覧

今注目のカテゴリー

ChatGPT連携サービス

チャットボット

画像認識・画像解析

需要予測

ChatGPT連携サービス

チャットボット

画像認識・画像解析

需要予測

AI活用のご相談したい企業様はこちら

03-6452-4750

AI製品・ソリューションの掲載を
希望される企業様はこちら