Google Research、動画生成AIモデル「Lumiere」を発表

最終更新日:2024/02/08

Google Researchは1月23日、動画生成AIモデル「Lumiere」を発表しました。

このAIニュースのポイント

「Lumiere」は、動画生成AIにおける課題とされる、リアルで一貫性のある動画の生成を目指して開発したAIモデル
動画全体を一度に生成するため、なめらかで高品質な動画を生成
テキストプロンプトで画像や動画の一部分を修正・補完することも可能

米Googleの研究部門であるGoogle Researchは1月23日、動画生成AIモデル「Lumiere」を発表しました。テキストや画像から、よりリアルな動画を生成することができるAIモデルです。

「Lumiere」は、動画生成AIにおける課題とされる、リアルで一貫性のある動画の生成を目指して開発したAIモデルです。テキストプロンプトから動画、画像から動画を生成できるほか、リファレンス画像のスタイルに沿った表現の動画を生成することも可能です。

既存の動画生成モデルではキーフレームを生成してから合成するのに対し、今回導入された時空間U-Netアーキテクチャでは、多数のフレームを組み合わせずに1つのなめらかなプロセスで動画全体を生成します。これにより、動画全体を一度に生成するため、高品質な動画の生成が可能です。
また、生成した動画にテキストプロンプトでスタイルを適用する、画像の一部分を動かす、動画の一部分を補完・修正するといった処理にも対応しています。生成した動画のスタイルを参照画像で変更したり、動画修復機能で、動画内の人物のドレスだけを変更することも可能です。

Googleは、今回の研究の主な目的として、初心者ユーザーでも創造的かつ柔軟な方法でビジュアルコンテンツを生成できるようにすることだと述べています。しかし今回のテクノロジーには偽のコンテンツや有害なコンテンツを作成するといった悪用リスクがあり、安全で公正な使用を確保するには、バイアスや悪意のあるユースケースを検出するツールを開発および適用することが重要であるとコメントしています。

出典：Google Research