ディズニーパークやピクサー映画で活用が進むAI技術

最終更新日:2024/02/22

映画や音楽、テーマパークなど世界一流のエンターテインメントを提供するディズニー。今回は魔法が生まれる裏側で活躍するAI・人工知能をご紹介します。

ディズニーのAI研究機関「Disney Research」(ディズニー・リサーチ)

Disney Researchは、The Walt Disney Companyをサポートする研究所のネットワークです。科学技術で会社の幅広いメディアとエンターテインメントの取り組みを前進させることを目的に設立されました。

研究トピックは、CG、アニメーション、ビデオ処理、コンピュータービジョン、ロボット工学、ワイヤレスおよびモバイルコンピューティング、人間とコンピューターの相互作用、行動経済学、AI・人工知能、機械学習などの技術です。

ロサンゼルス、ピッツバーグ、チューリッヒなどに拠点があり、サンフランシスコ (エメリービル) のピクサーやLucasfilm(ルーカスフィルム)のVFX部門Industrial Light & Magic (ILM)のリサーチグループと連携しています。

最近では、本物のスタントマンのような動きが可能な「スタントロニクス」と呼ばれるロボットをディズニー・リサーチとウォルト・ディズニー・イマジニアリングが開発しました。ディズニー・カリフォルニア・アドベンチャーにオープンした「アベンジャーズ・キャンパス」のスパイダーマンが登場するアトモスフィア・エンターテイメントに使用されており、話題を呼んでいます。

ピクサー映画の製作にAI導入で製作時間で大幅短縮

ピクサーは『トイ・ストーリー』や『モンスターズ・インク』など観る人の心を掴む人気作品を作り出してきました。3DCGアニメーションで世界を驚かせたピクサーの最新作の制作現場ではAIが使われ始めています。2017年、ピクサーとディズニー・リサーチはCGアニメーションの仕上げに必須なレンダリングに関する論文を発表しました。

出典：https://la.disneyresearch.com/publication/deep-learning-denoising/

レンダリングとはCGアニメーションの制作パイプラインの最後の工程です。モデリングやリギング、ライティングなどを経て構築されたバーチャルな3Dシーンを2Dイメージ画像に変換します。具体的には1フレームごとにイメージ画像のピクセルの色を指定していく作業で、アニメーション1秒に対して24フレーム必要な場合、本編90分の作品では約13万フレームのレンダリング処理が必要です。

4K UHDブルーレイディスクも市場に多く出回るようになりました。ピクサー長編アニメーション第1作目『トイ・ストーリー』のピクセル数は100万ほどでしたが、4K画質では約800万ピクセル数 (画素数) まで跳ね上がっています。技術が進歩した現在でも非常に労力と時間のかかるプロセスです。

ピクサーとディズニー・リサーチはレンダリングのスピードを向上させるべく、『ファインディング・ドリー』の何百万ものをデータを使用して、畳み込みニューラルネットワーク（CNN）として知られる深層学習（ディープラーニング）モデルを開発しました。ノイズの多い画像を上記写真のようなノイズのない画像に変換します。

『カーズ3』や、『リメンバー・ミー』など、異なったスタイルやカラーパレットを使用していても、テスト画像のノイズを完全に除去することができました。

ピクサーのテクニカルディレクターであるVaibhav Vavilalaは、VB Transform 2020でGANを活用した超解像手法を解説しています。Vavilala氏曰く、4K映像のレンダリングは従来の4倍のピクセル数と2倍のコストがかかるそうです。最新のAIモデルでは、画像を1Kでレンダリングし、2Kにアップスケールすると、処理にかかるフットプリントを50％から75％節約できることが実証されました。

これらの技術はウォルト・ディズニー・アニメーション・スタジオでも活用されており、AIによるレンダリングの最適化はGG映像の編集に必須のツールになっていくことでしょう。

アベンジャーズの宿敵サノスの顔にもAI活用

2018年に公開されたマーベル・スタジオ映画『アベンジャーズ／インフィニティ・ウォー』でジョシュ・ブローリンが演じた、宇宙で最も強力な悪役サノスの撮影にもAI技術が利用されています。サノスはインフィニティ・ウォーで冒頭から40分以上出演する主要人物であるため、キャラクターとして表情の個性を表現できるかは映画の出来にも関わります。

サノスの撮影は、チューリッヒのディズニー・リサーチが開発した「Medusa Performance Capture System,」が使われました。複数のカメラを使用して、150箇所ほどの印をつけた顔を撮影し続けてデータを取得します。

制作を担当したデジタルドメイン社はメデューサで生成したデータを自社開発のマシンラーニングツール「Masquerade」に落とし込み、AIの機械学習を活用して、俳優の顔のデジタルバージョンを高解像度で正確に出力しています。一連のプロセスは『アベンジャーズ／エンドゲーム』に登場するスマートハルクの撮影にも応用されました。

ルーク・スカイウォーカーがディープラーニングで蘇る

Disney+オリジナル作品の中でも大人気の『マンダロリアン』は「エピソード6／ジェダイの帰還」のその後を描く、スター・ウォーズ初の実写ドラマシリーズです。誰もが唸るシーズン2の最終話（チャプター16）でしたが、終盤の最重要シーンにAI技術が活用されました。

2021年8月25日に世界同時公開された「ディズニー・ギャラリー／スター・ウォーズ：マンダロリアン」シーズン2では、最終話メイキングを公開。製作総指揮のジョン・ファヴローによると、Respeecherと呼ばれる音声合成ソフトが40年以上前のルークの声を蘇らせました。旧三部作やラジオドラマ版のルーク（マーク・ハミル）の音声をニューラルネットワークが学習してセリフを生成。本物と聞き分けができない見事なクオリティです。

音声合成に加えて、容姿には「ディープフェイク」というAI技術の利用も検討されました。しかし、実際にルークのディープフェイクを生成したものの実績が少なく不安だったことからディエイジングを使って旧作のルークが再現されました。ディープフェイクは悪用や倫理観がたびたび問題になりますが、ジョン・ファヴローは『ファンタジア』の魔法使いの弟子のミッキーマウスのように、新しい技術を十分理解して使わないと意図しない結果を招いてしまうとコメントしています。

ディープフェイク：ディープラーニングとフェイク（偽物）を組み合わせた造語。GANなどを用いて本物の人物と瓜二つな動画像を生成できる
ディエイジング：若返りに使われるCG技術。マーベル・スタジオ映画『アントマン』ではマイケル・ダグラスを70歳から40歳に若返らせた。

シーズン2最終話が公開されると、数々のディープフェイク動画を作成し公開しているYouTuberのShamook氏は「マンダロリアン」のディエイジングで作成された動画をわずか4日でディープフェイクを使ってリメイク。この動画は300万回以上再生されて話題を呼び、IndieWireを通じてILMはShamook氏を採用したことを認めています。今回は実現されませんでしたが、容姿をAIが生成する時代はもうすぐそこでしょう。

ディズニーのテーマパークでも最適なプラン案内アプリにレコメンドAIを活用か

筆者撮影（2019年8月25日）

2019年夏に米カリフォルニアアナハイムコンベンションセンターで「D23 Expo 2019」が開催されました。3日目のセッションにて、ディズニーのパーク部門のトップ（現CEO）であるボブ・チェイペックは「Disney Genie」と呼ばれるゲスト一人一人に最適なリゾートプランを提案するアプリを1枚のイラストとともに発表しました。

このアプリは、ゲストの宿泊情報やチケットの情報などを管理する「My Disney Experience」と連携し、初めて訪れる方でもリピーターでも楽しめる最適な1日のプランをおすすめして旅行の計画をサポート。

具体的にはディズニープリンセスをテーマにした1日や食をテーマにしたプランなどゲストの興味に合わせて何百万ものオプションからカスタマイズされた旅程をレコメンドします。ジーニーに趣味嗜好を伝えることでよりパーソナライズされたプランを提案。プランに含まれるレストランやショー、アトラクション等の予約もジーニーが自動で予約処理してくれます。

また、これまでDisneyland ResortやWalt Disney Worldで利用可能だった「FASTPASS」や「FastPass+」「Disney MaxPass」は廃止され、有料の「Disney Genie+」が提供されます。ウォルト・ディズニー・ワールドでは1日20ドルでアトラクションなどを優先利用できる「Lightning Lane」に加えて、ARレンズを使ってキャラクターと記念撮影などが可能。ディズニーランド・リゾートでは1日15ドルで「Lightning Lane」のほか、無制限のDisney PhotoPassダウンロード権などが付与されます。

現時点で、「AI」が用いられることはアナウンスされていません。ですが、the disney food blogによると「バーチャルエージェントによる人間のような感情に基づく行動シミュレーション」に関する特許を2020年に申請していることなどからAI・人工知能の活用が予想されています。東京ディズニーランドや東京ディズニーシ―を有する東京ディズニーリゾートでもこれに似た機能の追加を検討していると日本経済新聞は報じています。

パークや映画で私たちを楽しませてくれるディズニーですが、そこには多くの最新技術が使われていました。2045年にはAIが私たちの知能を超えるシンギュラリティ(技術的特異点)が訪れるといわれています。もしかするとディズニーランドのキャラクターが不自然なくロボットに置き換わる時代も近づいているのかもしれません。