高解像度化を実現！映像を4Kで蘇らせるAI・人工知能の仕組みとは？

最終更新日:2024/04/11

近年はさまざまな業界でAIの導入が進んでいる状況ですが、「映像」の分野においてもAIが活用され始めており、大きな注目を集めているのをご存知でしょうか。たとえば、アニメ業界では、AIを活用することでアニメーションを高解像度に変換し、HDサイズのアニメ映像を4Kにするサービスなどが登場しているのです。

今回は、映像分野における「AI活用事例」や「映像業界に与える影響」などについて詳しくご紹介していきますので、ぜひ参考にしてみてください。

アニメを高解像度に変換するAI技術とは

（参照：AnimeRefinerオフィシャルサイト）

冒頭でもご紹介したように、昨今のアニメ業界では、映像を高解像度に変換するAI技術に大きな注目が集まっています。これは、株式会社ラディウス・ファイブが2020年から提供を開始した「AnimeRefiner」というサービスであり、独自のAIモデルを活用することによってアニメを縦横4倍のサイズに高解像度化できるというものです。

この高解像度化が実現できるのは、深層学習(ディープラーニング)が活用されているからであり、これまで一般的に行われていた、従来の画像を引き伸ばして中間を補正する「アップコンバート技術」では不可能だったといいます。深層学習（ディープラーニング）を活用しているからこそ、高品質な状態での高解像度化を実現できているということです。

また、この「AnimeRefiner」の注目すべきポイントとしては、HDサイズのアニメを4Kに変換できるだけでなく、フルHDサイズのアニメを8Kに変換することもできるという点が挙げられるでしょう。「AnimeRefiner」は、AIが低解像度の映像から高解像度の映像を推定することによって映像生成が行われています。そのため、決して類似ではなくリアル4K、8Kとなるわけです。

そして、映像の生成が行われる過程において、さまざまなノイズを除去する作業も並行して行われるからこそ、高解像度かつ綺麗な映像の生成が実現できているといいます。

近年は4Kテレビの普及に伴い、4Kコンテンツの需要も高まっている状況です。ただ、4Kコンテンツの制作を行うには、撮影機材や制作機材なども4Kに対応しているものへ変更しなければなりません。そのため、どうしてもコストが膨れ上がってしまうのです。

そういった問題もあり、動画配信サービスなどでは、4Kコンテンツが不足している状態にあり、多くのコンテンツがいまだにフルHDサイズのままだったり、実際には4K品質ではない「4K相当」の映像だったりします。

その点、「AnimeRefiner」であれば、過去のアニメを手軽に4Kに変換することができます。また、今後制作されるアニメに関しても、よりコストを抑えながら4K、8Kコンテンツとして制作することが可能になるのです。そのため、今後のアニメ業界の流れを一気に変える可能性も十分にあるのではないでしょうか。

100年前の東京の映像をAIが4Kで蘇らせる？

（参照：世界最古の映画をAIで復活！　YouTuberがプロジェクトを牽引（リアルサウンド） – Yahoo!ニュース）

映像の分野においてAIが活用されているのは、アニメだけではありません。最近では、YouTuberのデニス・シリヤエフ（Denis Shiryaev）氏が自身のYouTubeチャンネルで「AI活用を活用して4Kで蘇らせた100年前の東京の映像」を公開し、大きな注目を集めました。

また、シリヤエフ氏は、世界最古の映画をAI活用によって復活させたことでも注目を集めています。シリヤエフ氏が再現したのは、1888年10月14日に公開された短編無声映画の『ラウンドヘイの庭の場面』という作品です。英国のリーズ周辺のウィットレイ家の庭で、プランス氏の義理の両親とその息子が戯れている様子を撮影したものであり、現存する世界最古の映画としてギネス記録にも認定されています。シリヤエフ氏は、英国のサイエンス・ミュージアムから許可を得て、この作品のカラー化と補正を実現しました。

具体的にどのような技術が用いられているのかというと、シリヤエフ氏が独自に開発したニューラルネットワークです。これは、追加のフレームを人工的に生成することができるように、スローモーション動画を用いて学習されています。そのため、単位時間あたりのフレーム処理は、毎秒14コマから毎秒60コマまでアップグレードできているのです。

もともと20コマのみで構成されていた映画に関しては、AIのアルゴリズムを駆使する形で250コマまで増大することができ、さらにカラー化も実現できるため、よりリアルさをますことができるというわけです。

映像をカラーの4K画質で蘇らせるのは修復ではなく「拡張」？

（参照：DeOldifyオフィシャルサイト）

上記でご紹介したデニス・シリヤエフ氏の技術は、一見映像の「修復」のように感じられるかもしれません。ただ、厳密にはフィルムの傷を取り除く作業だけでなく、AI技術の活用によって必要なデータを作り出し、もとの動画に付け加えています。そのため、修復ではなく「拡張」という表現が正しいのです。

白黒動画のカラー化に用いられている「DeOldify」というAIツールでは、1400万以上の画像データセットを活用し、映像内の物体が「一般的にはどのような色をしているのか」を学習しています。その学んだ知識を活かし、動画内に映った物体のカラー化を実現しているわけです。

ただ、これはあくまでも「蓄積したデータをもとにした予測」に過ぎませんので、必ずしもすべての物体を正確にカラー化できるとは限りません。それこそ、さまざまな色や柄が存在する「旗」のようなものは、予測するのが難しい傾向にあるからです。

草木や道路など、蓄積されたデータに基づいて予測することが容易な物体に関しては正確にカラー化することはできるものの、予測が困難な物体が存在するのも事実であるため、AIのアルゴリズムにはまだ改善の余地があるといえるでしょう。

AI・人工知能は映像業界において重要な役割を担う存在へ

今回は、映像の分野におけるAIの活用事例についてご紹介しました。AIを活用することによって、よりコストを抑えながら映像を高解像度化できることがお分かりいただけたのではないでしょうか。

特にアニメ業界の場合、高コストが原因で4K化できていないコンテンツも多く存在していますので、AIが今後の映像業界を大きく変えていくといっても過言ではないかもしれません。

もちろん、AIの技術はまだ不完全であるため、まだまだ改善の余地はあるでしょう。ただ、未知の可能性を秘めていることも事実ですので、今後どのような形でAIが映像業界をサポートしていくのか、ますます期待が膨らみます。

画像認識・画像解析AIのサービス比較と企業一覧を見る

AIsmiley編集部

株式会社アイスマイリーが運営するAIポータルメディア「AIsmiley」は、AIの専門家によるコンテンツ配信とプロダクト紹介を行うWebメディアです。AI資格を保有した編集部がDX推進の事例や人工知能ソリューションの活用方法、ニュース、トレンド情報を発信しています。

・Facebookでも発信しています
@AIsmiley.inc
・Xもフォローください
@AIsmiley_inc