Sakana AI、浮世絵風画像生成モデル「Evo-Ukiyoe」と浮世絵カラー化モデル「Evo-Nishikie」公開

最終更新日:2024/07/31

Sakana AIは、日本語から浮世絵風画像を生成する「Evo-Ukiyoe」と単色浮世絵を多色化する「Evo-Nishikie」を公開しました。研究や教育を目的とし、日本文化の魅力を世界に広めます。

このAIニュースのポイント

Sakana AI、浮世絵風画像生成AI「Evo-Ukiyoe」と浮世絵カラー化AI「Evo-Nishikie」を公開
日本語対応画像生成モデル「Evo-SDXL-JP」を基盤とし、立命館大学ARCの浮世絵デジタル画像24,038枚を使用した大規模学習によって構築
日本の伝統文化の魅力を世界に広め、教育などへの活用や古典籍の新しい楽しみ方を生むAIになることが期待

Sakana AIは、日本の美を学んだAIモデル「Evo-Ukiyoe」と「Evo-Nishikie」を公開しました。「Evo-Ukiyoe」は、日本語のプロンプトを入力すると浮世絵風の画像を生成し、「Evo-Nishikie」は単色の浮世絵をカラー化します。

この2つのモデルは、Sakana AIが進化的モデルマージによって構築した日本語対応画像生成モデル「Evo-SDXL-JP」を基盤とし、立命館大学アート・リサーチセンター（ARC）所蔵の浮世絵作品のデジタル画像24,038枚を使用した大規模な学習によって構築されています。

「Evo-Ukiyoe」は桜、富士山、着物、鳥など、浮世絵でよく取り上げられる要素をプロンプトに含めると、実物の浮世絵に近い品質で画像を生成できます。江戸時代に存在しないもの（パソコンやハンバーガーなど）の生成も可能ですが、学習データセットに存在しないものを浮世絵風に生成することは難しく、全体として浮世絵らしくない画像が生成されることがあります。

「Evo-Ukiyoe」はText-to-Imageモデルで、画像データとキャプションのペアを学習データセットとします。浮世絵画像のキャプション生成には、大規模マルチモーダルモデルを使用し、Few-shot promptingが用いられました。

さらに、性別を間違えるなどの問題点は人手で修正され、プロンプト長を短くすることで、明確な特徴のみを残しつつ複雑な専門用語を削除するなどの調整が行われました。

一方で「Evo-Nishikie」は、墨一色の浮世絵（墨摺絵）を入力すると、多色摺の浮世絵（錦絵）風にカラー化することができます。これにより、古典籍の挿絵を現代の絵本のように楽しむことが可能になります。

「Evo-Nishikie」はImage-to-Imageモデルであり、プロンプトと条件画像のペアを学習データセットとします。学習プロンプトには「この画像をカラーにしてください」といった簡潔な固定プロンプトを全画像に適用することで、タスクを容易にし精度を向上しています。

条件画像には、元の画像の情報を保持しつつクリエイティブに生成する「Lineart」が使用されています。浮世絵画像の虫食いやシミなどのノイズ処理としてControlNet-AuxライブラリーのLineartDetectorとOpenCVを用い、2値化で元画像の濃淡情報を除去するという手順が用いられます。

立命館大学アート・リサーチセンターのセンター長である赤間亮氏は、「現代のアーティストや愛好者にとって、Evo-Ukiyoeは浮世絵への興味を深め、創作意欲を刺激します」とコメントし、日本の古典文化の再生と新たな活用の可能性が大きく広めるAIになることに期待を寄せています。

出典：sakana.ai