Sakana AI、進化的アルゴリズムによって基盤モデルを自動構築する仕組みを公開

最終更新日:2024/03/29

Sakana AI 独自のモデル開発手法公開

Sakana AIは、進化的アルゴリズムを用いて既存モデルを融合し、新たな基盤モデルを開発する手法を公開しました。

Sakana AIは3月21日、進化的アルゴリズムを用いて基盤モデルを自動構築する手法を開発したと発表しました。この新しい手法は「進化的モデルマージ」と呼ばれ、様々な特徴を持つオープンソースモデルを一つに融合し、新たな基盤モデルを構築します。

進化的アルゴリズムとは、生物の進化に伴う自然淘汰の中でより優れたものを組み合わせて行くプロセスの繰り返しを指し、これが最適な基盤モデルを構築する技術として用いられています。

モデルマージによって、ユーザーが指定した能力に長けた新しい基盤モデルが作成可能で、これまで困難だとされていた非英語言語と数学、非英語言語と画像認識など、全く異なる領域を組み合わせた新たなモデルの誕生に成功しています。既存のモデル同士をマージするため、勾配ベースの訓練を全く必要とせず、開発コストを大幅に抑えながら、比較的少ないリソースで高性能モデルを開発できます。

Sakana AIはこの手法の公開と同時に、マージした日本語対応モデルを3つ開発したことも発表しました。

数学的推論が可能な日本語LLM「EvoLLM-JP」は、7Bパラメータのモデルながら、数学だけでなく日本語の全般的な能力でも、70Bパラメータの最先端日本語LLMと同等以上の性能を発揮します。

画像言語モデル「EvoVLM-JP」は、画像に関する質問への回答が可能で、正確さだけでなく、日本文化に関する知識も併せ持っており、例えば「鯉のぼり」といった日本特有のイメージを認識します。

また、信号機の色において、英語VLMでは緑と回答しますが、EvoVLM-JPは青と回答します。日本の慣習では信号機の進行許可は「青信号」と表現されるため、日本特有の慣習が回答にも反映されています。

お好み焼きなど、日本料理に関する画像にも対応しています。

また、画像生成モデル「EvoSDXL-JP」も日本向けに最適化されており、わずか数ステップで日本語プロンプトを推論します。

今後は、Neuroevolution、集合知能、モデルなどの分野を融合する研究に取り組む方針とし、日本政府からNEDO/GENIACを通じた支援によって提供される大規模GPUスーパーコンピューターを活用することで、研究開発を加速させるとコメントしています。

出典：Sakana AI

AIsmiley編集部

株式会社アイスマイリーが運営するAIポータルメディア「AIsmiley」は、AIの専門家によるコンテンツ配信とプロダクト紹介を行うWebメディアです。AI資格を保有した編集部がDX推進の事例や人工知能ソリューションの活用方法、ニュース、トレンド情報を発信しています。

・Facebookでも発信しています
@AIsmiley.inc
・Xもフォローください
@AIsmiley_inc