DXを推進するAIポータルメディア「AIsmiley」｜ AI製品・サービスの比較・検索サイト
お急ぎの方は、まずお電話で 03-6452-4750
MAIL
03-6452-4750 10:00〜18:00 年末年始除く
AI活用を無料相談

Sakana AI、高性能かつ小規模な日本語言語モデルを発表。スマートフォンやPCでも動作可能に

最終更新日:2025/02/04

Sakana AI SLM日本語モデル発表

Sakana AIは、小規模ながらも高性能な日本語言語モデル「TinySwallow-1.5B」を開発したと発表しました。

このニュースのポイント

  • Sakana AI、小規模ながらも高性能な日本語言語モデル「TinySwallow-1.5B」を開発
  • 高性能な大規模言語モデル（LLM）が持つ知識を、小規模言語モデル（SLM）に効率的に転移する新たな手法「TAID」を活用
  • ウェブアプリ「TinySwallow ChatUI」では、APIを介さずにオフラインで利用可能

Sakana AI株式会社は、小規模ながらも高性能な日本語言語モデル「TinySwallow-1.5B」を開発したと発表しました。このモデルは、新しい知識蒸留手法「TAID（Temporally Adaptive Interpolated Distillation）」によって学習され、同規模のモデルの中で最高水準の性能を達成しています。

従来、LLMの開発・活用現場では莫大な計算資源を必要とするため、計算リソースの問題で困難な状況に置かれていました。そこでTAIDの活用により、小規模ながら優れた性能を持つモデルを作り出すことに成功しました。

TAIDは、高性能なLLM（教師モデル）をSLM（生徒モデル）に転移させる知識蒸留の新たな手法を取り入れています。既存の知識蒸留の手法とは異なり、SLMの学習過程に応じて段階的にLLMの知識を転移。SLMの学習進度に応じて段階的に適切な「中間教師」を設定し、徐々に高度な知識を学習させることで問題を克服しました。

この方法により、効率的に知識を転移させることが可能となり、小規模なモデルでありながら高い性能を発揮できるようになりました。

「TinySwallow-1.5B」は、TAIDを活用して開発された日本語言語モデルです。約32Bパラメータの大規模モデルから1.5Bパラメータの小規模モデルへ知識を転移することで構築されました。その結果、日本語の言語モデルのベンチマークにおいて、同規模のモデルの中で最高性能を達成しました。

また、スマートフォンやPCでも動作が可能となり、ウェブアプリ「TinySwallow ChatUI」ではブラウザ上で直接モデルを動作させるため、APIを介さずにオフラインで利用することができます。

さらに、完全にオフラインで実行できる「TinySwallow ChatUI Local」も提供。Pythonベースのシンプルなインターフェースで、ネットワーク接続せずにチャットすることが可能です。

「TinySwallow-1.5B」のモデルデータは、現在「Hugging Face Hub」にて公開されています。Sakana AIは、今後も知識蒸留の可能性をさらに広げ、より多くの人が高性能なAIを身近に活用できる環境を目指して研究を続けていく方針です。

出典：Sakana AI

AIsmiley編集部

株式会社アイスマイリーが運営するAIポータルメディア「AIsmiley」は、AIの専門家によるコンテンツ配信とプロダクト紹介を行うWebメディアです。AI資格を保有した編集部がDX推進の事例や人工知能ソリューションの活用方法、ニュース、トレンド情報を発信しています。

・Facebookでも発信しています
@AIsmiley.inc
・Xもフォローください
@AIsmiley_inc
・Youtubeのチャンネル登録もお願いいたします@aiaismiley1345

メルマガに登録する

AIサービス
生成AI
AI研究開発
LLM
DXトレンドマガジン メールマガジン登録

業務の課題解決に繋がる最新DX・情報をお届けいたします。
メールマガジンの配信をご希望の方は、下記フォームよりご登録ください。登録無料です。

お名前 - 姓・名

お名前を入力してください

メールアドレス

メールアドレスを入力してください

生成AIを資料請求

全て無料！

選択中の資料を請求する

AI・人工知能記事カテゴリ一覧

AI・人工知能サービス

業態業種別AI導入活用事例

特集

今注目のカテゴリー

生成AI

ChatGPT連携サービス

チャットボット

AI-OCR

生成AI

ChatGPT連携サービス

チャットボット

AI-OCR

DXトピックス

生成AIを
資料請求

全て無料！

選択中の資料を請求する

AIsmileyからご案内

FOLLOW US

SNSをフォローして、最新情報をチェックできます！

  • Feedly
  • YOUTUBE
DXトレンドマガジン メールマガジン登録

メールマガジンの配信をご希望の方は、下記フォームよりご登録ください。登録無料です。

お名前 - 姓・名

お名前を入力してください

メールアドレス

メールアドレスを入力してください

ニュースPVランキング

週間PVランキング

関連記事

AI活用のご相談したい企業様はこちら

03-6452-4750
AI活用を無料で相談する

AI製品・ソリューションの掲載を
希望される企業様はこちら

詳細はこちら