rinna、日本語特化大規模言語モデル「Qwen2.5 Bakeneko 32B」を公開。DeepSeek R1を用いた蒸留学習により蒸留学習により日本語思考能力を強化

最終更新日:2025/03/05

rinna 日本語特化LLMモデル公開

rinnaは、Qwen2.5とDeepSeek R1を利用した日本語大規模言語モデル「Qwen2.5 Bakeneko 32B」シリーズをApache-2.0 Licenseで公開しました。

このニュースのポイント

rinnaは、Qwen2.5とDeepSeek R1を利用した日本語大規模言語モデル「Qwen2.5 Bakeneko 32B」シリーズを開発し、Apache-2.0 Licenseで公開
開発されたモデルには、アリババ社のQwen2.5を基にしたバージョン「Qwen2.5 Bakeneko 32B」「Qwen2.5 Bakeneko 32B Instruct」「DeepSeek R1 Distill Qwen2.5 Bakeneko 32B」を含む
「Qwen2.5 Bakeneko 32B」をベースに、DeepSeek R1の思考過程を含む1,200件のテキストデータを使った蒸留学習で「DeepSeek R1 Distill Qwen2.5 Bakeneko 32B」を開発

rinna株式会社は、日本語に特化した大規模言語モデル「Qwen2.5 Bakeneko 32B」シリーズを、Qwen2.5とDeepSeek R1を用いて開発し、Apache-2.0 Licenseで公開しました。このモデルは、DeepSeek R1の出力を用いて蒸留学習を行ない。日本語の思考能力を効率的に強化しています。

開発されたモデルには、アリババ社のQwen2.5を基にしたバージョン「Qwen2.5 Bakeneko 32B」、「Qwen2.5 Bakeneko 32B Instruct」、および「DeepSeek R1 Distill Qwen2.5 Bakeneko 32B」が含まれ、日本のAIの研究・開発に寄与することを目指しています。

「Qwen2.5 Bakeneko 32B」シリーズは、複数のモデルサイズや特化機能を持つQwen2.5シリーズの一部で、特に32Bモデルは性能とサイズのバランスが良いです。このモデルでは、日本語と英語のデータを使って継続的な事前学習が行われ、高性能な日本語LLMを目指します。

「Qwen2.5 Bakeneko 32B」は、他のモデルとの統合により高い日本語性能を持つモデルの作成が期待されています。また「Qwen2.5 Bakeneko 32B Instruct」は、指示学習を加えたモデルで、対話形式での利用に適しています。

DeepSeek社の新モデル「DeepSeek R1」が高い思考能力で注目されていますが、モデルサイズが大きいため扱いが難しく、知識蒸留を用いて「DeepSeek R1 Distill Qwen 32B」が開発されましたが、日本語性能が低いという課題がありました。

そこで「Qwen2.5 Bakeneko 32B」をベースに、DeepSeek R1の思考過程を含む1,200件のテキストデータを使った蒸留学習で「DeepSeek R1 Distill Qwen2.5 Bakeneko 32B」が開発され、日本語の思考能力を向上させることに成功しました。

評価結果では、このモデルが前モデルより大きくスコアを改善しています。

rinnaは「今後も、AIの社会実装を進めるために研究開発を続け、研究成果の公開や製品への導入を行っていきます」とコメントしています。

出典：PR TIMES

AIsmiley編集部

株式会社アイスマイリーが運営するAIポータルメディア「AIsmiley」は、AIの専門家によるコンテンツ配信とプロダクト紹介を行うWebメディアです。AI資格を保有した編集部がDX推進の事例や人工知能ソリューションの活用方法、ニュース、トレンド情報を発信しています。

・Facebookでも発信しています @AIsmiley.inc
・Xもフォローください @AIsmiley_inc
・Youtubeのチャンネル登録もお願いいたします@aismiley
メルマガに登録する

AIサービス: 生成AI; AI研究開発; LLM; DX推進

DXトレンドマガジンメールマガジン登録

業務の課題解決に繋がる最新DX・情報をお届けいたします。
メールマガジンの配信をご希望の方は、下記フォームよりご登録ください。登録無料です。

お名前 - 姓・名

お名前を入力してください

お名前 - 名

名を入力してください

メールアドレス

メールアドレスを入力してください

シェアする

AI・人工知能記事カテゴリ一覧

AI・人工知能サービス

特集

今注目のカテゴリー

生成AI

ChatGPT連携サービス

チャットボット

AI-OCR

生成AI

ChatGPT連携サービス

チャットボット

AI-OCR

DXトピックス

AIsmileyからご案内

FOLLOW US

SNSをフォローして、最新情報をチェックできます！

DXトレンドマガジンメールマガジン登録

メールマガジンの配信をご希望の方は、下記フォームよりご登録ください。登録無料です。

お名前 - 姓・名

お名前を入力してください

お名前 - 名

お名前 - 名を入力してください

メールアドレス

メールアドレスを入力してください

ニュースPVランキング

週間PVランキング

OpenAI、ChatGPTへ新ツール導入により従来の制限を段階…

「Grokipedia」version 0.1公開。イーロン・マ…

OpenAIとAWS、総額380億ドル規模の複数年にわたる戦略的…

Anthropicがアジア太平洋地域初のオフィスを東京に開設。高…

AI活用のご相談したい企業様はこちら

03-6452-4750

AI活用を無料で相談する

AI製品・ソリューションの掲載を
希望される企業様はこちら

詳細はこちら