AI inside、日本語LLMサービスにて2,259万トークンのプロンプトに返答成功

最終更新日:2024/01/19

AI insideの日本語LLM トークン長プロンプトに対応

AI insideは、日本語LLMサービス「PolySphere-1」が2,259万トークンのプロンプト返答に成功したと発表しました。

このAIニュースのポイント

AI insideの日本語LLMサービス「PolySphere-1」が2,259万トークンのプロンプト返答に成功
「PolySphere-1」は、既存サービスの数百倍ものトークンの処理ができるため、より多くの背景情報を考慮した高度な回答が可能に
市場レポート作成や専門的な問題の解決、顧客のニーズを捉えた対話型AIとしての利用が可能

AI inside株式会社は、独自の日本語LLMサービス「PolySphere-1」が2,259万トークンのプロンプトを分割せず一度に受けつけ、返答に成功したと発表しました。

LLMは、入力されたテキストデータを「トークン」と呼ばれる単語や文字など意味を持つ単位で処理します。トークン長の限界値を超えたデータが入力された場合は、それ以前に入力された単語の参照ができず、返答がなくなったり不適切な回答が生成される可能性があります。

より長いトークンを一度に処理できるLLMほど、多くの背景情報を考慮し高度な回答ができると考えられており、一般的なLLMのトークン限界が数千〜数万である一方で「PolySphere-1」はその数百倍の2,259万トークンの処理が可能です。

「PolySphere-1」は、長いトークンを一度に処理できるため、より多くの背景情報を考慮した高度な回答の生成が期待されます。専門知識が求められる複雑な問題へ回答や研究論文をサマライズした市場調査レポートの作成、また対話型AIとしてより過去の発話内容を記憶しその文脈を踏まえた適切な応答が可能です。

AI insideは「トークン長の長さは、生成AI・LLMのビジネス活用において重要な一要素です。今後は、参照した膨大なテキストデータに対するレスポンス精度を高めるとともに、顧客事例の創出を進めていきます」とコメントしています。

出典：AI inside 株式会社