オルツ、数兆パラメータ規模のLLM構築に着手。スピードとコストのバランスをとったLLMを目指す

最終更新日:2024/05/16

オルツ数兆パラメータLLMに着手

オルツは、数兆パラメータ規模の大規模言語モデル（LLM）の構築に着手したと発表しました。

このAIニュースのポイント

オルツ、数兆パラメータ規模のLLM構築に着手したことを発表
精度や表現力の向上だけでなく、スピードとコストのバランスが取れたLLMを目指す
GPU不足など、LLMを取り巻く課題についても対応していく

株式会社オルツは、数兆パラメータ規模のLLM構築に着手したと発表しました。実際のビジネスシーンや実生活におけるユースケースから逆算したLLM設計・構築が肝要であるとし、パラメータ数に加えて、スピードと計算効率、コストパフォーマンスという実運用時に重要となる指標でも世界最高峰レベルを目指します。

オルツは、LLM開発において、GPTなどの既存モデルを超える使いやすさを実現するため、数兆パラメータ規模を持ち、日本語に優位なモデルの構築を構想してきました。スケーリング則の元となる「パラメータ数」「データ量」「計算量」に加えて、スピードとコストのバランスがとれた、ユーザーにとって実用的なサービスを提供することを目指します。

オルツは、パラメータ数において、高度で複雑な表現力を実現するために多パラメータが必要だとしつつも、実用性を兼ね備えた軽量・高速モデルの開発の両面が鍵となるとコメント。データ量に関しても、高品質な事前学習データ及びバリエーションに富んだインストラクションデータの投入による精度向上の実績とノウハウ、データ作成人員の教育で競争力を持つことで、20兆トークン以上の事前学習データの構築を目指すと述べています。

また、LLM開発におけるGPU不足とクラウドリソースの価格高騰の課題においては、分散コンピューティング基盤を活用し、世界中のGPU資源を効率的に利用していきます。

加えて、LLMの運用とGPUリソースの使用のエネルギー問題においても、電力コストの低い地域へのリソース分散化やエッジコンピューティングを活用した消費エネルギーの分散を行い、運用コスト削減の実現が可能となります。

こうした課題意識や現状を踏まえ、オルツは学習データの大規模な構築やプロンプトエンジニアリングの自動化、分散コンピューティング基盤の整備など様々な取り組みを加速させていくとコメントしています。

出典：オルツ