Meta、オープンソースの最新LLM「Llama 3.1」を発表。最大4050億のパラメータを持つ、高性能なモデル

最終更新日:2024/08/02

Metaは、オープンソースの最新LLM「Llama 3.1」を2024年7月24日に発表しました。最大4050億のパラメータを持つ、高性能な最新モデルです。

このニュースのポイント

Meta、最大4050億パラメータを持つ、高性能で且つ無料で商用可の最新LLM「Llama 3.1」を発表
開発者はLlamaモデルの出力を利用して他のモデルを改良できるようになり、すぐに利用可能
「Llama 3.1」は、最大4050億のパラメータを持ち、長さ1280のコンテキストや8言語のサポートや、柔軟性や制御性に優れていて、一般知識や多言語翻訳などの最先端機能を持つ

米Meta社は、オープンソースの最新LLM「Llama 3.1」を2024年7月24日に発表しました。このモデルは、最大4050億のパラメータを持ち、長さ1280のコンテキストや8言語のサポートや、柔軟性や制御性に優れていて、一般知識や多言語翻訳などの最先端機能を持つ高性能なAIモデルです。

80億および700億モデルのアップグレード版も導入され、長いコンテキストや強化された推論機能を備え、多様なユースケースに対応可能です。開発者はLlamaモデルの出力を利用して他のモデルを改良できるようになり、これらのモデルはオープンソースとして提供され、すぐに利用可能です。

今回のリリースでは、150以上の言語ベンチマークデータセットでのパフォーマンス評価と実際のシナリオでの人間による「Llama 3.1」と競合モデルの比較が行われました。

評価結果は、「Llama 3.1」が「GPT-4」や「Claude 3.5 Sonnet」などの主要基盤モデルと競合可能であることを示し、小規模モデルも同様のパラメーター数を持つクローズドおよびオープンモデルと競争力があることが確認されました。

「Llama 3.1」は、15兆を超えるトークンでトレーニングされ、16,000以上のH100 GPUを使用することで、トレーニングスタックを最適化し、設計にはシンプルなプロセスを重視しています。

その結果、学習データの前処理や品質保証も向上し、言語モデルのスケーリング法則に従って、4050億モデルは小規模モデルよりも優れたパフォーマンスを示しました。また、運用の効率化のために、モデルを16ビットから8ビットに量子化し、計算要件を削減しました。

4050億モデルは非常に強力ですが、相応の必要な計算リソースと専門知識が求められ、生成AI開発にはモデルのプロンプティング以上の要素が多く存在することが明らかになりました。4050億モデルを最大限に活用するためには、リアルタイム推論、微調整、モデル評価、事前トレーニング、検索拡張生成などの要素が重要です。そこで、Llamaエコシステムを利用することで、開発者はこれらの高度な機能を活用し、迅速にプロジェクトを進められます。

Metaは、開発者向けに新しいワークフローやツールを提供し、責任ある利用を促進するためのセキュリティツールも整備しています。オープンソースのLlamaモデルは、開発者が自由にカスタマイズできるオープンソースのLlamaモデルがイノベーションを促進。広範な開発者コミュニティが生成AIの利点を活用しやすくすることで、技術の利用が特定の人々に集中することを防ぎます。