Meta、Llamaシリーズの最新オープンソースモデル「Llama 3」を発表

最終更新日:2024/04/25

Metaは、最新のオープンソースLLM「Llama 3」を発表しました。AWS、Databricks、Google Cloud、Hugging Faceなど、ほぼすべてのクラウドサービスで利用可能です。

このAIニュースのポイント

Llamaシリーズの最新モデルが公開。オープンソースとしてほぼすべてのクラウドでアクセス可能に
80億と700億の2つのパラメータモデルで提供。前モデルから大幅に進化
今後は4,000億パラメータ以上のモデルを目指して学習が進行中

米Metaは4月18日、オープンソースのLLMの最新版「Llama 3」を発表しました。いずれもほぼすべての主要クラウドサービス（AWS、Databricks、Google Cloud、Hugging Face、Kaggle、IBM WatsonX、Microsoft Azure、NVIDIA NIM、Snowflake）で間もなく利用可能になります。

「Llama 3」は、前モデル「Llama 2」のステータスを大きく上回っており、80億パラメータと700億パラメータの2モデルで提供されます。誤った拒否率が減少したほか、推論、コード生成、命令などの機能が大幅に向上しました。

標準ベンチマークでも高いパフォーマンスを発揮しており、オープンソースでありながらクローズドモデルと同等以上のスコアを示しています。高度な評価データセットに含まれる1,800のプロンプトが、推論や要約、ブレインストーミングなどの12の主要なユースケースをカバーします。また、128,000トークンの語彙を持つトークナイザーや、グループ化されたクエリアテンション（GQA）の採用も、性能の向上に寄与しています。

「Llama 3」のトレーニングデータセットはLlama 2よりも7倍大きく、4倍のコードが含まれています。英語以外での利用に備えるため、データセットの5％以上が非英語データで構成されており、公開ソースから収集された15兆以上のトークンで事前トレーニングされています。

他にも、GPUの改善や異常検出メカニズムの改善によって、全体の有効トレーニング時間は95%以上になり、「Llama 3」のトレーニング効率はLlama 2と比較して約3倍向上しました。

さらに安全性のためのツールには、Llama Guard 2、Code Shield、CyberSec Eval 2が導入されています。