生成AI

最終更新日:2024/04/25
Metaは、最新のオープンソースLLM「Llama 3」を発表しました。AWS、Databricks、Google Cloud、Hugging Faceなど、ほぼすべてのクラウドサービスで利用可能です。
このAIニュースのポイント
米Metaは4月18日、オープンソースのLLMの最新版「Llama 3」を発表しました。いずれもほぼすべての主要クラウドサービス(AWS、Databricks、Google Cloud、Hugging Face、Kaggle、IBM WatsonX、Microsoft Azure、NVIDIA NIM、Snowflake)で間もなく利用可能になります。
「Llama 3」は、前モデル「Llama 2」のステータスを大きく上回っており、80億パラメータと700億パラメータの2モデルで提供されます。誤った拒否率が減少したほか、推論、コード生成、命令などの機能が大幅に向上しました。
標準ベンチマークでも高いパフォーマンスを発揮しており、オープンソースでありながらクローズドモデルと同等以上のスコアを示しています。高度な評価データセットに含まれる1,800のプロンプトが、推論や要約、ブレインストーミングなどの12の主要なユースケースをカバーします。また、128,000トークンの語彙を持つトークナイザーや、グループ化されたクエリアテンション(GQA)の採用も、性能の向上に寄与しています。
「Llama 3」のトレーニングデータセットはLlama 2よりも7倍大きく、4倍のコードが含まれています。英語以外での利用に備えるため、データセットの5%以上が非英語データで構成されており、公開ソースから収集された15兆以上のトークンで事前トレーニングされています。
他にも、GPUの改善や異常検出メカニズムの改善によって、全体の有効トレーニング時間は95%以上になり、「Llama 3」のトレーニング効率はLlama 2と比較して約3倍向上しました。
さらに安全性のためのツールには、Llama Guard 2、Code Shield、CyberSec Eval 2が導入されています。
Metaは近い将来、「Llama 3」を多言語かつマルチモーダルにし、より長いコンテキスト を持たせるとしており、4000億パラメータの高密度モデルのトレーニングも継続していると述べています。
出典:Meta
業務の課題解決に繋がる最新DX・情報をお届けいたします。
メールマガジンの配信をご希望の方は、下記フォームよりご登録ください。登録無料です。
AI製品・ソリューションの掲載を
希望される企業様はこちら