Meta、Llamaシリーズの最新オープンソースモデル「Llama 3」を発表

最終更新日:2024/04/25

Meta最新モデル Llama 3発表

Metaは、最新のオープンソースLLM「Llama 3」を発表しました。AWS、Databricks、Google Cloud、Hugging Faceなど、ほぼすべてのクラウドサービスで利用可能です。

このAIニュースのポイント

Llamaシリーズの最新モデルが公開。オープンソースとしてほぼすべてのクラウドでアクセス可能に
80億と700億の2つのパラメータモデルで提供。前モデルから大幅に進化
今後は4,000億パラメータ以上のモデルを目指して学習が進行中

米Metaは4月18日、オープンソースのLLMの最新版「Llama 3」を発表しました。いずれもほぼすべての主要クラウドサービス（AWS、Databricks、Google Cloud、Hugging Face、Kaggle、IBM WatsonX、Microsoft Azure、NVIDIA NIM、Snowflake）で間もなく利用可能になります。

「Llama 3」は、前モデル「Llama 2」のステータスを大きく上回っており、80億パラメータと700億パラメータの2モデルで提供されます。誤った拒否率が減少したほか、推論、コード生成、命令などの機能が大幅に向上しました。

標準ベンチマークでも高いパフォーマンスを発揮しており、オープンソースでありながらクローズドモデルと同等以上のスコアを示しています。高度な評価データセットに含まれる1,800のプロンプトが、推論や要約、ブレインストーミングなどの12の主要なユースケースをカバーします。また、128,000トークンの語彙を持つトークナイザーや、グループ化されたクエリアテンション（GQA）の採用も、性能の向上に寄与しています。

「Llama 3」のトレーニングデータセットはLlama 2よりも7倍大きく、4倍のコードが含まれています。英語以外での利用に備えるため、データセットの5％以上が非英語データで構成されており、公開ソースから収集された15兆以上のトークンで事前トレーニングされています。

他にも、GPUの改善や異常検出メカニズムの改善によって、全体の有効トレーニング時間は95%以上になり、「Llama 3」のトレーニング効率はLlama 2と比較して約3倍向上しました。

さらに安全性のためのツールには、Llama Guard 2、Code Shield、CyberSec Eval 2が導入されています。

Metaは近い将来、「Llama 3」を多言語かつマルチモーダルにし、より長いコンテキストを持たせるとしており、4000億パラメータの高密度モデルのトレーニングも継続していると述べています。

出典：Meta

AIsmiley編集部

株式会社アイスマイリーが運営するAIポータルメディア「AIsmiley」は、AIの専門家によるコンテンツ配信とプロダクト紹介を行うWebメディアです。AI資格を保有した編集部がDX推進の事例や人工知能ソリューションの活用方法、ニュース、トレンド情報を発信しています。

・Facebookでも発信しています
@AIsmiley.inc
・Xもフォローください
@AIsmiley_inc
・Youtubeのチャンネル登録もお願いいたします@aiaismiley1345

メルマガに登録する

AIサービス: 生成AI; AI研究開発; LLM; チャットボット; AIモデル作成

DXトレンドマガジンメールマガジン登録

業務の課題解決に繋がる最新DX・情報をお届けいたします。
メールマガジンの配信をご希望の方は、下記フォームよりご登録ください。登録無料です。

お名前 - 姓・名

お名前を入力してください

お名前 - 名

名を入力してください

メールアドレス

メールアドレスを入力してください

シェアする

AI・人工知能記事カテゴリ一覧

AI・人工知能サービス

特集

今注目のカテゴリー

ChatGPT連携サービス

チャットボット

画像認識・画像解析

需要予測

ChatGPT連携サービス

チャットボット

画像認識・画像解析

需要予測

DXトピックス

AIsmileyからご案内

FOLLOW US

SNSをフォローして、最新情報をチェックできます！

DXトレンドマガジンメールマガジン登録

メールマガジンの配信をご希望の方は、下記フォームよりご登録ください。登録無料です。

お名前 - 姓・名

お名前を入力してください

お名前 - 名

お名前 - 名を入力してください

メールアドレス

メールアドレスを入力してください

ニュースPVランキング

週間PVランキング

日本初、積水ハウスが住宅検討層向けにチャットで気軽に相談できる「…

東京都日野市にAIプロデュースの美容室がオープン。立地選定からデ…

JAPAN AIの「JAPAN AI CHAT」に新機能追加。グ…

日本調剤、AI薬歴作成支援サービス「corte」を導入。薬剤師の…

AI活用のご相談したい企業様はこちら

03-6452-4750

AI活用を無料で相談する

AI製品・ソリューションの掲載を
希望される企業様はこちら

詳細はこちら