NVIDIA、「NVIDIA AI Foundry」を発表。Llama 3.1モデルを組み合わせた独自データから「スーパーモデル」を構築可能

最終更新日:2024/08/08

NVIDIAは、企業や国家がLlama 3.1 405BおよびNVIDIA Nemotronモデルと組み合わせた独自のデータを使用して「スーパーモデル」を構築できる新サービス「NVIDIA AI Foundry」を発表しました。

このニュースのポイント

NVIDIAが「NVIDIA AI Foundry」でLlama 3.1 405BおよびNVIDIA Nemotronモデルを使用し、独自の「スーパーモデル」を構築可能に
Llama 3.1は、16,000基のNVIDIA H100 TensorコアGPUでトレーニングされ、8B、70B、405Bのパラメータサイズを持つ生成AIモデルを提供
企業が生成AIアプリケーションを展開する手助けをし、文化、言語、業界を反映したモデルを通じてビジネスの革新を促進

NVIDIA Corporationは、新しいサービス「NVIDIA AI Foundry」を発表。企業や国家がLlama 3.1 405BおよびNVIDIA Nemotronモデルと組み合わせた独自のデータを使用して「スーパーモデル」を構築できるサービスです。NVIDIA DGX Cloud AIプラットフォームを利用し、拡張可能なコンピューティングリソースを提供します。

NVIDIAは、カスタム大規模言語モデルの構築を支援するため、Llama 3.1モデルの企業展開を強化するNVIDIA NIM推論マイクロサービスを導入。これにより、本番環境での迅速な展開と最大2.5倍のスループットが可能です。企業はこのマイクロサービスを新しいNVIDIA NeMo Retrieverと組み合わせ、高度な検索パイプラインも構築できます。

さらに同社は、新しいNeMo Retriever NIM推論マイクロサービスを使用して、RAGの応答精度を向上させることができると発表。Llama 3.1 405Bモデルと組み合わせることで、オープンおよび商用テキストのQ&A検索精度を最高レベルに引き上げます。エンタープライズエコシステムを通じて、NVIDIAのパートナーはこのマイクロサービスをAIソリューションに統合し、開発者コミュニティ向けに生成AIを強化できます。

また、NVIDIA AI Enterpriseを通じてプロダクションサポートが受けられるほか、NVIDIA Developer Programのメンバーは無料でマイクロサービスへのアクセスができます。

また、Llama 3.1は、16,000基のNVIDIA H100 TensorコアGPUでトレーニングされ、8B、70B、405Bのパラメータサイズを持つ生成AIモデルを提供しています。