2024年7月24日、米国のMeta社は最新のオープンソース大規模言語モデル（LLM）である「Llama 3.1」を発表しました。このモデルは、最大4050億（405B）のパラメータを持ち、米国のNVIDIA社のH100という高性能なGPUを1万6000個以上使用してトレーニングされています。また、Llama 3.1は、以前のLlama 3の70Bモデルや8Bモデルもアップグレードされます。
Llama 3.1は、4月にリリースされたLlama 3と同様に、主要なクラウドサービス（AWS、Databricks、Google Cloud、Hugging Face、Kaggle、IBM WatsonX、Microsoft Azure、NVIDIA NIM、Snowflake）で利用可能になります。モデルは、15兆を超えるトークンでトレーニングされていますが、トレーニングデータの具体的な出所は明らかにされていません。
この405Bモデルは、長文テキストの要約、多言語会話エージェント、コーディングアシスタント、さらには将来のAI言語モデルのトレーニングに使用する合成データの生成に有用であるとされています。さらに、Llama 3.1の出力を使用することで、他のAIモデルの性能向上も可能です。
Metaによれば、Llama 3.1は、複数のベンチマークテストで米国のOpenAIの「GPT-4o」や米国のAnthropic社の「Claude 3.5 Sonnet」よりも優れているとされています。また、MetaのAIアシスタント「Meta AI」（日本ではまだリリースされていません）もLlama 3.1を基盤としており、サポートする言語が22カ国語に増加し（ただし日本語はまだ含まれていません）、人物写真から画像を生成する機能などが追加される予定です。
MetaのCEOであるマーク・ザッカーバーグ氏は、自身の公式ブログで、Llama 3.1を無料で提供する理由について語りました。彼は、オープンソースのLinuxが現在、スマートフォンやサーバの基本OSとして広く使われているのと同様に、オープンソースのAIモデルもプロプライエタリ（独自）モデルを超えて進化していくと述べました。「Llama 3.1のリリースは、多くの開発者がオープンソースを使い始める業界の転換点となるだろう」とザッカーバーグ氏は強調しました。
さらに、Metaによると、Llama 3.1をAWSなどの環境で実行する際のコストは、GPT-4oの約半分になるとのことです。
ザッカーバーグ氏は「オープンソース」という言葉を使用していますが、これはOpen Source Initiativeが定義する「オープンソース」とは異なります。Llama 3.1はMetaのWebサイトやHugging Faceからダウンロードできますが、ダウンロードには個人情報の提供とライセンスおよび利用規定への同意が必要です。
source: ITmedia
記事を共有
NNU - ネオネットワーク連合をもっと見る
購読すると最新の投稿がメールで送信されます。
