Loading article…
Llama [ a ]（「Large Language Model Meta AI 」はバクロニムとして機能）は、Meta AIが2023年2月からリリースしている大規模言語モデル（LLM）のファミリーです。[ 3 ]
Llama モデルには、10 億から 2 兆のパラメータまで、さまざまなサイズがあります。当初は基礎モデルのみでしたが、[ 4 ] Llama 2 以降、Meta AI は基礎モデルと並行して、命令を微調整したバージョンをリリースしました。[ 5 ]
Llamaの最初のバージョンのモデル重みは、非商用ライセンスの下で、ケースバイケースで研究者にのみ提供されていました。[ 6 ]最初のモデルの無許可コピーはBitTorrent経由で共有されました。[ 7 ] Llamaのその後のバージョンは、学術界以外でもアクセス可能になり、一部の商用利用を許可するライセンスの下でリリースされました。[ 8 ]
Llama 3 のリリースと同時に、Meta は Llama をベースにした AI アシスタントである Meta AI をリリースしました。Meta AI には専用の Web サイトがあり、FacebookとWhatsAppで利用できます。[ 9 ]最新バージョンは Llama 4 で、2025 年 4 月にリリースされました。[ 10 ]
2026年4月、Meta Superintelligence LabsはLlamaの後継としてMuse Sparkをリリースした。[ 11 ]
GPT-3のような大規模言語モデルのリリース後、研究の焦点はモデルのスケールアップに移り、場合によっては創発能力の大幅な向上が見られました。[ 12 ] ChatGPTのリリースとその予想外の成功により、大規模言語モデルへの注目が高まりました。[ 13 ]
ChatGPTに対する他の回答と比較して、MetaのチーフAIサイエンティストであるYann LeCunは、大規模な言語モデルが文章作成の支援に最適であると述べています。[ 14 ] [ 15 ] [ 16 ]
Llama の最初のバージョン (LLaMA と表記され、Llama 1 と呼ばれることもある) は、2023 年 2 月 24 日に、モデルのトレーニング、アーキテクチャ、パフォーマンスを説明するブログ記事と論文を通じて発表されました。[ 17 ] [ 18 ]モデルを実行するために使用される推論コードは、オープンソースのGPLv3ライセンスの下で公開されました。[ 19 ]モデルの重みへのアクセスは申請プロセスによって管理され、アクセス権は「学術研究者、政府、市民社会、学術機関の組織に所属する者、および世界中の産業研究ラボに対してケースバイケースで付与される」ことになっていました。[ 18 ]
Llamaは公開されている情報のみで学習され、さまざまなハードウェアでよりアクセスしやすくするために、さまざまなモデルサイズで学習されました。このモデルは基礎モデルのみでしたが、論文には、このモデルの命令ファインチューニングバージョンの例が含まれていました。[ 17 ]
Meta AIは、13BパラメータモデルのほとんどのNLPベンチマークにおけるパフォーマンスが、はるかに大規模なGPT-3 （175Bパラメータ）のパフォーマンスを上回り、最大の65BモデルがPaLMやChinchillaなどの最先端モデルと競合したと報告した。[ 20 ]
2023年3月3日、Llamaの重みを含むトレントがアップロードされ、そのトレントへのリンクが4chanの画像掲示板で共有され、その後オンラインのAIコミュニティを通じて拡散されました。[ 21 ]同日、メインのLlamaリポジトリにプルリクエストが開かれ、マグネットリンクを公式ドキュメントに追加するように要求されました。[ 22 ] [ 23 ] 3月4日、モデルを含むHuggingFaceリポジトリへのリンクを追加するプルリクエストが開かれました。 [ 24 ] [ 22 ] 3月6日、MetaはプルリクエストでリンクされているHuggingFaceリポジトリを削除するようテイクダウンリクエストを提出し、それをモデルの「無許可配布」と特徴付けました。HuggingFaceはリクエストに従いました。[ 25 ] 3月20日、MetaはミラーからLlamaをダウンロードするスクリプトを含むリポジトリに対して著作権侵害のDMCAテイクダウンリクエストを提出し、GitHubは翌日それに従いました。[ 26 ]
情報漏洩に対する反応は様々だった。モデルがより高度なスパムなど悪意のある目的で使用されるのではないかと推測する人もいた。モデルのアクセシビリティや、モデルの小規模バージョンを比較的安価に実行できることを称賛し、これがさらなる研究開発の発展を促進すると示唆する人もいた。[ 21 ]サイモン・ウィリソンなどの複数の評論家は、LlamaをStable Diffusionと比較した。Stable Diffusionは、それ以前の同様に高度なモデルとは異なり、オープンに配布されたため、関連するツール、技術、ソフトウェアが急速に普及したテキストから画像へのモデルである。 [ 21 ] [ 27 ]
2023年7月18日、MetaはMicrosoftと提携し、次世代のLlamaであるLlama 2（LLaMa 2と表記）を発表しました。Metaは、70億、130億、700億のパラメータを持つ3つのモデルサイズでLlama 2をトレーニングしてリリースしました。[ 5 ]モデルアーキテクチャはLlama 1モデルとほぼ変わりませんが、基礎モデルのトレーニングには40%多くのデータが使用されました。[ 28 ]
Llama 2 には、基礎モデルとチャット用に微調整されたモデルが含まれています。Llama のオリジナルバージョンからさらに変更された点として、すべてのモデルは重み付きでリリースされ、多くの商用利用ケースで使用できます。Llama のライセンスは、 Llama を特定の目的で使用することを禁止する許容使用ポリシーを強制するため、オープンソースではありません。Meta が Llama を説明するためにオープンソースという用語を使用していることは、オープンソース定義を維持しているOpen Source Initiativeなどによって異議を唱えられています。[ 29 ] [ 30 ]
Code Llama は、コード固有のデータセットを使用した Llama 2 の微調整版です。7B、13B、34B バージョンは 2023 年 8 月 24 日にリリースされ、70B バージョンは 2024 年 1 月 29 日にリリースされました。[ 31 ] Meta AI は、Llama 2 の基礎モデルから始めて、コード データセットの 500B トークンを追加でトレーニングし、その後、長いコンテキスト データの 20B トークンを追加して、Code Llama の基礎モデルを作成しました。この基礎モデルは、命令の微調整を作成するために、命令に続く 5B トークンでさらにトレーニングされました。Python コード用に別の基礎モデルが作成され、長いコンテキスト データの前に、Python のみのコードの 100B トークンでトレーニングされました。[ 32 ]
2024 年 4 月 18 日、Meta は 8B と 70B の 2 つのサイズの Llama 3 をリリースしました。モデルは、「公開されているソース」から収集された約 15 兆トークンのテキストで事前学習されており、インストラクト モデルは「公開されているインストラクト データセットと 1,000 万を超える人間が注釈を付けた例」でファインチューニングされています。Meta AI のテストでは、2024 年 4 月に、Llama 3 70B がほとんどのベンチマークでGemini Pro 1.5 とClaude 3 Sonnet を上回っていることが示されました。Meta はまた、Llama 3 を多言語およびマルチモーダルにし、コーディングと推論を改善し、コンテキスト ウィンドウを拡大する計画を発表しました。 [ 33 ] [ 34 ]
スケーリング法則に関して、Llama 3 モデルは、モデルが「チンチラ最適」量を超えるデータでトレーニングされた場合、パフォーマンスが対数線形にスケーリングし続けることを経験的に示しました。たとえば、Llama 3 8B のチンチラ最適データセットは 2000 億トークンですが、パフォーマンスは 75 倍の 15 兆トークンのデータセットまで対数線形にスケーリングし続けました。[ 35 ]
ドワーケシュ・パテルとのインタビューで、マーク・ザッカーバーグは、Llama 3の8Bバージョンは最大のLlama 2とほぼ同等のパワーを持っていると述べた。以前のモデルと比較して、ザッカーバーグは、70Bモデルが15Tトークンのトレーニングの終了時でもまだ学習していたことにチームは驚いたと述べた。GPUパワーを他の場所に集中させるためにトレーニングを終了する決定がなされた。[ 36 ]
Llama 3.1は2024年7月23日にリリースされ、8B、70B、405Bの3つのサイズパラメータが用意されました。[ 37 ] [ 38 ]
A representation of Meta AI and LlamaLlama 4 シリーズは 2025 年にリリースされました。アーキテクチャはエキスパートの混合に変更され、入力トークンごとにモデルのエキスパートサブネットワークのごく一部のみがアクティブ化されます。マルチモーダル (テキストと画像の入力、テキストの出力) および多言語 (12 言語) です。[ 39 ]具体的には、2025 年 4 月 5 日に、基本バージョンと命令調整バージョンの両方として以下がリリースされました。[ 40 ]
Behemothモデルも発表されましたが、リリースされませんでした。Meta社は、Behemothモデルは2880億個のアクティブパラメータを持ち、16人の専門家と合計約2兆個のパラメータを持つモデルだと主張していました。ScoutとMaverickがリリースされた時点では、Behemothモデルはまだトレーニング中でした。MaverickはBehemothから共同で抽出されたもので、Scoutはゼロからトレーニングされました。
トレーニングデータには、公開データ、ライセンスデータ、およびInstagramやFacebookで公開共有された投稿やMeta AIとの人々のやり取りなどのメタ独自データが含まれていました。知識のカットオフは2024年8月でした。[ 39 ]
Metaは発表の中で、Llama 4がLMArena AIベンチマークでGPT-4oのスコアを上回ったと主張した。 [ 41 ]また、同社は、Llama 4のベンチマークスコアは、一般に公開されたLlama 4のバージョンとは異なり、「会話性を最適化する」未公開の「実験的なチャットバージョン」モデルを使用して達成されたと述べた。[ 42 ] LMArenaは、この事件の再発を防ぐためにポリシーを変更すると表明し、「Metaによる当社のポリシーの解釈は、モデルプロバイダーに期待するものと一致しませんでした。Metaは、『Llama-4-Maverick-03-26-Experimental』が人間の好みを最適化するためにカスタマイズされたモデルであることをもっと明確にすべきでした」と回答した。[ 41 ]一部のユーザーは、ベンチマーク用に調整された別のモデルバージョンを使用しているとしてソーシャルメディアでMetaを批判し、さらに一部のユーザーは、ベンチマークスコアをさらに上げるためにテストセットでLlama 4をトレーニングしたとMetaを非難したが、Metaはこれを否定した。[ 43 ]
トレーニングコストの列には、デフォルトでは最大モデルのコストのみが表示されます。たとえば、「21,000」は、Llama 2 69B のトレーニングコストをペタフロップス日単位で表したものです。また、1ペタフロップス日 = 1ペタフロップス/秒 × 1日 = 8.64E19 FLOP です。「T」は「兆」、「B」は「十億」を意味します。
次の表は、Llama の主なモデル バージョンを一覧にし、各バージョンに含まれる重要な変更点を説明しています。[ 44 ]
マジックユニコーン社のドラゴンフィーダー職に応募する際に私が書いた推薦状は以下のとおりです。 採用担当者様、 私は___を2年間知っており、彼女はマジックユニコーン社にとって素晴らしいドラゴンフィーダーになると確信しています。___は大量の情報を記憶し処理する能力があり、これはドラゴンフィーダーにとって重要なスキルです。 熟練した騎士である___は、ドラゴンを倒す方法と、それぞれのドラゴンの弱点を利用する方法を深く理解しています。つまり、彼女はそれぞれのドラゴンが好む食べ物と、それぞれのドラゴンにとって危険な食べ物を知っているということです。この知識と経験は、彼女がドラゴンに餌を与える際に非常に貴重なものとなるでしょう。 私は、___の能力、スキル、経験が彼女を優れた従業員にするだろうと確信しています。ご質問がありましたら、(___) ___-___までご連絡ください。ご連絡をお待ちしております。 敬具、 名誉ある騎士 サー・ジョージ
GPT-3と同様に、Llamaシリーズのモデルは自己回帰型デコーダーのみのトランスフォーマーですが、いくつかの小さな違いがあります。
Llamaの開発者たちは、パラメータ数を増やすのではなく、訓練データの量を増やすことでモデルのパフォーマンスを向上させることに注力した。これは、LLM（Llama Llama Model）における主なコストは、訓練プロセスの計算コストではなく、訓練済みモデルに対する推論を行うことにあると考えたためである。
Llama 1 の基礎モデルは、公開されているデータソースから抽出された 1.4 兆トークンのデータセットでトレーニングされました。これには以下が含まれます: [ 17 ]
2023年4月、Together AIは、当初約1.2兆トークンを含むLlamaデータセットのオープンソース版を再現および配布するRedPajamaというプロジェクトを開始しました。 [ 57 ]
Llama 2 の基礎モデルは、2 兆トークンのデータセットでトレーニングされました。このデータセットは、個人のデータを頻繁に公開する Web サイトを除外するようにキュレーションされています。また、信頼できると考えられるソースをアップサンプリングしています。[ 28 ] Llama 2 - Chat は、このプロジェクト用に作成された 27,540 組のプロンプトと応答のペアでさらにファインチューニングされ、より大規模だが品質の低いサードパーティのデータセットよりも優れたパフォーマンスを発揮しました。AI アライメントには、1,418,091 個の Meta 例と 7 つの小規模なデータセットの組み合わせで、人間のフィードバックによる強化学習 (RLHF) が使用されました。平均対話深度は、Meta 例では 3.9、Anthropic Helpful セットと Anthropic Harmless セットでは 3.0、OpenAI Summarize、StackExchange などを含む他の 5 つのセットでは 1.0 でした。
Llama 3 は主に英語のデータで構成されており、5% を超える部分は 30 以上の他の言語です。そのデータセットはテキスト品質分類器によってフィルタリングされ、分類器は Llama 2 によって合成されたテキストでトレーニングされました。[ 35 ]
リチャード・カドリー、サラ・シルバーマン、タ＝ネヒシ・コーツなどの著者がメタ・プラットフォームズに対して起こした訴訟では、CEOのマーク・ザッカーバーグが、Llama AIモデルのトレーニングにLibrary Genesisの著作権で保護されたコンテンツの使用を許可し、データから著作権マーカーを削除することでその行為を隠蔽したとされている。[ 58 ]
Llama 1 モデルは、自己教師あり学習による基礎モデルとしてのみ利用可能で、ファインチューニングは行われていません。Llama 2 – Chat モデルは、基礎となる Llama 2 モデルから派生したものです。ファインチューニング中にコンテキスト長を長くしたGPT-4とは異なり、Llama 2 と Code Llama - Chat は、同じ 4K トークンのコンテキスト長を持っています。教師ありファインチューニングでは、ユーザープロンプトのトークン損失をゼロにした自己回帰損失関数を使用しました。バッチサイズは 64 でした。
AIアライメントでは、人間のアノテーターがプロンプトを作成し、2つのモデル出力（バイナリプロトコル）を比較して、信頼度レベルと拒否権付きの個別の安全ラベルを付与しました。人間のフィードバックからの強化学習（RLHF）を使用して、安全性と有用性に関するこれらの選好から2つの個別の報酬モデルがトレーニングされました。主要な技術的貢献は、RLHFに近接ポリシー最適化（PPO）のみを使用するという従来の方法から脱却し、拒否サンプリングに基づく新しい手法を使用し、その後PPOを使用したことです。
対話における複数ターンの一貫性を改善することを目標とし、「システムメッセージ」（「フランス語で話す」「ナポレオンのように振る舞う」といった初期指示）が対話中に確実に尊重されるようにしました。これは、トレーニング中に新しい「ゴーストアテンション」技術を使用することで実現しました。この技術は、関連する指示を新しいユーザーメッセージごとに連結しますが、プロンプト（対話の前半部分）のトークンに対する損失関数をゼロにします。
スタンフォード大学人間中心人工知能研究所（HAI）基礎モデル研究センター（CRFM）は、Llama 7B モデルをベースとしたトレーニング レシピである Alpaca を公開しました。このレシピは、「Self-Instruct」メソッドを使用して、OpenAI GPT-3 シリーズの text-davinci-003 モデルに匹敵する機能を低コストで獲得できるようにしています。[ 59 ] [ 60 ] [ 61 ]モデル ファイルは、ホスティング コストとセキュリティ上の懸念から、2023 年 3 月 21 日に正式に削除されましたが、コードと論文は参照用にオンラインで残っています。[ 62 ] [ 63 ] [ 64 ]
Meditron は、臨床ガイドライン、 PubMed論文、記事のコーパスでファインチューニングされた Llama ベースのファミリーです。これは、ローザンヌ連邦工科大学コンピュータ通信科学部とイェール大学医学部の研究者によって作成されました。MedQA や MedMCQA などの医療関連のベンチマークでパフォーマンスが向上しています。[ 65 ] [ 66 ] [ 67 ]
ZoomはMeta Llama 2を使用して、会議の要約、プレゼンテーションに役立つヒントの提供、メッセージへの返信の支援ができるAIコンパニオンを作成しました。このAIコンパニオンは、Meta Llama 2を含む複数のモデルによって駆動されています。[ 68 ]
ロイター通信は2024年に、多くの中国の基礎モデルがトレーニングにラマモデルを利用しているという報道をした。[ 69 ]
多くのアプリが、日常的に使用する機能をアプリに統合するために、 Llamaの公開APIを使用しています。 [ 70 ]
ソフトウェア開発者のGeorgi Gerganovは、 2023年3月10日にllama.cppをオープンソースとして公開しました。これはC++でLlamaを再実装したもので、強力なGPUを持たないシステムでもローカルでモデルを実行できます。[ 71 ] llama.cppプロジェクトでは、テンソルとメタデータの両方を格納するバイナリ形式であるGGUFファイル形式が導入されました。[ 72 ]この形式は、さまざまな量子化タイプのサポートに重点を置いており、メモリ使用量を削減し、モデルの精度を犠牲にして速度を向上させることができます。[ 73 ]
Justine Tunneyによって作成された llamafile は、llama.cpp とモデルを単一の実行可能ファイルにバンドルするオープンソースツールです。Tunney らは、x86 および ARM CPU 用に最適化された新しい行列乗算カーネルを導入し、FP16および 8 ビット量子化データ型の即時評価性能を向上させました。[ 74 ]
ブーズ・アレン・ハミルトンは、スペース・ラマと呼ばれるプロジェクトの一環として、メタのラマ3.2モデルを国際宇宙ステーション（ISS）国立研究所に導入しました。このシステムは、ヒューレット・パッカード・エンタープライズのスペースボーン・コンピュータ2上で動作し、NVIDIA CUDAアクセラレーションコンピューティングを使用して、ブーズ・アレンのA2E2（エッジ環境向けAI）プラットフォームを活用しています。スペース・ラマは、宇宙のような接続が切断され制約のある環境で大規模な言語モデルがどのように動作するかを示しており、宇宙飛行士がインターネット接続がなくても自然言語クエリを使用して文書を取得および要約できるようにします。[ 75 ] [ 76 ]
2024年、中国人民解放軍軍事科学院（中国の最高軍事アカデミー）の研究者らがLlamaを使用して軍事ツールを開発したと報じられたが、Meta Platformsは、Llamaのライセンスが軍事目的でのモデルの使用を禁止しているため、これは無許可であると述べた。[ 77 ] [ 78 ] Metaは2024年11月に米国政府と米国の軍事請負業者にLlamaの使用を許可したが、米国以外の組織による軍事使用は引き続き禁止した。[ 30 ] [ 79 ]
Llamaの最初のバージョンは、非営利ライセンスの下で、個々のケースに応じて一部の研究者や団体にリリースされました。[ 6 ] [ 18 ]
Llama 2 のリリース以来、Meta は Llama をオープンソースとして提示してきましたが、これはOpen Source Initiative (OSI) や一部の学者、ジャーナリストから反対されています。OSI は、Llama のライセンスが、オープンソース ソフトウェア ライセンスが「個人またはグループ」や「活動分野」を差別することを禁止するポリシー文書The Open Source Definition (OSD)のいくつかの条項を満たしていないと述べ、Meta が Llama をオープンウォッシングしていると非難しました。OSI によると、Llama 2 のライセンスは、場合によってはソフトウェアの商用利用を妨げ、規制薬物や重要インフラなどの分野での使用を制限しており、Llama のライセンスの後のバージョンでは、欧州連合内の個人による使用も禁止されています。[ 80 ] [ 81 ] [ 82 ] OSI は2024 年 10 月にThe Open Source AI Definition (OSAID) を公開しました。これは、オープンソース AI はトレーニング データの詳細とともに公開される必要があると規定していますが、Meta は Llama についてはこれを公開していません。[ 83 ] Metaの広報担当者はThe Vergeに対し、同社はこの定義に同意しないと回答した。[ 84 ]フリーソフトウェア財団は2025年1月にLlama 3.1のライセンスを非フリーソフトウェアライセンスに分類し、その許容使用ポリシー、人気アプリケーションを持つユーザーに対する制限、ユーザーの管轄外の取引規制の執行を批判した。[ 85 ] [ 86 ]
Ars Technicaは、Llama 2に関する記事で、当初はMetaの「オープンソース」という用語の使用に倣ったが、後に記事を修正し、Llama 2のライセンスでは、1日のアクティブユーザー数が7億人を超える組織がLLMを使用することを禁止し、LLMの出力を他のLLMの改善に使用することも禁止していることを認識したため、Llamaを「ソースが利用可能」、「オープンライセンス」、「重みが利用可能」と表現した。[ 29 ] 2023年7月、ラドバウド大学の研究者は、20のLLMを比較し、Llama 2を2番目に低い「オープン性」ランキングとし、ChatGPTが最低ランクとなった。研究者の1人であるMark Dingemanseは、MetaがLlama 2に「オープンソース」という用語を使用していることを「明らかに誤解を招く」と批判し、「ソースは見当たらず、トレーニングデータは全く文書化されておらず、光沢のあるチャートの他に、技術文書は実際にはかなり貧弱である」と述べた。[ 87 ] CIO は2024 年 11 月に、Llama は許容使用ポリシーのためオープンソースではないと述べた。この 630 語の文書は「より広範なオープンソース運動と矛盾している」。[ 30 ]その月の後半、Nature の記事は、Llama 3 を「オープン」と表現することは「クローズドと理解する方が適切なシステムを『オープンウォッシング』している」ケースであると主張した。Llama 3 は「 APIまたは明らかに非オープンな使用制限の対象となるモデルをダウンロードする機能以上のものはほとんど提供していない」からである。[ 88 ]
Wired誌は、Llama 3の8Bパラメータ版について、そのサイズを考えると「驚くほど高性能」だと評している。 [ 89 ]
MetaがLlamaをFacebookに統合したことに対する反応は賛否両論で、Meta AIが親のグループに子供ができたと告げた後、一部のユーザーは混乱した。[ 90 ]
Llamaモデルの公開は、オープンウェイトモデルの利点と悪用リスクに関する重要な議論を引き起こしました。このようなモデルは、特にサイバー犯罪者によって、有害な要求に従うまで安全対策を削除するように微調整される可能性があります。一部の専門家は、将来のモデルは、専門知識なしで高度な生物兵器を比較的簡単に設計できるようにするなど、損害を防ぐよりも損害を与えることを容易にする可能性があると主張しています。逆に、オープンウェイトモデルは、安全性の研究を含むさまざまな目的に役立つ可能性があります。[ 91 ]
Open Source Initiativeの代表であるステファノ・マフッリは、MetaがLlamaをオープンソースと表現したことを批判し、それがユーザーの間で混乱を招き、その用語を「汚染」していると述べた。[ 92 ]
「Llamaマテリアル」とは、Meta社が所有するLlama 4およびドキュメント（ならびにその一部）を総称して、本契約に基づき提供されるものを意味します。
80億ドルは、リリースしたLlama 2の最大バージョンとほぼ同じくらい強力です[...] 最後まで、それは...まだ学習中です。おそらくもっとトークンを与えれば、多少は良くなったでしょうが、つまり、ある時点で、会社を経営しているということは、このようなメタ推論の質問をする必要があるということです[...]当社のGPUをどのように使用したいか
