ラマ（言語モデル）

ラマ

Wikipedia を説明するラマの回答例のスクリーンショット
開発者	メタAI
初回リリース	2023年2月24日; 21か月前 ( 2023-02-24 )
安定版リリース	ラマ 3.3 / 2024年12月7日; 9日前 ( 2024-12-07 )
リポジトリ	github.com/meta-llama/llama-models
書かれた	パイソン
タイプ	大規模言語モデル GPTS 基礎モデル
ライセンス	ソース利用可能（Meta Llama 3.2コミュニティライセンス）[1]
Webサイト	ラマ

Llama（Large Language Model Meta AI 、以前はLLaMAと表記）は、2023年2月からMeta AIによってリリースされた自己回帰 大規模言語モデル（LLM）のファミリーです。 ^{[2] [3]}最新バージョンは2024年12月にリリースされたLlama 3.3です。^[4]

Llamaの最初のバージョンのモデルの重みは、非商用ライセンスの下で研究コミュニティに提供され、アクセスはケースバイケースで許可されました。^{[5] [3]}モデルの無許可のコピーがBitTorrentを介して共有されました。これに対して、Meta AIはGitHubでリンクを共有しているリポジトリに対してDMCA削除要求を発行しました。^{[6] [7]} Llamaの後続のバージョンは学外でもアクセス可能になり、一部の商用利用を許可するライセンスの下でリリースされました。^{[8] [9]} Llamaモデルは、1Bから405Bまでのさまざまなパラメータサイズでトレーニングされています。^{[10]当初、Llamaは}基礎モデルとしてのみ利用可能でした。^[11] Llama 2以降、Meta AIは基礎モデルと並行して命令を微調整したバージョンのリリースを開始しました。^[9]

Llama 3のリリースと並行して、MetaはFacebookとWhatsAppに特定の地域での仮想アシスタント機能とスタンドアロンのウェブサイトを追加しました。どちらのサービスもLlama 3モデルを使用しています。 ^[12]

GPT-3のような大規模言語モデルのリリース後、研究の焦点はモデルのアップスケーリングに移り、いくつかの例では創発的機能の大幅な向上が見られました。^[13] ChatGPTのリリースとその驚くべき成功により、大規模言語モデルへの注目が高まりました。^[14]

ChatGPTに対する他の回答と比較して、Metaの主任AI科学者であるYann LeCun氏は、大規模な言語モデルが文章作成の支援に最適であると述べました。^{[15] [16] [17] [18]}

Llamaシリーズの実証的調査はスケーリング則でした。Llama 3モデルでは、モデルが「チンチラ最適」量を超えるデータでトレーニングされた場合、パフォーマンスは対数線形にスケーリングし続けることが観察されました。たとえば、Llama 3 8Bのチンチラ最適データセットは2000億トークンですが、パフォーマンスは75倍大きい15兆トークンのデータセットまで対数線形にスケーリングし続けました。^[19]

LLaMAは、2023年2月24日にブログ投稿と、モデルのトレーニング、アーキテクチャ、パフォーマンスを説明する論文を通じて発表されました。^{[2] [3]}モデルを実行するために使用される推論コードは、オープンソースのGPLv3ライセンスの下で公開されました。^[20]モデルの重みへのアクセスは申請プロセスによって管理されており、「学術研究者、政府、市民社会、学術界の組織に所属する人々、および世界中の産業研究機関にケースバイケースでアクセスが付与される」ことになっています。^[3]

Llama は公開されている情報のみを使用してトレーニングされ、さまざまなハードウェアでよりアクセスしやすいように、さまざまなモデル サイズでトレーニングされました。

Meta AIは、ほとんどのNLPベンチマークにおける13Bパラメータモデルのパフォーマンスが、はるかに大きいGPT-3 （175Bパラメータ）のパフォーマンスを上回り、最大の65BモデルはPaLMやChinchillaなどの最先端モデルと競争できると報告しました。^[2]

2023年3月3日、LLaMAの重みを含むトレントがアップロードされ、そのトレントへのリンクが4chanの画像掲示板で共有され、その後オンラインAIコミュニティを通じて広まった。^[6]同日、メインのLLaMAリポジトリにプルリクエストが開かれ、公式ドキュメントにマグネットリンクを追加するよう要求された。 ^{[21] [22]} 3月4日、モデルを含むHuggingFaceリポジトリへのリンクを追加するプルリクエストが開かれた。 ^{[23] [21]} 3月6日、MetaはプルリクエストでリンクされているHuggingFaceリポジトリを削除する削除要求を提出し、モデルの「無許可の配布」であると述べた。HuggingFaceは要求に応じた。^{[24] 3月20日、MetaはミラーからLLaMAをダウンロードするスクリプトを含むリポジトリに対して著作権侵害の}DMCA削除要求を提出し、GitHubは翌日それに応じた。^[7]

リークに対する反応は様々だった。モデルは、より洗練されたスパムなどの悪意のある目的で使用されるのではないかと推測する人もいた。モデルのアクセシビリティと、モデルの小型バージョンは比較的安価に実行できるという事実を称賛する人もおり、これがさらなる研究開発の繁栄を促進することを示唆している。^[6]サイモン・ウィリソンなどの複数の評論家は、LLaMAを、テキストから画像へのモデルであるStable Diffusionと比較した。Stable Diffusionは、それ以前の比較的洗練されたモデルとは異なり、公開配布されており、関連するツール、テクニック、ソフトウェアの急速な普及につながった。^{[6] [25]}

2023年7月18日、MetaはMicrosoftと提携し、次世代のLlamaであるLlama 2を発表しました。MetaはLlama 2を70億、130億、700億の3つのモデルサイズでトレーニングし、リリースしました。^[9]モデルアーキテクチャはLLaMA-1モデルとほとんど変わっていませんが、基礎モデルのトレーニングには40％多くのデータが使用されました。^[26]付随するプレプリント^[26]には、安全目標を満たした時点で将来リリースされる可能性のある340億のパラメータを持つモデルについても言及されています。

Llama 2には、基礎モデルとチャット用に微調整されたモデルが含まれています。Llamaのオリジナルバージョンからのさらなる逸脱として、すべてのモデルは重み付きでリリースされ、多くの商用ユースケースで使用できます。ただし、Llamaのライセンスでは、 Llamaを特定の目的に使用することを禁止する許容使用ポリシーが適用されているため、MetaがLlamaを説明するためにオープンソースという用語を使用することは、オープンソースイニシアチブ（オープンソースの定義を管理）などによって異議を唱えられています。 ^{[27] [28]}

Code Llamaは、コード固有のデータセットを使用してLlama 2を微調整したものです。7B、13B、34Bバージョンは2023年8月24日にリリースされ、70Bは2024年1月29日にリリースされました。^[29] Llama 2の基礎モデルから始めて、Meta AIは追加の5000億トークンのコードデータセットをトレーニングし、その後追加の200億トークンのロングコンテキストデータをトレーニングして、Code Llama基礎モデルを作成しました。この基礎モデルは、さらに50億の命令に続くトークンでトレーニングされ、命令の微調整が作成されました。Pythonコード用の別の基礎モデルが作成され、これはロングコンテキストデータの前に1000億トークンのPythonのみのコードでトレーニングされました。^[30]

2024年4月18日、Metaは8Bと70Bの2つのサイズでLlama-3をリリースしました。^[19]モデルは、「公開されているソース」から収集された約15兆トークンのテキストで事前トレーニングされており、指示モデルは「公開されている指示データセットと1000万を超える人間が注釈を付けた例」で微調整されています。Meta AIのテストでは、2024年4月にLlama 3 70BがほとんどのベンチマークでGemini pro 1.5とClaude 3 Sonnetに勝っていることが示されました。Metaはまた、Llama 3を多言語およびマルチモーダルにし、コーディングと推論を改善し、コンテキストウィンドウを増やす計画を発表しました。^{[31] [32]}

ドワルケシュ・パテルとのインタビューの中で、マーク・ザッカーバーグは、ラマ3の8Bバージョンは最大のラマ2とほぼ同等の性能であると述べた。以前のモデルと比較して、ザッカーバーグは、70Bモデルが15Tトークンのトレーニングの終わりでもまだ学習していることにチームが驚いたと述べた。GPUパワーを他のことに集中させるためにトレーニングを終了する決定が下された。^[33]

Llama-3.1は2024年7月23日にリリースされ、8B、70B、405Bの3つのサイズパラメータが用意された。^{[10] [34]}

トレーニング コストの列には、最も大きなモデルのコストのみが記載されます。したがって、たとえば「21,000」は、Llama 2 69B のトレーニング コストをペタフロップス日単位で表したものです。また、1 ペタフロップス日 = 1 ペタフロップス/秒 × 1 日 = 8.64E19 FLOP です。「T」は「兆」を意味し、「B」は「十億」を意味します。

GPT-3 と同様に、Llama シリーズのモデルはデコーダーのみのトランスフォーマーですが、いくつかの小さな違いがあります。

• GeLUの代わりにSwiGLU ^[43] 活性化関数を使用する。
• 絶対位置埋め込みの代わりに回転位置埋め込み（RoPE）^{[44]を使用する。}
• レイヤー正規化の代わりにRMSNorm ^{[45] [46]}

LLaMA の開発者は、LLM の主なコストはトレーニング プロセスの計算コストではなく、トレーニング済みモデルで推論を行うことから生じると考え、パラメータの数ではなくトレーニング データの量を増やすことでモデルのパフォーマンスを拡張することに注力しました。

LLaMA 1の基礎モデルは、公開されているデータソースから抽出された1.4兆トークンのデータセットでトレーニングされました。これには以下が含まれます。^[2]

• CommonCrawlによってスクレイピングされたウェブページ
• GitHubのソースコードのオープンソースリポジトリ
• 20 言語のウィキペディア
• プロジェクト・グーテンベルクのパブリックドメイン書籍
• Books3書籍データセット
• ArXivにアップロードされた科学論文のLaTeXソースコード
• Stack Exchangeウェブサイトからの質問と回答

2023年4月17日、TogetherAIはLLaMAデータセットのオープンソース版を再現・配布するためにRedPajamaというプロジェクトを立ち上げました。 ^[47]データセットには約1.2兆トークンが含まれており、ダウンロード可能です。^[48]

Llama 2の基礎モデルは、2兆トークンのデータセットでトレーニングされました。このデータセットは、人々の個人データを頻繁に開示するWebサイトを削除するようにキュレーションされています。また、信頼できると見なされるソースをアップサンプリングします。^[26] Llama 2-Chatは、このプロジェクト用に作成された27,540のプロンプト応答ペアでさらに微調整され、より大規模だが品質の低いサードパーティのデータセットよりも優れたパフォーマンスを発揮しました。AIアライメントには、1,418,091のメタ例と7つの小さなデータセットの組み合わせで、人間のフィードバックによる強化学習（RLHF）が使用されました。平均ダイアログ深度は、メタ例では3.9、Anthropic HelpfulセットとAnthropic Harmlessセットでは3.0、OpenAI Summarize、StackExchangeなどを含む他の5つのセットでは1.0でした。

Llama 3は主に英語のデータで構成されており、5%以上が30以上の他の言語で構成されています。データセットはテキスト品質分類器によってフィルタリングされ、分類器はLlama 2によって合成されたテキストによってトレーニングされました。^[19]

Llama 1 モデルは、自己教師あり学習と微調整なしの基礎モデルとしてのみ利用できます。Llama 2 - Chat モデルは、基礎 Llama 2 モデルから派生しました。微調整中にコンテキスト長が増加するGPT-4とは異なり、Llama 2 と Code Llama - Chat のコンテキスト長は 4K トークンで同じです。教師あり微調整では、ユーザープロンプトでのトークン損失をゼロにした自己回帰損失関数を使用しました。バッチサイズは 64 でした。

AI アライメントでは、人間のアノテーターがプロンプトを作成し、2 つのモデル出力を比較して (バイナリ プロトコル)、信頼レベルと拒否権付きの個別の安全性ラベルを付与しました。人間のフィードバックからの強化学習(RLHF) を使用して、安全性と有用性に関するこれらの設定から 2 つの個別の報酬モデルがトレーニングされました。主な技術的貢献は、 RLHF に近接ポリシー最適化(PPO) のみを使用するのではなく、拒否サンプリングに基づく新しい手法を使用し、その後に PPO を使用したことです。

ダイアログの複数ターンの一貫性は、ダイアログ中に「システム メッセージ」(「フランス語で話す」や「ナポレオンのように行動する」などの最初の指示) が尊重されるようにするために、改善の対象となりました。これは、トレーニング中に新しい「ゴースト アテンション」手法を使用して実現されました。この手法は、新しいユーザー メッセージごとに関連する指示を連結しますが、プロンプト (ダイアログの前半部分) のトークンの損失関数をゼロにします。

スタンフォード大学人間中心人工知能研究所（HAI）基礎モデル研究センター（CRFM）は、LLaMA 7Bモデルに基づくトレーニングレシピであるAlpacaをリリースしました。これは、「Self-Instruct」方式の命令チューニングを使用して、OpenAI GPT-3シリーズのtext-davinci-003モデルに匹敵する機能を手頃なコストで獲得します。^{[49] [50] [51]}モデルファイルは、ホスティングコストと安全性の懸念から2023年3月21日に正式に削除されましたが、コードと論文は参照用にオンラインに残っています。^{[52] [53] [54]}

Meditronは、臨床ガイドライン、 PubMedの論文、記事のコーパスに基づいて微調整されたLlamaベースのファミリーです。これは、ローザンヌ連邦工科大学コンピューター・コミュニケーション学部とイェール大学医学部の研究者によって作成されました。MedQAやMedMCQAなどの医療関連のベンチマークでパフォーマンスが向上しています。^{[55] [56] [57]}

ZoomはMeta Llama 2を使用して、会議の要約、役立つプレゼンテーションのヒントの提供、メッセージの返信の支援ができるAIコンパニオンを作成しました。このAIコンパニオンはMeta Llama 2を含む複数のモデルを搭載しています。^[58]

ロイター通信は2024年に、多くの中国の基礎モデルがトレーニングにラマモデルを利用している、と報じた。^[59]

ソフトウェア開発者のGeorgi Gerganovは、 2023年3月10日にllama.cppをオープンソースとしてリリースしました。これはLLaMAをC++で再実装したもので、強力なGPUを持たないシステムでもモデルをローカルで実行できます。^[60] llama.cppプロジェクトは、テンソルとメタデータの両方を格納するバイナリ形式であるGGUFファイル形式を導入しました。^[61]この形式は、さまざまな量子化タイプのサポートに重点を置いており、メモリ使用量を削減し、モデルの精度を犠牲にして速度を向上させることができます。^[62]

Justine Tunneyによって作成されたllamafileは、llama.cppとモデルを1つの実行ファイルにまとめたオープンソースツールです。Tunneyらは、x86およびARM CPU向けに最適化された新しい行列乗算カーネルを導入し、FP16および8ビット量子化データ型の迅速な評価パフォーマンスを向上させました。^[63]

2024年には、人民解放軍軍事科学院（中国の最高軍事アカデミー）の研究者がLlamaを使用した軍事ツールを開発したと報じられたが、Meta Platformsは、Llamaのライセンスではモデルの軍事目的での使用が禁止されているため、これは無許可であると述べた。^{[64] [65]} Metaは2024年11月に米国政府と米国の軍事請負業者にLlamaの使用許可を与えたが、米国以外の団体による軍事使用は引き続き禁止した。^{[28] [66]}

Wired誌は、 Llama 3の8Bパラメータバージョンは、そのサイズを考えると「驚くほど有能」であると評している。^[67]

MetaがLlamaをFacebookに統合したことに対する反応は賛否両論で、Meta AIが親グループに子供がいることを伝えたことで一部のユーザーが混乱した。^[68]

2023年第4四半期の業績報告によると、Metaはモデルの安全性、反復速度を向上させ、開発者や研究者の間での採用を増やし、業界標準となるためにオープンウェイト戦略を採用しました。将来的にはLlama 5、6、7が計画されています。^[69]

ラマモデルの公開は、オープンウェイトモデルの利点と悪用リスクに関する重要な議論を引き起こした。このようなモデルは、特にサイバー犯罪者が有害な要求に応じるまで、安全策を外すように微調整することができる。一部の専門家は、将来のモデルは、専門知識がなくても高度な生物兵器を比較的簡単に設計できるようにすることで、被害を防ぐよりも被害を引き起こすことを促進する可能性があると主張している。逆に、オープンウェイトモデルは、安全性研究を含むさまざまな目的に役立つ可能性がある。^[70]

オープンソース・イニシアティブの責任者であるステファノ・マフーリは、MetaがLlamaをオープンソースと表現していることを批判し、ユーザーの間で混乱を招き、用語を「汚染」していると述べた。^[71]

• GPT-4o
• IBM Granite は、IBMが開発したオープンソースのLLMです。
• フランスのオープンソースAI企業、ミストラルAI

• 公式サイト
• ラマ、ラマガード、プロンプトガードモデルの公式ハギングフェイス組織