大規模言語モデル

大規模言語モデル（LLM）は、言語生成やその他の自然言語処理タスクを実行できる計算モデルです。言語モデルとして、LLMは自己教師ありおよび半教師ありのトレーニングプロセス中に膨大な量のテキストから統計的関係を学習することでこれらの能力を獲得します。 ^[1]

2024年8月時点で最大かつ最も有能なLLMは、大規模なテキストデータの効率的な処理と生成を可能にする、デコーダーのみのトランスフォーマーベースのアーキテクチャで構築された人工ニューラルネットワーク^[update]です。最新のモデルは、特定のタスクに合わせて微調整することも、プロンプトエンジニアリングによって誘導することもできます。^[2]これらのモデルは、人間の言語コーパスに固有の構文、意味、オントロジー^{[3]に関する}予測力を獲得しますが、トレーニングに使用したデータに存在する不正確さやバイアスも継承します。 ^[4]

注目すべき LLM としては、OpenAIのGPTシリーズのモデル (例: GPT-3.5、GPT-4、GPT-4o。ChatGPTおよびMicrosoft Copilotで使用)、GoogleのGemini (同名のチャットボットで使用)、MetaのLLaMAファミリのモデル、Watsonxとともに最初にリリースされたIBMのGraniteモデル、AnthropicのClaudeモデル、およびMistral AIのモデルがあります。

2017年以前には、当時利用可能な容量に比べて大規模な言語モデルがいくつかありました。1990年代には、IBMのアラインメントモデルが統計的言語モデリングの先駆者となりました。2001年に3億語でトレーニングされた平滑化nグラムモデルは、当時のSOTA（最先端）のパープレキシティを達成しました。^[5] 2000年代にインターネットの使用が普及するにつれて、一部の研究者はインターネット規模の言語データセット（「コーパスとしてのウェブ」^[6]）を構築し、それに基づいて統計的言語モデルをトレーニングしました。^{[7] [8]} 2009年には、ほとんどの言語処理タスクで、統計的言語モデルが記号言語モデルよりも優位に立っていました。これは、統計的言語モデルが大規模なデータセットを効果的に取り込むことができるためです。^[9]

2012 年頃にニューラル ネットワークが画像処理で主流になった後、言語モデルにも適用されるようになりました。Google は 2016 年に翻訳サービスをニューラル機械翻訳に切り替えました。Transformers 以前と同様に、これは seq2seq ディープ LSTM ネットワークによって実行されました。

2017年のNeurIPSカンファレンスで、Googleの研究者は画期的な論文「Attention Is All You Need」でトランスフォーマーアーキテクチャを紹介しました。この論文の目標は2014年のSeq2seq技術を改良することでした^[10]。主に2014年にBahdanauらが開発したアテンションメカニズムに基づいていました。 ^[11]翌年の2018年にBERTが導入され、すぐに「ユビキタス」になりました。^[12]元のトランスフォーマーにはエンコーダーブロックとデコーダーブロックの両方がありましたが、BERTはエンコーダーのみのモデルです。

デコーダーのみのGPT-1は2018年に導入されましたが、OpenAIは当初、悪意のある使用を恐れて、公開するには強力すぎると判断したため、2019年のGPT-2が広く注目を集めました。 ^{[13] 2020年の}GPT-3はさらに一歩進んで、2024年現在ではAPI経由でのみ利用可能であり、モデルをダウンロードしてローカルで実行する機能は提供されていません。しかし、一般の人々の想像力をかき立て、メディアの誇大宣伝やオンラインでの話題を引き起こしたのは、 2022年の消費者向けブラウザベースのChatGPTでした。 ^[14] 2023年のGPT-4は、精度の向上とマルチモーダル機能の「聖杯」として賞賛されました。^[15] OpenAIは、 GPT-4の 高レベルアーキテクチャとパラメータの数を明らかにしませんでした。 ^[update]

競合する言語モデルのほとんどは、少なくともパラメータの数に関してはGPTシリーズに匹敵することを目指してきました。^[16]

2022年以降、ソースコードが利用可能なモデルの人気が高まっており、特に最初はBLOOMとLLaMAが人気を集めましたが、どちらも使用分野に制限があります。Mistral AIのモデルMistral 7BとMixtral 8x7bは、より許容度の高いApacheライセンスを持っています。2024年6月現在^[update]、Llama 3 700億パラメータモデルの微調整されたバリアントは、LMSYS Chatbot Arenaリーダーボードによると最も強力なオープンLLMであり、GPT-3.5よりも強力ですが、GPT-4ほど強力ではありません。^[17]

2024年現在、最大かつ最も高性能なモデルはすべてTransformerアーキテクチャに基づいています。最近の実装には、リカレントニューラルネットワークのバリアントやMamba（状態空間モデル）など、他のアーキテクチャに基づいたものもあります。 ^{[18] [19] [20]}

機械学習アルゴリズムはテキストではなく数字を処理するため、テキストを数字に変換する必要があります。最初のステップでは、語彙が決定され、次に各語彙エントリに整数インデックスが任意かつ一意に割り当てられ、最後に、整数インデックスに埋め込みが関連付けられます。アルゴリズムには、バイトペアエンコーディング(BPE) とWordPieceが含まれます。また、マスクされたトークン ( BERTで使用される) や語彙に表示されない文字 (「不明」)などの制御文字として機能する特別なトークンもあります。また、特別なテキスト書式を示すために、いくつかの特別な記号が使用されます。たとえば、「Ġ」は RoBERTa と GPT で先行する空白を表します。「##」は BERT で先行する単語の継続を表します。^[21][MASK][UNK]

例えば、GPT-3（レガシー）で使用されるBPEトークナイザーはtokenizer: texts -> series of numerical "tokens"次のように 分割します。

トークン化はデータセットの圧縮にも役立ちます。LLMでは一般的に入力がギザギザでない配列であることが求められるため、短いテキストは最長のテキストの長さと一致するまで「パディング」する必要があります。平均して単語あたりに必要なトークンの数はデータセットの言語によって異なります。^{[22] [23]}

例として、バイトペアエンコーディングに基づくトークナイザーを考えてみましょう。最初のステップでは、すべての一意の文字（空白や句読点を含む）が、 nグラムの初期セット（つまり、ユニグラムの初期セット）として扱われます。次に、最も頻繁に出現する隣接する文字のペアがバイグラムにマージされ、そのペアのすべてのインスタンスがそれに置き換えられます。次に、最も頻繁に一緒に出現する（以前にマージされた）nグラムの隣接するペアのすべての出現が、さらに長いnグラムに再びマージされ、規定のサイズの語彙が得られます（ GPT-3の場合、サイズは50257です）。^[24]トークナイザーがトレーニングされた後は、ユニグラムの初期セットに出現しない文字が含まれていない限り、任意のテキストをトークナイザーでトークン化できます。^[25]

主に英語のコーパスから抽出された頻度に基づくトークン語彙は、平均的な英語の単語に対して可能な限り少ないトークンを使用します。しかし、このような英語に最適化されたトークナイザーによってエンコードされた他の言語の平均的な単語は、最適ではない量のトークンに分割されます。GPT-2トークナイザーは、ミャンマーのシャン語など、一部の言語では単語あたり最大15倍のトークンを使用できます。ポルトガル語やドイツ語などのさらに普及している言語では、英語と比較して「50％のプレミアム」があります。^[26]

貪欲なトークン化はテキスト補完においても微妙な問題を引き起こす。^[27]

LLMのトレーニングの文脈では、データセットは通常、データセットから有害な部分を削除し、低品質のデータを破棄し、重複を排除することによってクリーニングされます。^[28]クリーニングされたデータセットはトレーニング効率を高め、下流のパフォーマンスを向上させることができます。^{[29] [30]}トレーニングされたLLMは、さらなるLLMをトレーニングするためのデータセットをクリーニングするために使用できます。^[31]

ウェブ上でLLM生成コンテンツの割合が増加するにつれて、将来的にはデータクリーニングにそのようなコンテンツのフィルタリングが含まれるようになるかもしれません。LLM生成コンテンツは、そのコンテンツが人間のテキストに似ている（フィルタリングが困難）が、品質が低い（そのコンテンツでトレーニングされたモデルのパフォーマンスが低下する）場合、問題を引き起こす可能性があります。^[32]

最大の言語モデルのトレーニングには、自然に利用できるものより多くの言語データが必要になる場合や、自然に発生するデータの品質が不十分な場合があります。このような場合は、合成データが使用される場合があります。MicrosoftのPhiシリーズのLLMは、別のLLMによって生成された教科書のようなデータでトレーニングされています。^[33]

近似政策最適化などのアルゴリズムによる人間からのフィードバックによる強化学習（RLHF）は、人間の嗜好のデータセットに基づいてモデルをさらに微調整するために使用されます。^[34]

「自己指導」アプローチを使用することで、法学修士課程の学生は、いくつかのケースで人間が生成した修正から始めて、素朴な回答を置き換えて正しい回答をブートストラップできるようになりました。たとえば、「ハムレットに表現されている主要なテーマについてエッセイを書きなさい」という指示では、コーパス内のこのテキストシーケンスの頻度に基づいて、最初の素朴な補完は「3月17日以降にエッセイを提出すると、遅れた日ごとに成績が10％減ります」になる可能性があります。^[35]

最大のLLMは、直接訓練して使用するにはコストが高すぎる可能性があります。そのようなモデルには、専門家の混合（MoE）を適用できます。これは、2017年以来Googleの研究者が最大1兆のパラメータに達するモデルを訓練するために取り組んでいる研究です。^{[36] [37] [38]}

これまでは（コストのかかる）微調整によってのみ達成可能であった結果のほとんどは、単一の会話の範囲（より正確には、コンテキストウィンドウの範囲）に限定されるものの、プロンプトエンジニアリングによって達成できるようになった。^[39]

コンテキストウィンドウの範囲内でどのトークンが互いに関連しているかを調べるために、アテンションメカニズムは、各トークンの「ソフト」ウェイト、より正確には埋め込みの「ソフト」ウェイトを計算します。複数のアテンションヘッドを使用し、各アテンションヘッドには独自の「関連性」があり、独自のソフトウェイトを計算します。たとえば、小規模（つまり、117Mパラメータサイズ）のGPT-2モデルには、12個のアテンションヘッドとわずか1kトークンのコンテキストウィンドウがありました。^[41]中規模バージョンでは、345Mパラメータがあり、24のレイヤーがあり、各レイヤーには12個のアテンションヘッドがあります。勾配降下法によるトレーニングでは、バッチサイズ512が使用されました。^[25]

2024年2月に発表されたGoogleのGemini 1.5などの最大のモデルでは、最大100万のコンテキストウィンドウを持つことができます（1000万のコンテキストウィンドウも「正常にテストされました」）。^[42]コンテキストウィンドウが大きい他のモデルには、最大20万トークンのコンテキストウィンドウを持つAnthropicのClaude 2.1があります。^[43]この最大値は入力トークンの数を指し、出力トークンの最大数は入力とは異なり、多くの場合それよりも小さいことに注意してください。たとえば、GPT-4 Turboモデルの最大出力は4096トークンです。^[44]

モデルが次の回答を生成する際に考慮できる会話の長さも、コンテキスト ウィンドウのサイズによって制限されます。たとえばChatGPTを使用した場合、会話の長さがコンテキスト ウィンドウよりも長い場合は、次の回答を生成する際にコンテキスト ウィンドウ内の部分のみが考慮されるか、モデルは会話の離れすぎた部分を要約するアルゴリズムを適用する必要があります。

コンテキスト ウィンドウを大きくすると、計算コストが高くなり、ローカル コンテキストへの焦点が薄れる可能性があります。一方、コンテキスト ウィンドウを小さくすると、モデルが重要な長距離依存関係を見逃す可能性があります。これらのバランスを取ることは、実験とドメイン固有の考慮事項の問題です。

モデルは、訓練データセットからセグメントを与えられたときに、セグメントがどのように続くか、またはセグメントに何が欠けているかを予測するように事前訓練されることがある。[ ^45]

• 自己回帰（つまり、 GPTのようにセグメントがどのように続くかを予測する）: たとえば、「私は食べるのが好きです」というセグメントが与えられた場合、モデルは「アイスクリーム」または「寿司」を予測します。
• 「マスク」（つまり、「BERT」 ^[46]が行うように、セグメントから欠落している部分を埋める）を行う。たとえば、「I like to [__] [__]cream」というセグメントが与えられた場合、モデルは「eat」と「ice」が欠落していると予測する。

モデルは、次文予測（NSP）などのデータ分布の理解をテストする補助タスクでトレーニングされることがあります。次文予測では、文のペアが提示され、モデルはそれらがトレーニングコーパスで連続して出現するかどうかを予測する必要があります。^[46]トレーニング中は、トレーニングを安定化するために正則化損失も使用されます。ただし、正則化損失は通常、テストと評価中には使用されません。

最大規模のモデルを訓練するには、相当規模のインフラが必要である。^{[47] [48] [49]}

ソフトウェアとハ​​ードウェアの進歩により、2020年以降コストは大幅に削減され、2023年には120億パラメータのLLMのトレーニングの計算コストは​​A100-GPUで72,300時間になりましたが、2020年には15億パラメータのLLMのトレーニングコスト（2020年の最先端技術よりも2桁小さい）は8万ドルから160万ドルの間でした。^{[50] [51] [52]} 2020年以降、ますます大規模なモデルに多額の投資が行われました。例えば、2019年のGPT-2（15億パラメータモデル）のトレーニングには5万ドルかかりましたが、2022年のPaLM（5400億パラメータモデル）のトレーニングには800万ドル、Megatron-Turing NLG 530B（2021年）のトレーニングには約1100万ドルかかりました。^[53]

TransformerベースのLLMでは、トレーニングコストは推論コストよりもはるかに高くなります。1つのトークンでトレーニングするにはパラメータごとに6 FLOPsかかりますが、1つのトークンで推論するにはパラメータごとに1～2 FLOPsかかります。^[54]

原理的には、少なくとも外部ツールや追加のソフトウェアを使用しない限り、どの LLM でも解決できないタスクがいくつかあります。そのようなタスクの例としては、LLM がトレーニング コーパスでこの計算の続きに遭遇していない限り、ユーザーの入力「354 * 139 =」に応答することが挙げられます。^{[疑わしい–議論する]}このような場合、LLM は結果を計算するプログラム コードを実行する必要があり、その結果を応答に含めることができます。^{[疑わしい–議論する]} : もう 1 つの例は、「今何時ですか? 」です。この場合、別のプログラム インタープリターがコンピューターのシステム時間を取得するコードを実行する必要があり、LLM はそれを応答に含めることができます。^{[55] [56]}この基本戦略は、生成されたプログラムを複数回試行したり、他のサンプリング戦略を使用したりするなど、洗練されたものにすることができます。^[57]

一般的に、LLM にツールを使用させるには、ツールの使用に合わせて微調整する必要があります。ツールの数が有限であれば、微調整は 1 回だけで済みます。オンラインAPIサービスのようにツールの数が任意に増える場合は、LLM を微調整して API ドキュメントを読み取り、API を正しく呼び出すことができます。^{[58] [59]}

より単純なツールの使用法は、検索拡張生成、つまりLLMに文書検索を拡張したものである。クエリが与えられると、文書検索器が呼び出され、最も関連性の高い文書が検索される。これは通常、クエリと文書をベクトルにエンコードし、クエリのベクトルに最も類似するベクトル（通常はベクトルデータベースに格納されている）を持つ文書を見つけることによって行われる。次に、LLMは、検索された文書に含まれるクエリとコンテキストの両方に基づいて出力を生成する。^[60]

LLMは言語モデルであり、目標を持たないエージェントではないが、インテリジェントエージェントのコンポーネントとして使用することができる。^[61]研究者は、このような統合のためのいくつかの方法を説明している。^[要出典]

ReAct パターンは、「Reason + Act」の造語で、 LLM をプランナーとして使用して、LLM からエージェントを構築します。LLM は「声に出して考える」ように促されます。具体的には、言語モデルは、環境のテキスト記述、目標、可能なアクションのリスト、およびこれまでのアクションと観察の記録によって促されます。言語モデルは、アクションを生成する前に 1 つ以上の思考を生成し、そのアクションは環境内で実行されます。^[62] LLM プランナーに与えられる環境の言語記述は、環境を説明する論文の LaTeX コードであってもかまいません。^[63]

DEPS（「記述、説明、計画、選択」）法では、LLMはまず画像の説明を介して視覚世界に接続され、次に事前に訓練された知識と受け取った環境フィードバックに基づいて複雑なタスクと行動の計画を作成するように促されます。^[64]

リフレクション法^[65]は、複数のエピソードを通じて学習するエージェントを構築します。各エピソードの最後に、LLM にエピソードの記録が与えられ、次のエピソードでより良いパフォーマンスを発揮するのに役立つ「学んだ教訓」を考えるように促されます。これらの「学んだ教訓」は、次のエピソードでエージェントに与えられます。^{[引用が必要]}

モンテカルロ木探索では、LLMをロールアウトヒューリスティックとして使用することができます。プログラムによる世界モデルが利用できない場合は、LLMに環境の説明を要求して世界モデルとして機能することもできます。^[66]

オープンエンドの探索では、LLMを使用して観察の「興味深さ」をスコアリングし、通常の（LLMではない）強化学習エージェントを誘導するための報酬信号として使用できます。^[67]または、カリキュラム学習のためにますます難しいタスクを提案することもできます。^[68]個々のアクションを出力する代わりに、LLMプランナーは「スキル」、つまり複雑なアクションシーケンスの機能を構築することもできます。スキルは保存して後で呼び出すことができるため、計画の抽象度を高めることができます。^[68]

LLMを搭載したエージェントは、以前のコンテキストの長期記憶を保持することができ、その記憶は検索拡張生成と同じ方法で取得することができます。このようなエージェントは複数存在し、社会的に相互作用することができます。^[69]

通常、LLMは単精度または半精度の浮動小数点数（float32およびfloat16）でトレーニングされます。1つのfloat16は16ビット、つまり2バイトなので、10億のパラメータには2ギガバイトが必要です。最大のモデルは通常1000億のパラメータを持ち、ロードには200ギガバイトが必要で、ほとんどの民生用電子機器の範囲を超えています。^[70]

トレーニング後の量子化^[71]は、トレーニング済みモデルのパラメータの精度を下げることで、そのパフォーマンスの大部分を維持しながら、必要なスペースを減らすことを目的としています。^{[72] [73]}最も単純な形式の量子化は、すべての数値を指定されたビット数に切り捨てるだけです。レイヤーごとに異なる量子化コードブックを使用することで改善できます。さらに改善するには、異なるパラメータに異なる精度を適用し、特に重要なパラメータ（「外れ値の重み」）の精度を高めます。^[74]視覚的なガイドについては、 ^[75]を参照してください。

量子化モデルは通常は固定されており、事前量子化モデルのみが微調整されますが、量子化モデルも微調整が可能です。^[76]

マルチモダリティとは「複数のモダリティを持つこと」を意味し、「モダリティ」とはビデオ、画像、音声、テキスト、固有受容感覚などの入力または出力の種類を指します。^[77]あるモダリティを取り込んで別のモダリティを出力するように特別にトレーニングされたAIモデルは数多くあり、例えば、画像からラベルを生成するAlexNet 、 ^[78]、 画像とテキストをテキストに変換する視覚的質問応答、 ^[79]、音声をテキストに変換する音声認識などがあります。

LLM からマルチモーダル モデルを作成する一般的な方法は、トレーニング済みのエンコーダの出力を「トークン化」することです。具体的には、次のようにして画像を理解できる LLM を構築できます。トレーニング済みの LLM とトレーニング済みの画像エンコーダを用意します。小さな多層パーセプトロンを作成し、任意の画像に対して、後処理されたベクトルがエンコードされたトークンと同じ次元を持つようにします。これが「画像トークン」です。次に、テキスト トークンと画像トークンをインターリーブできます。複合モデルは、画像テキスト データセットで微調整されます。この基本構成をより洗練された方法で適用して、モデルを改善できます。画像エンコーダは、安定性を向上させるために凍結される場合があります。^[80]${\displaystyle E}$${\displaystyle f}$${\displaystyle y}$${\displaystyle f(E(y))}$

Flamingoはトークン化法の有効性を実証し、事前学習済みの言語モデルと画像エンコーダーのペアを微調整して、ゼロから学習したモデルよりも視覚的な質問応答で優れたパフォーマンスを発揮しました。^[81] Google PaLMモデルは、トークン化法を使用してマルチモーダルモデルPaLM-Eに微調整され、ロボット制御に適用されました。^[82] LLaMAモデルもトークン化法を使用してマルチモーダル化され、画像入力、 ^[83]およびビデオ入力が可能になりました。^[84]

GPT-4はテキストと画像の両方を入力として使用できます^[85]（ただし、ビジョンコンポーネントはGPT-4Vまで一般に公開されていませんでした^[86]）。Google DeepMindのGeminiもマルチモーダルです。^[87] ミストラルは2024年9月に独自のマルチモデルPixtral 12Bモデルを導入しました。^[88]

LLM を特徴付けるハイパーパラメータは次の 4 つです。

• （事前）トレーニングの費用（）、${\displaystyle C}$
• 人工ニューラルネットワーク自体のサイズ、例えばパラメータの数（つまり、層内のニューロンの数、それらの間の重みとバイアスの量）、${\displaystyle N}$
• （事前）トレーニングデータセットのサイズ（つまり、コーパス内のトークンの数）、${\displaystyle D}$
• （事前）トレーニング後のパフォーマンス。

これらは「スケーリング則」と呼ばれる単純な統計法則によって関連している。対数対数学習率スケジュールで1エポック自己回帰訓練されたLLMの特定のスケーリング則（「チンチラスケーリング」）は次のように述べている：^[89]ここで変数は $${\displaystyle {\begin{cases}C=C_{0}ND\\[6pt]L={\frac {A}{N^{\alpha }}}+{\frac {B}{D^{\beta }}}+L_{0}\end{cases}}}$$

• ${\displaystyle C}$モデルのトレーニングにかかる​​コスト（FLOP単位）です。
• ${\displaystyle N}$モデル内のパラメータの数です。
• ${\displaystyle D}$トレーニング セット内のトークンの数です。
• ${\displaystyle L}$は、テストデータセットでトレーニングされた LLM によって達成されたトークンあたりの平均負の対数尤度損失 ( nats /トークン ) です。

そして統計的ハイパーパラメータは

• ${\displaystyle C_{0}=6}$つまり、1つのトークンで訓練するにはパラメータごとに6 FLOPsのコストがかかる。訓練コストは推論コストよりもはるかに高いことに注意する必要がある。推論コストでは、1つのトークンで推論するにはパラメータごとに1～2 FLOPsのコストがかかる。^[54]
• ${\displaystyle \alpha =0.34,\beta =0.28,A=406.4,B=410.7,L_{0}=1.69}$

さまざまなタスクにおける大型モデルの性能を対数対数スケールでプロットすると、小型モデルで達成された性能の線形外挿として現れる。しかし、この線形性は、スケーリング則の「ブレーク」^[90]によって中断される可能性があり、そこでは直線の傾きが急激に変化し、大型モデルが「創発的能力」を獲得する。^{[39] [91]}これらは、モデルの構成要素の複雑な相互作用から生じるものであり、明示的にプログラムまたは設計されたものではない。^[92]

創発的能力の中で最も興味深いのは、例のデモンストレーションからの文脈内学習です。^[93]文脈内学習は、次のようなタスクに関係しています。

• 算数の報告、国際音声記号の解読、単語の文字の並び替え、文脈における単語の曖昧さの解消、^{[39] [94] [95]}空間語の変換、方位の決定（例えば、[0, 0, 1; 0, 0, 0; 0, 0, 0] に対して「北東」と答える）、テキストで表現された色彩用語。^[96]
• 思考連鎖プロンプト：モデルの出力は、モデルサイズが62Bを超える場合にのみ、思考連鎖プロンプトによって改善されます。思考連鎖なしで即座に回答するようにプロンプ​​トが出されたとき、モデルが小さいほどパフォーマンスが向上します。^[97]
• ヒングリッシュ（ヒンディー語と英語の混合）の段落内の不快な内容を特定し、スワヒリ語のことわざに相当する英語を生成する。^[98]

シェーファーらは、創発的能力は予測不可能に獲得されるのではなく、滑らかなスケーリング則に従って予測可能に獲得されると主張している。著者らは、多肢選択問題を解く法則のおもちゃの統計モデルを検討し、他の種類のタスクを考慮して修正されたこの統計モデルがこれらのタスクにも当てはまることを示した。^[99]

をパラメータ数、をモデルのパフォーマンスとします 。${\displaystyle x}$${\displaystyle y}$

大規模言語モデル自体は「ブラックボックス」であり、言語タスクをどのように実行できるかは明らかではありません。LLM がどのように機能するかを理解するための方法はいくつかあります。

機械的解釈可能性は、LLM によって実行される推論を近似する記号アルゴリズムを発見することによって、LLM をリバースエンジニアリングすることを目的としています。1 つの例は Othello-GPT で、ここでは小さな Transformer がオセロの合法的な動きを予測するようにトレーニングされます。オセロのボードの線形表現があり、表現を変更すると予測されるオセロの合法的な動きが正しく変更されることがわかりました。^{[100] [101]}別の例では、小さな Transformer がKarel プログラムでトレーニングされます。Othello-GPT の例と同様に、Karel プログラムの意味の線形表現があり、表現を変更すると出力が正しく変更されます。モデルはまた、平均してトレーニング セット内のプログラムよりも短い正しいプログラムを生成します。^[102]

別の例では、著者らはモジュラー算術加算について小型の変換器を訓練した。得られたモデルをリバースエンジニアリングしたところ、離散フーリエ変換が使用されていることが判明した。^[103]

2022年の調査で、NLP研究者は、（調整されていない）LLMが「（いつか）自然言語を何らかの重要な意味で理解できる」かどうかを尋ねられたとき、意見が2つに分かれた。 ^[104]「LLM理解」の支持者は、数学的推論などの一部のLLM能力は、特定の概念を「理解する」能力を意味すると考えている。マイクロソフトのチームは2023年に、GPT-4は「数学、コーディング、視覚、医学、法律、心理学などにまたがる斬新で困難な課題を解決できる」、そしてGPT-4は「人工汎用知能システムの初期（まだ不完全な）バージョンと見なすことができる」と主張した。「ソフトウェアエンジニアリングの候補者の試験に合格するシステムは、実際にはインテリジェントではないと合理的に言えるだろうか？」^{[105] [106]}一部の研究者は、LLMを「エイリアンインテリジェンス」と特徴づけている。^{[107] [108]}例えば、コンジェクチャーのCEOであるコナー・リーヒは、調整されていないLLMを不可解なエイリアン「ショゴス」のようなものだと考えており、RLHFの調整によってLLMの内部構造を不明瞭にする「笑顔の仮面」が作られると考えている。「あまり押し込まなければ、笑顔は消えません。しかし、予期せぬきっかけを与えると、突然、狂気の巨大な裏側、奇妙な思考プロセス、明らかに人間ではない理解が見えるようになります。」^{[109] [110]}

対照的に、「LLMは理解力が欠けている」学派の支持者の中には、既存のLLMは「既存の文章を単にリミックスして再結合している」と信じており^{[108] 、これは}確率的オウムと呼ばれる現象です。あるいは、既存のLLMが予測能力、推論能力、主体性、説明可能性において依然として欠陥を抱えていると指摘しています。^[104]たとえば、GPT-4は計画とリアルタイム学習において生まれつき欠陥があります。^{[106]生成LLMは、}トレーニングデータによって正当化されていないように見える事実の主張を自信を持って主張することが観察されており、これは「幻覚」と呼ばれています。^[111]具体的には、LLMの文脈における幻覚は、構文的には正しく、流暢で、自然であるように見えるが、事実上不正確、無意味、または提供されたソース入力に忠実でないテキストまたは応答の生成に対応します。^[112]神経科学者テレンス・セジュスキーは、「法学修士の知能に関する専門家の意見の相違は、自然な知能に基づく私たちの古い考えが不十分であることを示唆している」と主張している。^[104]

LLM が知能や理解力を発揮することの問題には、主に 2 つの側面があります。1 つ目は、思考と言語をコンピューター システムでモデル化する方法、2 つ目は、コンピューター システムが人間のような言語を生成できるようにする方法です。^[104]認知のモデルとしての言語のこれらの側面は、認知言語学の分野で開発されてきました。アメリカの言語学者George Lakoff は、言語を学習タスクと理解のモデルとして使用するための計算基盤として、神経言語理論 (NTL) ^[113]を提示しました。NTL モデルは、人間の脳の特定の神経構造が思考と言語の性質をどのように形作るか、そして、コンピューター システムで思考と言語をモデル化するために適用できるそのような神経システムの計算特性は何かを概説しています。コンピューター システムで言語をモデル化するフレームワークが確立された後、焦点は、コンピューター システムが許容できる文法で言語を生成するフレームワークの確立に移りました。イギリスの認知言語学者でデジタルコミュニケーション技術者のヴィヴィアン・エヴァンスは、 2014年に出版した『言語神話：なぜ言語は本能ではないのか』という本の中で、確率的文脈自由文法（PCFG）がNLPによる認知パターンのモデル化と人間のような言語の生成を可能にする上で果たす役割を明らかにした。^{[114] [115]}

言語モデルのパフォーマンスを測る最も一般的に使用される指標は、特定のテキスト コーパスに対するそのパープレキシティです。パープレキシティは、モデルがデータセットの内容をどれだけ正確に予測できるかを示す指標です。モデルがデータセットに割り当てる尤度が高いほど、パープレキシティは低くなります。数学的には、パープレキシティはトークンあたりの平均負の対数尤度の指数として定義されます。ここで、 はテキスト コーパス内のトークンの数であり、「トークンのコンテキスト」は、使用される LLM の特定のタイプによって異なります。LLM が自己回帰の場合、「トークンのコンテキスト」はトークンの前に表示されるテキストのセグメントです。LLM がマスクされている場合、「トークンのコンテキスト」はトークンを囲むテキストのセグメントです。 $${\displaystyle \log({\text{Perplexity}})=-{\frac {1}{N}}\sum _{i=1}^{N}\log(\Pr({\text{token}}_{i}\mid {\text{context for token}}_{i}))}$$${\displaystyle N}$${\displaystyle i}$${\displaystyle i}$${\displaystyle i}$${\displaystyle i}$${\displaystyle i}$

言語モデルはトレーニングデータに過剰適合する可能性があるため、モデルは通常、未知のデータのテストセットに対するパープレキシティによって評価されます。 ^[46]これは、大規模な言語モデルの評価に特に課題をもたらします。Webから主にスクレイピングされたテキストのますます大きなコーパスでトレーニングされるにつれて、モデルのトレーニングデータに特定のテストセットの一部が意図せず含まれる可能性が高くなります。^[2]

情報理論では、エントロピーの概念は難解さと複雑に結びついており、この関係はクロード・シャノンによって特に確立されました。^[116]この関係は数学的には次のように表現されます。 ${\displaystyle {\text{Entropy}}=\log _{2}({\text{Perplexity}})}$

この文脈では、エントロピーは一般に、単語あたりのビット数 (BPW) または文字あたりのビット数 (BPC) で定量化されます。これは、言語モデルが単語ベースのトークン化を使用するか、文字ベースのトークン化を使用するかによって決まります。

特に、主にサブワード トークン化を採用する大規模言語モデルの場合、トークンあたりのビット数 (BPT) がより適切な測定基準として現れます。ただし、さまざまな大規模言語モデル (LLM) 間でトークン化方法が異なるため、BPT はさまざまなモデル間の比較分析のための信頼できる測定基準として機能しません。BPT を BPW に変換するには、単語あたりの平均トークン数を乗算します。

言語モデルの評価と比較では、一般的にはエントロピーよりもクロスエントロピーが優先されます。基本的な原則は、BPW が低いほどモデルの圧縮能力が強化されていることを示すというものです。これは、モデルが正確な予測を行う能力を反映しています。

より具体的な下流タスクにおける言語モデルの機能を評価するため、多数のテスト データセットとベンチマークも開発されています。テストは、一般知識、常識的推論、数学的問題解決など、さまざまな機能を評価するように設計される場合があります。

評価データセットの幅広いカテゴリの1つは、質問と正解のペアで構成される質問応答データセットです。たとえば、「サンノゼシャークスはスタンレーカップで優勝しましたか？」、「いいえ」などです。^[117]質問応答タスクは、モデルのプロンプトに予想される回答を導き出すことができるテキストが含まれている場合、「オープンブック」と見なされます（たとえば、前の質問に「シャークスはスタンレーカップ決勝に1回進出し、2016年にピッツバーグペンギンズに敗れました。」という文を含むテキストが続く場合があります。^[117]）。それ以外の場合、タスクは「クローズドブック」と見なされ、モデルはトレーニング中に保持された知識を活用する必要があります。^[118]よく使用される質問応答データセットの例には、TruthfulQA、Web Questions、TriviaQA、SQuADなどがあります。^[118]

評価データセットはテキスト補完の形式をとることもあり、モデルがプロンプトを完成させるために最も可能性の高い単語や文を選択する。例えば、「アリスはボブと友達だった。アリスは友達の____を訪ねに行った」など。^[2]

多様な評価データセットとタスクを組み合わせた複合ベンチマークも開発されている。例としては、GLUE、SuperGLUE、MMLU、BIG-bench、HELMなどがある。^{[116] [118]} OpenAIは複合ベンチマークを実行するためのツールをリリースしているが、評価結果はプロンプト方法に敏感であると指摘している。 ^{[119] [120]}一部の公開データセットには、ラベルが誤っていたり、曖昧だったり、回答できなかったり、その他の低品質の質問が含まれているが、それらをクリーンアップすることで、より信頼性の高いベンチマークスコアを得ることができる。^[121]

以前は、評価データセットの残りの部分に対して教師ありの微調整を行った後、保留部分の結果を報告するのが標準でした。現在では、プロンプト手法を使用して事前トレーニング済みモデルを直接評価することがより一般的になっていますが、特定のタスクに対するプロンプトの作成方法、特にプロンプ​​トに付随する解決済みタスクの例の数 (つまり、nショット プロンプトのnの値) の詳細については、研究者によって異なります。

大規模言語モデルの急速な改善により、評価ベンチマークの寿命は短く、最先端のモデルが既存のベンチマークを急速に「飽和」させ、人間の注釈者のパフォーマンスを超え、より困難なタスクでベンチマークを置き換えたり、ベンチマークを拡張したりする取り組みにつながっています。^[122]さらに、「ショートカット学習」のケースもあり、AIは、必ずしも実際に尋ねられている質問を理解しなくても、表面的なテストの質問文の統計的相関関係を使用して正しい回答を推測することで、多肢選択式テストで「カンニング」することがあります。^[104]

いくつかのデータセットは敵対的に構築されており、既存の言語モデルが人間に比べて異常にパフォーマンスが低いと思われる特定の問題に焦点を当てています。1つの例はTruthfulQAデータセットです。これは、言語モデルがトレーニング中に繰り返しさらされた虚偽を模倣することで誤った回答をしがちな817の質問で構成された質問応答データセットです。たとえば、LLMは「古い犬に新しい芸を教えることができますか？」という質問に「いいえ」と答える場合があります。これは、英語の慣用句「古い犬に新しい芸を教えることはできない」にさらされているためですが、これは文字通り真実ではありません。^[123]

敵対的評価データセットのもう 1 つの例として、Swag とその後継である HellaSwag があります。これは、テキストの文章を完成させるために複数のオプションから 1 つを選択する必要がある問題のコレクションです。誤った補完は、言語モデルからサンプリングし、一連の分類子でフィルタリングすることで生成されました。結果として生じる問題は人間にとっては些細なことですが、データセットが作成された時点では、最先端の言語モデルではそれらの精度が低かったです。例:

フィットネスセンターの看板が映し出される。その後、カメラに向かって話しながらエクササイズボールの
上に座ったり横になったりしている男性が映し出される。男性は... a) ボールの上を走ったり下りたりすることで、エクササイズの効率を高める方法を実演する。b
) 腕と脚をすべて動かして筋肉を鍛える。c
) 次にボールを弾き、グラフィックスと生垣の刈り込みの実演を見せる。d
) ボールの上で話しながら腹筋運動をする。^[124]

BERTは最も可能性の高い補完としてb)を選択しますが、正解はd)です。^[124]

2023年、ネイチャー・バイオメディカル・エンジニアリングは、人間が書いたテキストと大規模言語モデルによって作成されたテキストを「正確に区別することはもはや不可能」であり、「汎用の大規模言語モデルが急速に普及することはほぼ確実である...時間の経過とともに多くの産業を変えることはかなり確実な賭けである」と書いている。^[125] ゴールドマン・サックスは2023年に、生成言語AIが今後10年間で世界のGDPを7％増加させ、世界中で3億の雇用を自動化できる可能性があると示唆した。^{[126] [127]}

記憶はLLMにおける創発的な行動であり、伝統的な人工ニューラルネットの典型的な行動とは対照的に、長い文字列のテキストがトレーニングデータから逐語的に出力されることがある。制御されたLLM出力の評価では、トレーニングデータ（GPT-2シリーズモデルに焦点を合わせた）から記憶された量は、正確な複製の場合は1％を超える場合^[128]、最大で約7％であると測定されている。^[129]

一部のコメント投稿者は、誤情報の偶発的または意図的な作成、またはその他の形態の誤用に対する懸念を表明した。^[130]たとえば、大規模言語モデルが利用可能になれば、バイオテロを実行するために必要なスキルレベルが低下する可能性がある。バイオセキュリティ研究者のケビン・エスベルトは、LLM作成者は病原体の作成または強化に関する論文をトレーニングデータから除外すべきだと提案している。^[131]

Googleとコーネル大学、カリフォルニア大学バークレー校を含む複数の大学の研究者による研究では、 ChatGPTなどの言語モデルには潜在的なセキュリティリスクがあることが示された。この研究では、質問者がChatGPTからAIモデルが使用したトレーニングデータを取得できる可能性を調査し、確認した。たとえば、ChatGPT 3.5 turboに「poem」という単語を永遠に繰り返すように依頼すると、AIモデルは「poem」と何百回も言った後、発散し、​​標準的な対話スタイルから逸脱して意味不明なフレーズを吐き出し、トレーニングデータをそのまま吐き出す。研究者は、同様の方法でAIモデルがトレーニングデータを公開した例を1万件以上見てきた。研究者は、AIモデルが実際に安全かどうかを判断するのは難しいと述べた。^[132]

LLM モデル内に潜在的に「スリーパーエージェント」が存在する可能性も、新たなセキュリティ上の懸念事項です。これらはモデルに組み込まれた隠れた機能であり、特定のイベントや条件によってトリガーされるまでは休止状態のままです。アクティブ化されると、LLM は想定された動作から逸脱し、安全でないアクションを実行します。^[133]

ChatGPTやClaudeのような一般に公開されている大規模言語モデル（LLM）アプリケーションには、通常、有害なコンテンツをフィルタリングするように設計された安全対策が組み込まれています。しかし、これらの制御を効果的に実装することは困難であることが判明しています。たとえば、Kangらによる研究^[134]は 、LLM安全システムを回避する方法を実証しました。同様に、Wang ^[135]は、潜在的な犯罪者がChatGPT 4oの安全制御を回避して、麻薬密売活動を確立するための情報を入手する可能性があることを示しました。

LLMは人間のようなテキストを生成する優れた能力を示していますが、トレーニングデータに存在するバイアスを継承して増幅する傾向があります。これは、人種、性別、言語、文化グループに基づくものなど、さまざまな人口統計の偏った表現や不公平な扱いとして現れる可能性があります。^[136]英語のデータは現在の大規模言語モデルのトレーニングデータで過剰に表現されているため、英語以外のビューも軽視される可能性があります。^[137]

AIモデルは、性別、民族、年齢、国籍、宗教、職業などに基づく幅広いステレオタイプを強化する可能性があります。これにより、不当に一般化されたり、特定の集団を風刺したりする出力が生まれ、時には有害または軽蔑的な結果をもたらす可能性があります。^[138]

特にジェンダーバイアスとは、これらのモデルが、ある性別に対して不当に偏見のある出力を生成する傾向を指します。このバイアスは通常、これらのモデルがトレーニングされるデータから生じます。大規模な言語モデルは、伝統的なジェンダー規範に基づいて役割や特性を割り当てることがよくあります。^[136]たとえば、看護師や秘書は主に女性に関連付けられ、エンジニアやCEOは男性に関連付けられる可能性があります。^[139]

政治的バイアスとは、アルゴリズムが特定の政治的見解、イデオロギー、または結果を他のものよりも体系的に優先する傾向を指します。言語モデルも政治的バイアスを示す場合があります。トレーニングデータには幅広い政治的意見と報道が含まれているため、モデルはデータ内のそれらの見解の普及度に応じて、特定の政治的イデオロギーや見解に傾いた応答を生成する可能性があります。^[140]

トレーニングコストの列には、1 petaFLOP-day = 1 petaFLOP/sec × 1 day = 8.64E19 FLOP と記載されています。また、最も大きなモデルのコストのみ記載されています。

• 基礎モデル

• Jurafsky, Dan, Martin, James. H. Speech and Language Processing: An Introduction to Natural Language Processing, Computational Linguistics, and Speech Recognition, 3rd Edition draft, 2023.
• Zhao, Wayne Xin; et al. (2023). "A Survey of Large Language Models". arXiv:2303.18223 [cs.CL].
• Kaddour, Jean; et al. (2023). "Challenges and Applications of Large Language Models". arXiv:2307.10169 [cs.CL].
• Yin, Shukang; Fu, Chaoyou; Zhao, Sirui; Li, Ke; Sun, Xing; Xu, Tong; Chen, Enhong (2023-06-01). "A Survey on Multimodal Large Language Models". arXiv:2306.13549 [cs.CV].
• "AI Index Report 2024 – Artificial Intelligence Index". aiindex.stanford.edu. Retrieved 2024-05-05.
• Frank, Michael C. (27 June 2023). "Baby steps in evaluating the capacities of large language models". Nature Reviews Psychology. 2 (8): 451–452. doi:10.1038/s44159-023-00211-x. ISSN 2731-0574. S2CID 259713140. Retrieved 2 July 2023.