言語モデル

単語n-グラム言語モデルは、固定サイズのウィンドウ内の前の単語からシーケンス内の次の単語の確率を計算する言語の統計モデルです。前の単語が1つ考慮される場合はバイグラムモデル、2つの場合はトライグラムモデル、 n  -  1個の場合はn-グラムモデルです。^{[ 14 ]}

文の開始と終了を示すために特別な記号が導入される。${\displaystyle \langle s\rangle }$そして${\displaystyle \langle /s\rangle }$未知の単語にゼロの確率が割り当てられるのを防ぐため、既知の単語の確率をわずかに下げて、特定のコーパス内の未知の単語のためのスペースを確保します。これを実現するために、単純な「1を追加」平滑化（未知のnグラムに1のカウントを割り当て、無情報な事前分布とする）から、グッド・チューリング割引やバックオフモデルなどのより高度な手法まで、さまざまな平滑化手法が使用されます。

単語n-グラムモデルは、リカレントニューラルネットワークベースのモデルにほぼ取って代わられ、さらにそれらは、大規模言語モデルと呼ばれることが多いTransformerベースのモデルに取って代わられています。^{[ 15 ]}

Skip-gram言語モデルは、先行モデル（すなわち単語n -gram言語モデル）が直面していたデータスパース性の問題を克服しようとする試みである。埋め込みベクトルで表現される単語は必ずしも連続している必要はなく、スキップされるギャップが生じる可能性がある（そのため「skip-gram」という名前が付けられている）。^{[ 16 ]}

正式には、kスキップnグラムとは、構成要素が互いに最大でkの距離で出現する長さnの部分列のことである。

例えば、入力テキストでは次のようになります。

スペインの雨は主に平野部に降る。

1-skip-2-gram の集合には、すべてのバイグラム (2-gram) と、さらに部分シーケンスが含まれます。

スペインでは、雨が降り、主に、平野に雨が降ります。

スキップグラムモデルでは、単語間の意味関係は線形結合で表され、構成性の一形態を捉えています。例えば、このようなモデルでは、v が単語wをそのn次元ベクトル表現にマッピングする関数である場合、

$${\displaystyle v(\mathrm {王} )-v(\mathrm {男性} )+v(\mathrm {女性} )\おおよそ v(\mathrm {女王} )}$$

ここで、≈ は、右辺が左辺の値の最近傍でなければならないことを規定することによって厳密に定義されます。 ^{[ 17 ] [ 18 ]}

大規模言語モデル(LLM) は、自然言語処理タスク、特に言語生成のために膨大な量のテキストでトレーニングされたAI モデル(通常はニューラル ネットワーク) です。LLM は通常、多くのコンテキストでテキストを生成、要約、翻訳、分析することができ、現代のチャットボットの基盤となる技術です。^{[ 21 ]}偏った、または不正確なトレーニング データを使用すると、LLM の出力の信頼性が低下する可能性があります。^{[ 22 ]}

LLMは通常、トランスフォーマーアーキテクチャに基づいています。^{[ 23 ]}生成事前学習トランスフォーマー（GPT）は、次の単語を予測するように事前学習されたLLMの一種です。^{[ 24 ]} GPTはその後、指示に従い、アシスタントとして動作するように微調整されることがよくあります。 ^{[ 25 ]}

LLMのベンチマーク評価では、モデルの推論、事実の正確性、整合性、安全性を測定しようと試みています。^{[ 26 ]}