類推モデリング

類推モデリング( AM )は、ユタ州プロボのブリガムヤング大学の言語学および英語学の教授であるRoyal Skousenによって提唱された、事例に基づく類推推論の形式理論です。言語モデリングやその他の分類タスクに適用できます。類推モデリングは、抽象化ベースではなくデータ ベースであるという点でコネクショニズムや最近傍アプローチに関連していますが、不完全なデータセット (シミュレートされた短期記憶の制限によって引き起こされるものなど) に対処し、近いか遠いかに関係なくデータセットのすべての関連セグメントに基づいて予測を行う能力によって区別されます。言語モデリングでは、AM は理論的説明が知られていない経験的に有効な形式を予測することに成功しています (Skousen ら 2002 のフィンランド語の形態論の議論を参照)。

見本ベースのモデルは、汎用モデリングエンジンと問題固有のデータセットで構成されます。データセット内では、各見本 (推論の対象となるケース、または有益な過去の経験) が特徴ベクトルとして表示されます。これは、問題を定義する一連のパラメーターの値の行です。たとえば、スペルから音への変換タスクでは、特徴ベクトルは単語の文字で構成される場合があります。データセット内の各見本は、生成される音素や音などの結果とともに保存されます。モデルに新しい状況 (結果のない特徴ベクトルの形式) が提示されると、エンジンはデータセットをアルゴリズム的に並べ替えて、その状況によく似ている見本を見つけ、その結果がモデルの予測となる見本を選択します。アルゴリズムの詳細によって、見本ベースのモデリング システムが区別されます。

AM では、特徴値はコンテキストを特徴付けるものであり、結果はそのコンテキスト内で発生する動作であると考えています。したがって、新しい状況は所与のコンテキストと呼ばれます。コンテキストの既知の特徴が与えられた場合、AM エンジンはそれを含むすべてのコンテキスト (そのすべてのスーパーコンテキスト) を体系的に生成し、データセットからそれぞれに属する例を抽出します。次に、エンジンは結果が矛盾するスーパーコンテキストを破棄し(この一貫性の尺度については後述します)、類似​​のスーパーコンテキスト セットを残し、大きなスーパーコンテキスト内の例に偏って類似セットから例を確率的に選択します。このマルチレベル検索により、特定のコンテキストに特に類似した設定で確実に発生する動作が予測される可能性が指数関数的に高まります。

AM は、評価を要求された各ケースに対して同じプロセスを実行します。n 個の変数で構成される特定のコンテキストは、テンプレートとして使用され、スーパーコンテキストを生成します。各スーパーコンテキストは、1 つ以上の変数が特定のコンテキストと同じ値を持ち、他の変数が無視される一連の例です。実際には、それぞれがデータのビューであり、特定のコンテキストとの類似性のいくつかの基準でフィルタリングすることによって作成され、スーパーコンテキストの全体セットは、そのようなビューをすべて網羅します。あるいは、各スーパーコンテキストは、タスクの理論、または予測力を評価する必要のある提案されたルールです。 ${\displaystyle 2^{n}}$

スーパーコンテキストは互いに同等ではないことに注意することが重要です。スーパーコンテキストは、特定のコンテキストからの距離によって配置され、階層を形成します。スーパーコンテキストが、別のスーパーコンテキストが指定するすべての変数とそれ以上の変数を指定する場合、そのスーパーコンテキストは別のスーパーコンテキストのサブコンテキストであり、特定のコンテキストの近くにあります。(階層は厳密には分岐していません。各スーパーコンテキストは、それ自体が他の複数のスーパーコンテキストのサブコンテキストになることができ、複数のサブコンテキストを持つことができます。) この階層は、アルゴリズムの次のステップで重要になります。

エンジンは、ここで、スーパーコンテキストの中から類推セットを選択します。スーパーコンテキストには、1 つの動作のみを示す例が含まれる場合があります。これは決定論的に同質であり、含まれています。これは、規則性を示すデータのビュー、またはまだ反証されていない関連理論です。スーパーコンテキストは、複数の動作を示す場合がありますが、より具体的なスーパーコンテキスト (つまり、そのサブコンテキストのいずれか) で発生する例が含まれていません。この場合は、非決定論的に同質であり、含まれています。ここでは、体系的な動作が発生するという大きな証拠はありませんが、反論もありません。最後に、スーパーコンテキストは異質である可能性があり、これは、サブコンテキスト (特定のコンテキストに近い) で見つかる動作と、そうでない動作の両方を示すことを意味します。非決定論的に均質な上位コンテキストの曖昧な動作が受け入れられた場合、介在する下位コンテキストによって、より優れた理論が存在することが示されるため、この動作は拒否されます。したがって、異質な上位コンテキストは除外されます。これにより、特定のコンテキストに近づくにつれて、類推セットで意味のある一貫性のある動作が増加することが保証されます。

類推セットが選択されると、各例の出現 (特定の例が複数の類推上コンテキストに出現する可能性があるため) には、その上コンテキスト内の他のすべての例の出現へのポインタが与えられます。次に、これらのポインタの 1 つがランダムに選択されて追跡され、それが指す例が結果を提供します。これにより、各上コンテキストの重要性はそのサイズの 2 乗に比例し、各例が選択される可能性は、それが出現するすべての類推的に一貫した上コンテキストのサイズの合計に直接比例します。そして、もちろん、特定の結果を予測する確率は、それをサポートするすべての例の合計確率に比例します。

(Skousen 2002、Skousen et al. 2002、pp. 11–25、および Skousen 2003、どちらもパッシム)

要素を含むコンテキストが与えられた場合: ${\displaystyle n}$

ペアリング総数:${\displaystyle n^{2}}$

結果iに対する合意の数:${\displaystyle n_{i}^{2}}$

結果iに対する意見の不一致の数:${\displaystyle n_{i}(n-n_{i})}$

合意の総数:${\displaystyle \sum {n_{i}^{2}}}$

不一致の総数:${\displaystyle \sum {n_{i}(n-n_{i})}=n^{2}-\sum {n_{i}^{2}}}$

この用語は例を通して理解するのが一番です。Skousen (1989)の第2章で使用されている例では、各コンテキストは0～3の潜在的値を持つ3つの変数で構成されています。

変数1: 0,1,2,3

変数2: 0,1,2,3

変数3: 0,1,2,3

データセットの 2 つの結果はeとrであり、その例は次のとおりです。

3 1 0 電子
0 3 2 r
2 1 0 r
2 1 2 r
3 1 1 r

ポインタのネットワークを次のように定義します。

実線は、結果が一致する例間のポインターを表します。点線は、結果が一致しない例間のポインターを表します。

この例の統計は次のとおりです。

${\displaystyle n=5}$

${\displaystyle n_{r}=4}$

${\displaystyle n_{e}=1}$

ペアリング総数:${\displaystyle n^{2}=25}$

結果rに対する合意の数:${\displaystyle n_{r}^{2}=16}$

結果eに対する合意の数:${\displaystyle n_{e}^{2}=1}$

結果rに対する不一致の数:${\displaystyle n_{r}(n-n_{r})=4}$

結果eに対する不一致の数:${\displaystyle n_{e}(n-n_{e})=4}$

合意の総数:${\displaystyle n_{r}^{2}+n_{e}^{2}=17}$

不一致の総数:${\displaystyle n_{r}(n-n_{r})+n_{e}(n-n_{e})=n^{2}-(n_{r}^{2}+n_{e}^{2})=8}$

不確実性または不一致の割合:${\displaystyle 8/25=.32}$

動作は、特定のコンテキストに対してのみ予測できます。この例では、コンテキスト「3 1 2」の結果を予測します。これを行うには、まず、特定のコンテキストを含むすべてのコンテキストを見つけます。これらのコンテキストは、スーパーコンテキストと呼ばれます。スーパーコンテキストを見つけるには、特定のコンテキスト内の変数を体系的に排除します。変数がm個ある場合、一般にスーパーコンテキストが存在します。次の表は、サブコンテキストとスーパーコンテキストのそれぞれを示しています。xは「x ではない」を意味し、- は「何でも」を意味します。 ${\displaystyle 2^{m}}$

これらのコンテキストは以下のベン図に示されています。

次のステップは、どのコンテキストが同質であるかを判断するために、どの例がどのコンテキストに属しているかを判断することです。以下の表は、各サブコンテキスト、指定された例に関するそれらの動作、および動作内の不一致の数を示しています。

上記の表のサブコンテキストを分析すると、不一致のあるサブコンテキストは 1 つだけであることがわかります。それは「3 1 2」で、データセットでは「3 1 0 e」と「3 1 1 r」で構成されています。このサブコンテキストには 2 つの不一致があり、1 つは各例から他の例を指しています (上図のポインター ネットワークを参照)。したがって、このサブコンテキストを含むスーパーコンテキストにのみ不一致が含まれます。均質なスーパーコンテキストを識別するために、単純なルールを使用します。

上位コンテキスト内の不一致の数が、含まれる下位コンテキスト内の不一致の数より多い場合、それは異質であると言い、そうでない場合は同質であると言います。

均質な超コンテキストを生成する状況は 3 つあります。

1. スーパーコンテキストは空です。これは、データ ポイントが含まれない「3 - 2」の場合です。不一致の数が増加することはなく、スーパーコンテキストは自明に同質です。
2. 超コンテキストは決定論的であり、1 種類の結果のみが発生します。これは、「- 1 2」と「- - 2」の場合に当てはまり、これらにはr結果のデータのみが含まれます。
3. データは 1 つのサブコンテキストにのみ含まれます。サブコンテキストが決定論的である必要はなく、サブコンテキストが均質なスーパーコンテキストになります。たとえば、スーパーコンテキスト「3 1 -」と「- 1 2」は決定論的で、空でないサブコンテキストが 1 つだけ含まれますが、「3 - -」にはサブコンテキスト「3 1 2」だけが含まれます。このサブコンテキストには「3 1 0 e」と「3 1 1 r」が含まれるため、非決定論的になります。このタイプのスーパーコンテキストは、障害がなく非決定論的であると言えます。

異質な上位コンテキストは「- 1 -」と「- - -」の 2 つだけです。どちらの場合も、非決定論的な「3 1 2」とr結果を含む他のサブコンテキストの組み合わせが異質性を引き起こします。

実際には、均質なスーパーコンテキストの 4 番目のタイプがあります。これは、複数の空でないサブコンテキストを含み、非決定論的ですが、各サブコンテキストの結果の頻度はまったく同じです。ただし、アナロジー モデリングでは、次の 2 つの理由から、この状況は考慮されません。

1. この 4 つの状況が発生したかどうかを判断するには、テストが必要です。これは、算術を必要とする唯一の同次性テストであり、これを無視すると、同次性テストが統計的にフリーになり、AM が人間の推論をモデル化するのに適します。${\displaystyle \chi ^{2}}$
2. これは極めてまれな状況であるため、これを無視しても予測される結果に大きな影響は及ばないと予想されます。

次に、同質の上位コンテキストからのすべてのポインターと結果で構成される類推セットを構築します。下の図は、同質のコンテキストが強調表示されたポインター ネットワークを示しています。

指針は次の表にまとめられています。

類推セット内のポインタのうち 4 つは結果eに関連付けられ、残りの 9 つはrに関連付けられます。AM では、ポインタがランダムに選択され、それが指す結果が予測されます。合計 13 個のポインタの場合、結果eが予測される確率は 4/13 または 30.8% であり、結果rの場合は9/13 または 69.2% です。同質のスーパーコンテキスト内の各発生のポインタをリストすることで、より詳細な説明を作成できます。

次に、データセット内の各インスタンスの 類推効果を確認します。

アナロジーは、少なくともソシュールの時代から、言語を説明するのに有用であると考えられてきました。最近では、ノーム・チョムスキーらが、アナロジーはあまりにも漠然としていて実際には有用ではないと批判しており (Bańko 1991)、これはデウス・エクス・マキナへの訴えです。スコウセンの提案は、心理学的妥当性をテストできるアナロジーの明確なメカニズムを提案することで、その批判に対処しているようです。

類推モデリングは、音韻論や形態論（言語学）から綴り法や統語論に至るまで、さまざまな実験で採用されてきました。

類推モデリングは、言語学者が考案したとされる規則から解放されたモデルを作成することを目指していますが、現在の形式では、研究者がどの変数を考慮するかを選択する必要があります。これは、類推モデリングを実装するために使用されるコンピュータ ソフトウェアの処理能力要件がいわゆる「指数関数的爆発」であるため必要です。最近の研究では、量子コンピューティングがこのようなパフォーマンスのボトルネックを解決できる可能性があることが示唆されています (Skousen 他 2002、45 ～ 47 ページを参照)。

• 計算言語学
• コネクショニズム
• インスタンスベースの学習
• k近傍アルゴリズム

• ロイヤル・スコウセン（1989年）。言語の類推モデル（ハードカバー）。ドルドレヒト：クルーワー・アカデミック・パブリッシャーズ。xii+212頁。ISBN 0-7923-0517-5。
• Miroslaw Bańko (1991年6 月)。「レビュー: 言語の類推モデル化」(PDF)。計算言語学。17 (2): 246–248。2003年 8 月 2 日のオリジナル(PDF)からアーカイブ。
• Royal Skousen (1992)。『類推と構造』 。発行元：Kluwer Academic Publishers。ISBN 0-7923-1935-4。
• Royal Skousen、Deryle Lonsdale、Dilworth B. Parkinson 編 (2002)。類推モデリング: 言語への例に基づくアプローチ(Human Cognitive Processing vol. 10)。アムステルダム/フィラデルフィア: John Benjamins Publishing Company。p. x+ 417pp。ISBN 1-58811-302-7。
• Skousen, Royal. (2003). 類推モデリング: 手本、ルール、量子コンピューティング。Berkeley Linguistics Society カンファレンスで発表。

• アナロジーモデリング研究グループホームページ
• LINGUIST リストアナロジーモデリングの発表、Skousen 他 (2002)