セマンティックフォールディング

意味的折り畳み理論は、自然言語テキストの意味を意味的に根拠のあるバイナリ表現でエンコードする手順を説明します。このアプローチは、言語データが大脳新皮質でどのように処理されるかをモデル化する枠組みを提供します。^[1]

意味的折り畳み理論は、脳が類推を識別し適用することで世界を理解すると示唆するダグラス・R・ホフスタッターの「認知の中核としての類推」からインスピレーションを得ている。^{[2]この理論は、意味データは}類似性尺度を適用できるような形で大脳新皮質に導入されなければならないと仮定し、解決策として、分布参照フレームとして2次元の地形的意味空間を使用するスパースバイナリベクトルを提案している。この理論は、階層的時間記憶（HTM）として知られる人間の皮質の計算理論に基づいており、言語意味の表現に対する補完理論として位置付けられている。

このアプローチの特に優れた点は、結果として得られるバイナリ表現により、複雑なセマンティック操作を最も基本的な計算レベルで簡単かつ効率的に実行できることです。

セマンティックフォールディング理論は、大脳新皮質の構造に類似して、意味空間を 2 次元グリッドとして実装することを前提としています。このグリッドには、競合学習原理などを使用して、類似のコンテキストベクトルが互いに近くなるようにコンテキストベクトル^{[注 1]が配置されます。この}ベクトル空間モデルは、情報検索の文献に記載されているよく知られた単語空間モデル^[3]と同等のものとして理論で提示されています。

意味空間（上記のように実装）が与えられた場合、次のアルゴリズムを使用することで、任意の単語Yに対する単語ベクトル^[注2]を取得できます。

意味マップ内の各位置X （Xは直交座標を表す）
    について、単語Yが位置Xのコンテキストベクトルに含まれている場合は、 Y
        の単語ベクトルの対応する位置に1を加算し、そうでない場合は、Y
        の単語ベクトルの対応する位置に0を加算する。
    

この処理の結果は、単語Yが出現するすべての文脈を含む単語ベクトルとなり、したがって意味空間におけるその単語の意味を表すものとなる。結果として得られる単語ベクトルは、スパース分散表現（SDR）形式であることがわかる[Schütze, 1993]および[Sahlgreen, 2006]。^{[3] [4]}計算意味論に関して特に興味深い単語SDRの特性は以下のとおりである。^[5]

• 高いノイズ耐性: 類似のコンテキストが基礎マップ内でより近くに配置されるため、ワード SDR は誤った「ビット」やシフトされた「ビット」に対して高い耐性を持ちます。
• ブール論理: ブール (OR、AND、排他的論理和) および/または算術(減算) 関数を使用して、単語 SDR を意味のある方法で操作できます。
• サブサンプリング: Word-SDR は、意味情報に大きな損失を与えることなく、高度にサブサンプリングできます。
• 位相的 2 次元表現: SDR 表現は、基礎となるマップの位相的分布を維持するため、意味が類似する単語は類似する単語ベクトルを持ちます。これは、ベクトル要素の単純な重なりから、ユークリッド距離、ハミング距離、ジャカード距離、コサイン類似度、レーベンシュタイン距離、セーレンセン・ダイス指数などのさまざまな距離測定まで、さまざまな測定基準を意味的類似性の計算に適用できることを示しています。

自然言語領域における意味空間^{[注3] [6]は、意味を捉えることができる自然言語の表現を作成することを目的としています。意味空間の元々の動機は、自然言語の2つの主要な課題、すなわち}語彙の不一致（同じ意味がさまざまな方法で表現される可能性があるという事実）と自然言語の曖昧さ（同じ用語が複数の意味を持つ可能性があるという事実）に由来しています。

自然言語処理（NLP）における意味空間の応用は、キーワードレベルで動作するルールベースまたはモデルベースのアプローチの限界を克服することを目的としています。これらのアプローチの主な欠点は、その脆弱性と、ルールベースのNLPシステムまたはモデル学習用のトレーニングコーパスを作成するために多大な手作業が必要であることです。^{[7] [8]}ルールベースおよび機械学習ベースのモデルはキーワードレベルで固定されており、語彙がルールで定義された語彙や統計モデルに使用されるトレーニング資料と異なる場合は機能しません。

意味空間の研究は 20 年以上前に遡ります。1996 年には、意味空間を作成するという一般的なアイデアに多くの注目を集めた 2 つの論文が発表されました。Microsoftの潜在的意味解析^[9]とカリフォルニア大学のHyperspace Analogue to Language ^[10]です。しかし、それらの意味空間を構築して使用するために必要な計算量が大きいため、これらの採用は制限されていました。単語間の関連関係 (「クジラとイルカ」、「宇宙飛行士と運転手」などの同義関係ではなく、「クジラと巣」、「ライターとタバコ」など) のモデル化の精度に関するブレークスルーは、2007 年に明示的意味解析(ESA) ^{[11]によって達成されました。ESA は、単語を 100,000}次元のベクトルの形式で表現する新しい (機械学習ではない) アプローチでした(各次元はWikipediaの記事を表します)。しかし、ベクトルに必要な次元数が多いため、このアプローチの実際のアプリケーションは限られています。

最近では、ニューラルネットワーク技術の進歩と他の新しいアプローチ（テンソル）の組み合わせにより、 GoogleのWord2vec ^[12]やスタンフォード大学のGloVe ^[13]など、数多くの新しい開発が行われました。

セマンティックフォールディングは、各単語が2Dセマンティックマップ（セマンティックユニバース）内の16,000次元（セマンティックフィンガープリント）のスパースバイナリベクトルとして表現される、生物学にヒントを得た新しいセマンティック空間へのアプローチです。スパースバイナリ表現は計算効率の点で有利であり、非常に多くの可能なパターンを保存できます。^[5]

2 次元グリッド上の位相分布 (上記で概説) は、任意の単語またはテキストの意味をビットマップ形式で視覚化するのに適しており、アクティブな意味特性はそれぞれピクセルとして表示できます。ここに示す画像でわかるように、この表現により、2 つ (またはそれ以上) の言語項目の意味を直接視覚的に比較できます。

画像 1 は、「犬」と「車」という 2 つの異なる用語が、予想どおり、非常に明らかに異なる意味を持っていることを明確に示しています。

画像 2 は、「ジャガー」の意味コンテキストのうち、車である「ジャガー」の意味コンテキストの 1 つだけがポルシェの意味と重複していることを示しています (部分的な類似性を示しています)。「ジャガー」の他の意味コンテキスト、たとえば動物である「ジャガー」は、明らかに重複しない異なるコンテキストを持っています。セマンティック フォールディングを使用した意味的類似性の視覚化は、AG Huth らが実施した調査研究で生成されたfMRI画像と非常によく似ています。 ^{[14] [15]}この研究では、単語は脳内で意味によってグループ化されていると主張しています。脳の小さな体積セグメントであるボクセルは、視覚情報が視覚皮質の境界に沿って表され、視覚カテゴリと言語カテゴリがそれぞれ後側と前側で表されるというパターンに従うことがわかりました。^{[16] [17] [18]}