知識グラフ埋め込み

知識グラフの埋め込み。エンティティと関係のベクトル表現は、さまざまな機械学習アプリケーションに利用できます。

表現学習において、知識グラフ埋め込み（KGE）、別名知識表現学習（KRL）、または多重関係学習^{[ 1 ]}は、知識グラフのエンティティと関係の低次元表現を学習し、それらの意味を保持する機械学習タスクです。[1][2][3] 知識グラフは、埋め込まれた表現を活用することで、リンク予測^、^トリプル^分類^、^{エンティティ}^認識^、^{クラスタリング}^、関係抽出などのさまざまなアプリケーションに使用できます。^[¹^]^[⁴^]

意味

知識グラフ ${\mathcal {G}}=\{E,R,F\}$ エンティティの集合 $E$ 関係 $R$ 、そして事実 $F$ [ ⁵^]事実は三つ組で^ある $(h,r,t)\in F$ これはリンクを示します $r\in R$ 頭と頭の間 $h\in E$ そして尻尾 $t\in E$ 3つ組の。文献で3つ組（または事実）を表すためによく使われる別の表記法は $\langle {\text{head}},{\text{relation}},{\text{tail}}\rangle$ この表記法はリソース記述フレームワーク（RDF）と呼ばれます。^{[ 1 ]}^{[ 5 ]}知識グラフは特定のドメインに関連する知識を表します。この構造化された表現を活用することで、いくつかの精緻化ステップの後、そこから新しい知識を推論することが可能です。^{[ 6 ]}しかし、今日では、実世界のアプリケーションで使用するために、データの疎性と計算の非効率性に対処する必要があります。^{[ 3 ]}^{[ 7 ]}

知識グラフの埋め込みとは、各エンティティと各関係を、指定された次元のベクトルに変換する関数である。 $d$ 埋め込み次元と呼ばれる。^{[ 7 ]}異なる次元でエンティティと関係を埋め込むことも可能である。^{[ 7 ]}埋め込みベクトルは、他のタスクに使用できる。

知識グラフ埋め込みは、次の4つの側面によって特徴付けられます。^{[ 1 ]}

表現空間：実体と関係が表現される低次元空間。^{[ 1 ]}
スコアリング関数：トリプル埋め込み表現の良し悪しを測る尺度。^{[ 1 ]}
エンコーディングモデル：エンティティと関係の埋め込み表現が互いに相互作用する様式。^{[ 1 ]}
追加情報: 知識グラフから得られる、埋め込み表現を充実させる追加情報。^{[ 1 ]}通常、追加情報ごとに、アドホックなスコアリング関数が一般的なスコアリング関数に統合されます。 ^{[ 5 ]}^{[ 1 ]}^{[ 8 ]}

埋め込み手順

知識グラフ埋め込みを作成するためのすべてのアルゴリズムは、同じアプローチに従います。^{[ 7 ]}まず、埋め込みベクトルはランダムな値で初期化されます。^{[ 7 ]}次に、トリプルのトレーニングセットを使用して反復的に最適化されます。各反復では、サイズのバッチが $b$ トレーニングセットから 1 つのトリプルがサンプリングされ、その中から 1 つのトリプルがサンプリングされて破損されます。つまり、知識グラフ内の真の事実を表していないトリプルです。^{[ 7 ]}トリプルの破損は、トリプルの先頭または末尾 (または両方) を、事実を偽にする別のエンティティに置き換えることによって行われます。^{[ 7 ]}元のトリプルと破損したトリプルがトレーニングバッチに追加され、スコアリング関数を最適化することで埋め込みが更新されます。^{[ 5 ]}^{[ 7 ]}停止条件に達すると、反復が停止します。^{[ 7 ]}通常、停止条件はトレーニングセットの過学習に依存します。 ^{[ 7 ]}最終的に、学習された埋め込みはトレーニングトリプルから意味を抽出し、知識グラフ内の未知の真の事実を正しく予測する必要があります。^{[ 5 ]}

擬似コード

以下は、一般的な埋め込み手順の擬似コードです。 ^{[ 9 ]}^{[ 7 ]}

アルゴリズム：エンティティと関係の埋め込みを計算する。 入力：トレーニングセット $S=\{(h,r,t)\}$ 、 エンティティセット  $E$ 、 関係セット  $R$ 、 埋め込み次元  $k$ 出力：エンティティとリレーションの埋め込み 初期化:エンティティ $e$ 関係 $r$ 埋め込み（ベクトル）はランダムに初期化されます停止条件が満たされる間、 $S_{batch}\leftarrow sample(S,b)$ //各 トレーニングセットからバッチをサンプリングします  $(h,r,t)$ で $S_{batch}$ する $(h',r,t')\leftarrow sample(S')$  // 破損した事実をサンプリングする  $T_{batch}\leftarrow T_{batch}\cup \{((h,r,t),(h',r,t'))\}$ 終了 損失関数を最小化することで埋め込みを更新する end while

パフォーマンス指標

これらの指標は、モデルの埋め込み品質を測定するためによく使用されます。指標の単純さから、大規模な埋め込みアルゴリズムの性能評価にも非常に適しています。^{[ 10 ]} ${\ce {Q}}$ モデルのすべてのランク付けされた予測のセットとして、Hits@K、MR、MRR の 3 つの異なるパフォーマンスインデックスを定義することができます。^{[ 10 ]}

Hits@K

Hits@K、略してH@Kは、上位K個のモデル予測で正しい予測を見つける確率を測定するパフォーマンス指標です。^{[ 10 ]}通常、これは $k=10$ ^{[ 10 ]} Hits@K は、与えられた 2 つのトリプル間の関係を正しく予測する埋め込みモデルの精度を反映しています。^{[ 10 ]}

Hits@K $={\frac {|\{q\in Q:q<k\}|}{|Q|}}\in [0,1]$

値が大きいほど予測性能が優れていることを意味します。^{[ 10 ]}

平均順位（MR）

平均順位とは、モデルによって予測された項目が、考えられるすべての項目の中で平均的にランク付けされた位置のことです。^{[ 10 ]}

$MR={\frac {1}{|Q|}}\sum _{q\in Q}{q}$

値が小さいほど、モデルの精度が高い。^{[ 10 ]}

平均逆順位（MRR）

平均逆数順位は、正しく予測されたトリプルの数を測定する。^{[ 10 ]}最初の予測トリプルが正しければ1が加算され、2番目が正しければ0が加算される。 ${\frac {1}{2}}$ 合計され、以下同様である。^{[ 10 ]}

平均逆ランクは、一般的に検索アルゴリズムの効果を定量化するために使用されます。^{[ 10 ]}

$MRR={\frac {1}{|Q|}}\sum _{q\in Q}{\frac {1}{q}}\in [0,1]$

指標が大きいほど、モデルの精度が高い。^{[ 10 ]}

アプリケーション

機械学習タスク

知識グラフ補完（KGC）は、埋め込まれた知識グラフ表現から知識を推論する一連の手法です。^{[ 11 ]}特に、この手法は、欠落しているエンティティまたは関係を推論してトリプルを補完します。^{[ 11 ]}対応するサブタスクは、リンクまたはエンティティ予測（つまり、トリプルの他のエンティティと関係が与えられた場合に、埋め込みからエンティティを推測する）と、関係予測（つまり、2 つのエンティティを接続する最も妥当な関係を予測する）と呼ばれます。^{[ 11 ]}

トリプル分類は、二値分類問題です。^{[ 1 ]}トリプルが与えられると、訓練されたモデルは埋め込みを使用してトリプルの妥当性を評価し、トリプルが真か偽かを判断します。^{[ 11 ]}決定は、モデルスコア関数と指定された閾値で行われます。^{[ 11 ]}クラスタリングは、疎な知識グラフの埋め込み表現を利用して、類似した意味的実体の表現を2D空間で近接して凝縮する別のアプリケーションです。^{[ 4 ]}

実世界での応用例

知識グラフ埋め込みの使用は、多くのアプリケーションでますます普及しています。推薦システムの場合、知識グラフ埋め込みの使用により、通常の強化学習の制限^{[ 12 ]}^{[ 13 ]}や従来の協調フィルタリング方法の制限^{[ 14 ]}を克服できます。この種の推薦システムをトレーニングするには、ユーザーから膨大な量の情報が必要ですが、知識グラフ技術は、アイテム相関の事前知識に基づいて既に構築されたグラフを使用し、埋め込みを使用してそこから推薦を推論することで、この問題に対処できます。^{[ 12 ]}ドラッグリポジショニングとは、既に承認されている薬を、当初設計された目的とは異なる治療目的で使用することです。^{[ 15 ]}膨大な文献と生物医学データベースの利用可能性を活用して構築された生物医学知識グラフを使用することで、リンク予測タスクを使用して、既存の薬と疾患との間の新しい関連性を推論することが可能です。^{[ 15 ]} 知識グラフ埋め込みは、社会政治の領域でも使用できます。^{[ 4 ]}

モデル

3つ組（または事実）の集合が与えられた場合 ${\mathcal {F}}=\{\langle {\text{head}},{\text{relation}},{\text{tail}}\rangle \}$ 知識グラフ埋め込みモデルは、知識グラフに存在する各エンティティと関係に対して、連続ベクトル表現を生成します。^{[ 7 ]} $(h,r,t)$ は、以下の3つ組の対応する埋め込みです。 $h,t\in {\rm {I\!R}}^{d}$ そして $\displaystyle r\in \rm {I\!R}}^{k}}$ 、どこ $d$ はエンティティの埋め込み次元であり、 $k$ 関係性については、^{[ 7 ]}与えられたモデルのスコア関数は次のように表される。 ${\mathcal {f}}_{r}(h,t)$ そして、関係の埋め込みが与えられた場合、ヘッドの埋め込みとテールの埋め込みの距離を測定します。言い換えれば、与えられた事実の埋め込み表現の妥当性を定量化します。^{[ 5 ]}

Rossi らは埋め込みモデルの分類法を提案し、テンソル分解モデル、幾何モデル、深層学習モデルの 3 つの主要なモデルファミリーを特定している。^{[ 5 ]}

テンソル分解モデル

テンソル分解は、知識グラフを表現するために多次元行列を使用する知識グラフ埋め込みモデルのファミリーです。^{[ 1 ]}^{[ 5 ]}^{[ 18 ]}この知識グラフは、特定のドメインを完全に記述するグラフのギャップのために部分的にしか知ることができません。^{[ 5 ]}特に、これらのモデルは3次（3D）テンソルを使用し、それを埋め込みとなる低次元ベクトルに因数分解します。^{[ 5 ]}^{[ 18 ]} 3次テンソルは、エンティティ間の関係の存在または非存在のみを記録するため、知識グラフを表現するのに適しており、^{[ 18 ]}単純で、ネットワーク構造を事前に知る必要がないため、 ^{[ 16 ]}このクラスの埋め込みモデルは軽量で、データの高次元性や疎性の問題があっても簡単にトレーニングできます。^{[ 5 ]}^{[ 18 ]}

双線形モデル

このモデル群は、線形方程式を使用して、関係を介してエンティティ間の接続を埋め込みます。^{[ 1 ]}特に、関係の埋め込み表現は2次元行列です。^{[ 5 ]}これらのモデルは、埋め込み手順中に、埋め込み表現を計算するために単一の事実のみを使用し、同じエンティティまたは関係への他の関連付けを無視します。^{[ 19 ]}

DistMult ^{[ 20 ]} :関係の埋め込み行列は対角行列であるため、^{[ 5 ]}スコアリング関数は非対称な事実を区別できません。^{[ 5 ]}^{[ 19 ]}
ComplEx ^{[ 21 ]} : DistMult は、関係埋め込みを表すために対角行列を使用しますが、複素ベクトル空間とエルミート積での表現を追加するため、対称的事実と非対称的事実を区別できます。^{[ 5 ]}^{[ 18 ]}このアプローチは、時間と空間コストの観点から、大規模な知識グラフに拡張可能です。^{[ 21 ]}
ANALOGY ^{[ 22 ]} :このモデルは、知識グラフの類推構造を埋め込みにエンコードして帰納的推論をシミュレートします。^{[ 22 ]}^{[ 5 ]}^{[ 1 ]}微分可能な目的関数を使用することで、ANALOGY は優れた理論的一般性と計算スケーラビリティを備えています。^{[ 22 ]} ANALOGY によって生成された埋め込みは、DistMult、ComplEx、および HolE の埋め込みを完全に復元することが証明されています。^{[ 22 ]}
SimplE ^{[ 23 ]} :このモデルは、知識グラフの事実における先頭か末尾かに応じて、関係の埋め込みベクトルと各エンティティの 2 つの独立した埋め込みベクトルを学習する、正準多項式分解(CP) の改良版です。 ^{[ 23 ]} SimplE は、逆関係を使用して 2 つのエンティティ埋め込みを独立して学習し、CP スコアを平均化する問題を解決します。 $(h,r,t)$ そして $(t,r^{-1},h)$ ^{[ 7 ]}^{[ 18 ]}このように、SimplE は、事実の中で主語または目的語として現れるエンティティ間の関係を収集し、非対称関係を埋め込むことができます。^{[ 5 ]}

非双線形モデル

HolE: ^{[ 24 ]} HolE は、知識グラフの埋め込み表現を作成するために円形相関を使用します。^{[ 24 ]}これは行列積の圧縮と見なすことができますが、円形相関は可換ではないため、非対称関係を表現する機能を維持しながら、計算効率とスケーラビリティが向上します。^{[ 19 ]} HolE は、フーリエと組み合わせて使用するとComplEx の特殊なケースと見なせるため、ホログラフィック埋め込みと複素埋め込みをリンクします。 ^{[ 1 ]}
TuckER: ^{[ 25 ]} TuckER は知識グラフを、共有コアを持つベクトルの集合(つまり、エンティティと関係の埋め込み)にTucker 分解を使用して分解できるテンソルとみなします。 ^[²⁵^]^[⁵^]コアテンソルの重みは埋め込みとともに学習され、エントリの相互作用のレベルを表します。^[²⁶^]各エンティティと関係は独自の埋め込み次元を持ち、コアテンソルのサイズは相互作用するエンティティと関係の形状によって決定されます。^[⁵^]事実の主語と目的語の埋め込みは同じ方法で合計されるため、TuckER は完全に表現力があり、RESCAL、DistMult、ComplEx、SimplE などの他の埋め込みモデルは、TuckER の特別な定式化として表現できます。^[²⁵^]
MEI: ^{[ 27 ]} MEI は、ブロック項テンソル形式によるマルチパーティション埋め込み相互作用技術を導入しており、これは CP 分解と Tucker 分解の一般化です。埋め込みベクトルを複数のパーティションに分割し、ComplEx や SimplE モデルのように固定された特殊パターンを使用する代わりに、データからローカルな相互作用パターンを学習します。これにより、MEI は単に完全に表現力があるだけでなく、最適な効率と表現力のトレードオフを実現できます。^{[ 27 ]} TuckER、RESCAL、DistMult、ComplEx、SimplE などの以前のモデルは、MEI の最適ではない制限された特殊ケースです。
MEIM: ^{[ 28 ]} MEIM はブロック項テンソル形式を超えて、アンサンブルブースティング効果のための独立したコアテンソルと、最大ランク関係マッピングのためのソフト直交性を導入し、さらにマルチパーティション埋め込みの相互作用も導入しています。MEIM は、MEI やその下位モデルである RotaE、QuatE など、いくつかの以前のモデルを一般化しています。^{[ 28 ]} MEIM は表現力を向上させながらも、実際には非常に効率的であり、かなり小さなモデルサイズで良好な結果を達成するのに役立ちます。

幾何学的モデル

このモデル群によって定義される幾何学的空間は、事実の先頭と末尾の間の幾何学的変換として関係を符号化する。^{[ 5 ]}このため、末尾の埋め込みを計算するには、変換を適用する必要がある。 $\displaystyle \tau }$ 頭部埋め込みと距離関数 $\delta$ 埋め込みの良し悪しを測定したり、事実の信頼性を評価したりするために使用されます。^{[ 5 ]}

$\displaystyle {\mathcal {f}}_{r}(h,t)=\delta (\tau (h,r),t)}$

幾何学モデルはテンソル分解モデルと似ているが、両者の主な違いは、変換の適用可能性を維持する必要がある点である。 $\displaystyle \tau }$ それが定義されている幾何学的空間において。^{[ 5 ]}

純粋な翻訳モデル

このクラスのモデルは、 word2vec で導入された翻訳不変性の考え方に触発されています。^{[ 7 ]}純粋な翻訳モデルは、エンティティの埋め込みベクトルが、それらが定義されている幾何学的空間で適切な関係翻訳を適用した後、互いに近いという事実に依存しています。^{[ 19 ]}言い換えれば、事実が与えられた場合、ヘッドの埋め込みと関係の埋め込みの合計は、テールの埋め込みと等しくなるはずです。^{[ 5 ]}エンティティの埋め込みの近さは、何らかの距離尺度によって与えられ、事実の信頼性を定量化します。^{[ 18 ]}

TransE埋め込みモデル。ヘッドのベクトル表現（埋め込み）とリレーションのベクトル表現の合計は、テールエンティティのベクトル表現と等しくなければなりません。

TransE ^{[ 9 ]} :埋め込みが出現する各事実において単純なベクトル和方程式を満たすように強制するスコアリング関数を使用します。 $h+r=t$ [ ⁷^]各エンティティと関係が 1 つの事実にのみ現れる場合、埋め込みは正確になりますが、実際には、1 対多、多対 1、および非対称関係を表現するのに^は適していません。^{[ 5 ]}^{[ 7 ]}
TransH ^{[ 29 ]} :超平面を幾何学的空間として使用して関係のタイプを表現する TransE の修正版。 ^{[ 29 ]} TransH では、関係の埋め込みは、相互作用するエンティティに応じて異なる超平面上にあります。^{[ 7 ]}したがって、たとえば事実のスコア関数を計算するには、ヘッドとテールの埋め込み表現を関係射影行列を使用して、関係の正しい超平面上に投影する必要があります。^{[ 1 ]}^{[ 7 ]}
TransR ^{[ 30 ]} : TransH の改良版で、エンティティとリレーションを埋め込む空間を別々に使用し、^{[ 1 ]}^{[ 19 ]}エンティティとリレーションのセマンティック空間を分離します。^{[ 7 ]} TransR はまた、関係射影行列を使用して、エンティティの埋め込みをリレーション空間に変換します。^{[ 7 ]}
TransD : ^{[ 31 ]} TransR では、与えられた事実の先頭と末尾は、2 種類の異なるエンティティに属する可能性があります。たとえば、事実では $({\text{オバマ}},{\text{アメリカ合衆国大統領}})$ 、オバマは人物であり、USAは国である。^{[ 31 ]}^{[ 7 ]}行列乗算は、TransRで射影を計算するためのコストのかかる手順である。^{[ 7 ]}^{[ 31 ]}この文脈では、TransDは、次元の複雑さを減らしながら射影行列を置き換える動的マッピングを計算するために、各エンティティ-関係ペアに対して2つのベクトルを使用する。^{[ 1 ]}^{[ 7 ]}^{[ 31 ]}最初のベクトルは、エンティティと関係のセマンティックな意味を表すために使用され、2番目のベクトルはマッピング行列を計算するために使用される。^{[ 31 ]}
TransA: ^{[ 32 ]}すべての翻訳モデルは、表現空間でスコア関数を定義しますが、このメトリック損失を過度に単純化しています。^{[ 32 ]}エンティティと関係のベクトル表現は完全ではないため、純粋な翻訳は $h+r$ 遠く離れている可能性がある $t$ 、球面等電位ユークリッド距離では、最も近いエンティティを区別することが困難です。^{[ 32 ]}一方、TransA は、埋め込み次元に重み付けする適応型マハラノビス距離と、曖昧さを解消する楕円面を導入しています。^{[ 1 ]}^{[ 7 ]}^{[ 32 ]}

追加の埋め込みを含む翻訳モデル

知識グラフの各要素とその共通表現事実に、追加情報を関連付けることが可能です。^{[ 1 ]}各エンティティと関係には、知識グラフによるドメインの全体的な記述を改善するために、テキストによる説明、重み、制約などを付加することができます。^{[ 1 ]}知識グラフの埋め込みの際、この情報は、エンティティと関係の通常の埋め込み表現とともに、これらの特性に特化した埋め込みを学習するために使用できますが、その代償として、より多くのベクトルを学習する必要があります。^{[ 5 ]}

STransE: ^{[ 33 ]このモデルは、TransEと構造埋め込み}^{[ 33 ]}を組み合わせた結果であり、一対多、多対一、多対多の関係をより適切に表現できるようになっています。^{[ 5 ]}そのため、このモデルには2つの独立した行列が追加されています。 $W_{r}^{h}$ そして $W_{r}^{t}$ 各埋め込み関係について $r$ KGでは。^{[ 33 ]}各追加行列は、特定の関係が事実の先頭または末尾と相互作用するという事実に基づいて使用されます。^{[ 33 ]}言い換えれば、事実が与えられた場合 $(h,r,t)$ ベクトル変換を適用する前に、ヘッド $h$ を掛ける $W_{r}^{h}$ そして尾部は $W_{r}^{t}$ [ ⁷^]
CrossE ：^{[ 34 ]}クロスオーバー相互作用は関連情報の選択に使用でき、埋め込み手順に非常に役立つ可能性があります。^{[ 34 ]}クロスオーバー相互作用は、情報選択において2つの異なる貢献を提供します。それは、関係からエンティティへの相互作用と、エンティティから関係への相互作用です。^{[ 34 ]}これは、関係、例えば「president_of」が、事実の主語と目的語を接続するエンティティの種類を自動的に選択することを意味します。^{[ 34 ]}同様に、事実のエンティティは、関連するトリプルの目的語を予測するために選択する必要のある推論パスを間接的に決定します。^{[ 34 ]}そのため、CrossEは追加の相互作用行列を学習します。 $C$ 、要素ごとの積を使用して、間の相互作用を計算します。 $h$ そして $r$ [ ⁵^]^[³⁴^{] CrossEはニューラルネットワークアーキテクチャに依存していませんが、この手法}^はそのようなアーキテクチャにエンコードできることが示されています。^[¹^]

回転並進モデル

このモデル群は、並進に加えて、または並進の代わりに、回転のような変換を採用している。^{[ 5 ]}

TorusE: ^{[ 35 ]} TransE の正則化項は、エンティティ埋め込みを球面空間に構築し、結果として幾何空間の並進特性を失います。^{[ 35 ]}この問題を解決するために、TorusE は、この特定の場合には n 次元トーラス空間であるコンパクトなリー群の使用を活用し、正則化の使用を回避します。^[¹^]^[³⁵^] TorusE は、TransE の L1 および L2 ノルムを置き換える距離関数を定義します。^[⁵^]
RotatE: ^{[ 36 ]} RotatEはオイラーの恒等式に着想を得ており、関係を表すためにアダマール積を使用します。 $r$ 頭部からの回転として $h$ 尻尾まで $t$ 複素空間において。^{[ 36 ]}トリプルの各要素について、埋め込みの複素部分は、オイラーの恒等式で記述できる軸に対する反時計回りの回転を表し、関係ベクトルの絶対値は 1 です。^{[ 36 ]}このモデルは、知識グラフから対称、非対称、反転、および合成関係を埋め込むことができることが示されています。^{[ 36 ]}

深層学習モデル

この埋め込みモデル群は、入力データである知識グラフからパターンを学習するために深層ニューラルネットワークを使用します。 ^{[ 5 ]}これらのモデルは、エンティティと関係のタイプ、時間情報、パス情報、アンダーレイ構造情報^{[ 19 ]}を区別する汎用性を持ち、知識グラフのすべての特徴を表現する上での距離ベースおよび意味マッチングベースのモデルの限界を解決します。^{[ 1 ]}知識グラフ埋め込みに深層学習を使用すると、トレーニング段階でコストが高く、データが必要で、多くの場合、別の埋め込みモデルから得られる知識グラフの事前学習済み埋め込み表現が必要になるにもかかわらず、優れた予測性能が示されています。^{[ 1 ]}^{[ 5 ]}

畳み込みニューラルネットワーク

このモデル群は、全結合層を使用する代わりに、1つ以上の畳み込み層を使用して入力データを畳み込み、非線形特徴を学習することで、少ないパラメータで複雑な構造を埋め込むことができる低次元フィルタを適用します。^{[ 1 ]}^{[ 5 ]}^{[ 19 ]}

ConvE: ^{[ 37 ]} ConvEは、深層学習モデルの表現力と計算コストのトレードオフが良好な埋め込みモデルです。^{[ 18 ]}実際、DistMultと比較すると、使用するパラメータが8分の1であることが示されています。^{[ 37 ]} ConvEは1次元を使用します $d$ 知識グラフのエンティティと関係を表すためのサイズの埋め込み。^{[ 5 ]}^{[ 37 ]}トリプルのスコア関数を計算するために、ConvE は単純な手順を適用します。まず、トリプルのヘッドと関係の埋め込みを連結して単一のデータにマージします。 ${\ce {[h;{\mathcal {r}}]}}$ そして、この行列は2次元畳み込み層への入力として使用されます。^{[ 5 ]}^{[ 18 ]}結果は、行列によってパラメータ化された線形変換を適用する全結合層を通過します。 ${\mathcal {W}}$ そして最後に、内積は末尾のトリプルにリンクされます。^{[ 5 ]}^{[ 19 ]} ConvE は評価手順においても特に効率的です。1-N スコアリングを使用することで、モデルはヘッドと関係が与えられたときにすべての末尾を同時にマッチングし、他のモデルの 1-1 評価プログラムと比較して評価時間を大幅に節約します。^{[ 19 ]}
ConvR: ^{[ 38 ]} ConvR は、エンティティと関係間のすべての可能な相互作用を深く表現することを目的とした適応型畳み込みネットワークです。^{[ 38 ]}このタスクでは、ConvR は各関係に対して畳み込みフィルタを計算し、必要に応じて、これらのフィルタを対象のエンティティに適用して畳み込み特徴を抽出します。^{[ 38 ]}トリプルのスコアを計算する手順は ConvE と同じです。^{[ 5 ]}
ConvKB: ^{[ 39 ]} ConvKBは、与えられたトリプルのスコア関数を計算する。 $(h,r,t)$ 入力を生成する ${\ce {[h;{\mathcal {r}};t]}}$ 寸法 $d × 3$ 形状を変更せずに、サイズの畳み込みフィルタのシリーズに渡します。 $1\times 3$ [ ³⁹^{]この結果は}^、最終スコアを生成するニューロンが 1 つだけの密な層に入力されます。^{[ 39 ]}単一の最終ニューロンにより、このアーキテクチャは事実が真または偽であるバイナリ分類器になります。^{[ 5 ]} ConvE との違いは、エンティティの次元が変更されないことです。^{[ 18 ]}

カプセルニューラルネットワーク

このモデル群は、カプセルニューラルネットワークを使用して、空間情報を失うことなく入力の特徴を認識できる、より安定した表現を作成します。^{[ 5 ]}このネットワークは畳み込み層で構成されていますが、それらはカプセルに編成されており、カプセルの全体的な結果は、動的な処理ルーチンによって決定された上位のカプセルに送られます。^{[ 5 ]}

CapsE: ^{[ 40 ]} CapsEは事実をモデル化するためにカプセルネットワークを実装します $(h,r,t)$ [ ⁴⁰^] ConvKBと同様に、各トリプル要素を連結して行列を構築する^。 ${\ce {[h;{\mathcal {r}};t]}}$ そして畳み込み層に入力して畳み込み特徴を抽出するために使用されます。^{[ 5 ]}^{[ 40 ]}これらの特徴はカプセルにリダイレクトされて連続ベクトルが生成され、ベクトルが長いほど事実がより真実になります。^{[ 40 ]}

リカレントニューラルネットワーク

このクラスのモデルは、リカレントニューラルネットワークの利用を活用しています。^{[ 5 ]}このアーキテクチャの利点は、単一のイベントを詳細に記憶するのではなく、事実のシーケンスを記憶することです。^{[ 41 ]}

RSN: ^{[ 41 ]}埋め込み手順では、類似のエンティティは類似の関係を持つと一般的に想定されています。^{[ 41 ]}実際には、埋め込みは事実の履歴ではなく進行中の事実のみに基づいて計算されるため、この種の情報は活用されません。^{[ 41 ]}リカレントスキッピングネットワーク (RSN) は、ランダムウォークサンプリングを使用して関係パスを学習するためにリカレントニューラルネットワークを使用します。^{[ 5 ]}^{[ 41 ]}

モデルのパフォーマンス

知識グラフ埋め込みの機械学習タスクで、モデルの埋め込み精度を評価するためによく使われるのはリンク予測です。^{[ 1 ]}^{[ 3 ]}^{[ 5 ]}^{[ 6 ]}^{[ 7 ]}^{[ 19 ]} Rossi ら^{[ 5 ]}はモデルの広範なベンチマークを作成しましたが、他の調査でも同様の結果が得られています。^{[ 3 ]}^{[ 7 ]}^{[ 19 ]}^{[ 26 ]}ベンチマークには、FB15k、^[⁹^] WN18、^[⁹^] FB15k-237、^[⁴²^] WN18RR、^[³⁷^]および YAGO3-10 [43] の 5 つのデータセットが含まれています。^最近^では、これらのデータセットは実際のアプリケーションからかけ離れており、他のデータセット^を標準ベンチマークとして統合する必要があると議論されています。^[⁴⁴^]

図書館

KGEのGitHubページ
MEI-KGE （GitHub）
Pykg2vec （GitHub）
DGL-KE （GitHub）
PyKEEN （GitHub）
TorchKGE （GitHub）
AmpliGraph （GitHub）
OpenKE （GitHub）
GitHub上のscikit-kge
Fast-TransX （GitHub）
MEIM-KGE （GitHub）
DICEEのGitHubページ

参考文献

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 Ji , Shaoxiong ; Pan , Shirui ; Cambria, Erik; Marttinen, Pekka; Yu, Philip S. (2021). "知識グラフに関する調査: 表現、取得、およびアプリケーション". IEEE Transactions on Neural Networks and Learning Systems . PP (2): 494– 514. arXiv : 2002.00388 . doi : 10.1109/TNNLS.2021.3070843 . hdl : 10072/416709 . ISSN 2162-237X . PMID 33900922 . S2CID 211010433 .
↑ Mohamed, Sameh K; Nováček, Vít; Nounu, Aayah (2019-08-01). Cowen, Lenore (編). "知識グラフ埋め込みを用いたタンパク質薬剤標的の発見" . Bioinformatics . 36 (2): 603– 610. doi : 10.1093/bioinformatics/btz600 . hdl : 10379/15375 . ISSN 1367-4803 . PMID 31368482 .
1 2 3 4林、燕開。ハン、シュウ。謝、ルオビング。劉志遠。日、毛松（2018-12-28）。「知識表現学習: 定量的レビュー」。arXiv : 1812.10901 [ cs.CL ]。
1 2 3 Abu-Salih, Bilal; Al-Tawil, Marwan; Aljarah, Ibrahim; Faris, Hossam; Wongthongtham, Pornpit; Chan, Kit Yan; Beheshti, Amin (2021-05-12). "知識グラフ埋め込みを用いた社会政治の関係学習分析" . Data Mining and Knowledge Discovery . 35 (4): 1497– 1536. arXiv : 2006.01626 . doi : 10.1007/s10618-021-00760-w . ISSN 1573-756X . S2CID 219179556 .
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 Rossi, Andrea; Barbosa, Denilson; Firmani, Donatella; Matinata, Antonio; Merialdo, Paolo (2020). "Knowledge Graph Embedding for Link Prediction: A Comparative Analysis" . ACM Transactions on Knowledge Discovery from Data . 15 (2): 1– 49. arXiv : 2002.00819 . doi : 10.1145/3424672 . hdl : 11573/1638610 . ISSN 1556-4681 . S2CID 211011226 .
1 2 Paulheim, Heiko (2016-12-06). Cimiano, Philipp (編). "知識グラフの洗練：アプローチと評価方法の調査" . Semantic Web . 8 (3): 489– 508. doi : 10.3233/SW-160218 . S2CID 13151033 .
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 Dai , Yuanfei; Wang, Shiping; Xiong, Neal N.; Guo, Wenzhong (2020 年 5 月). "知識グラフ埋め込みに関する調査: アプローチ、アプリケーション、ベンチマーク" . Electronics . 9 (5): 750. doi : 10.3390/electronics9050750 .
↑ Guo, Shu; Wang, Quan; Wang, Bin; Wang, Lihong; Guo, Li (2015). "意味的に滑らかな知識グラフ埋め込み" . Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers) . Association for Computational Linguistics. pp. 84– 94. doi : 10.3115/v1/P15-1009 . S2CID 205692 .
1 2 3 4 5 6 7 Bordes, Antoine; Usunier, Nicolas; Garcia-Durán, Alberto; Weston, Jason; Yakhnenko, Oksana (2013 年 5 月). "多関係データのモデリングのための埋め込みの変換" . NIPS'13: 第 26 回国際ニューラル情報処理システム会議議事録. Vol. 2. Curran Associates Inc. pp. 2787–2795 .
1 2 3 4 5 6 7 8 9 10 11 12チェン、ゼー;ワン・ユエハン。趙斌；チェン、ジン;趙、信。ドゥアン・ゾンタオ（2020）。「ナレッジグラフの完成: レビュー」。IEEE アクセス。8 : 192435–192456。Bibcode : 2020IEEEA...8s2435C。土井：10.1109/ACCESS.2020.3030076。ISSN 2169-3536。S2CID 226230006。
1 2 3 4 5 Cai, Hongyun; Zheng, Vincent W.; Chang, Kevin Chen-Chuan (2018-02-02). "グラフ埋め込みの包括的な調査: 問題、技術、およびアプリケーション". arXiv : 1709.07604 [ cs.AI ].
1 2周、シジン。ダイ、信義。チェン、ハクン。張渭南。レン、カン。唐、瑞明。彼、秀強。ユ、ヨン (2020-06-18)。「ナレッジグラフ強化強化学習による対話型レコメンダーシステム」。arXiv : 2006.10389 [ cs.IR ]。
↑ Liu, Chan; Li, Lun; Yao, Xiaolu; Tang, Lin (2019年8月)「知識グラフ埋め込みに基づく推薦アルゴリズムの概観」2019 IEEE International Conference on Computer Science and Educational Informatization (CSEI) pp. 168–171 . doi : 10.1109/CSEI47661.2019.8938875 . ISBN 978-1-7281-2308-0. S2CID 209459928 .
↑ Eytan, L., Bogina, V., Ben-Gal, I., & Koenigstein, N. (2025). "KPAR: 知識認識型パスベース注意型レコメンダー（解釈可能性付き）" (PDF) . ACM Transactions on Recommender Systems, 3(3), 1-23.{{cite web}}: CS1 maint: 複数名: 著者リスト (リンク) CS1 maint: 数値名: 著者リスト (リンク)
1 2 Sosa, Daniel N.; Derry, Alexander; Guo, Margaret; Wei, Eric; Brinton, Connor; Altman, Russ B. (2020). "希少疾患における薬剤再利用の機会を特定するための文献ベースの知識グラフ埋め込み手法" . Pacific Symposium on Biocomputing. Pacific Symposium on Biocomputing . 25 : 463– 474. ISSN 2335-6936 . PMC 6937428 . PMID 31797619 .
1 2 Nickel, Maximilian; Tresp, Volker; Kriegel, Hans-Peter (2011-06-28). "多関係データにおける集合学習のための3方向モデル" . ICML'11: Proceedings of the 28th International Conference on Machine Learning . Omnipress. pp. 809–816 . ISBN 978-1-4503-0619-5。
↑ Nickel, Maximilian; Tresp, Volker; Kriegel, Hans-Peter (2012-04-16). "Factorizing YAGO". Proceedings of the 21st international conference on World Wide Web . Association for Computing Machinery. pp. 271–280 . doi : 10.1145/2187836.2187874 . ISBN 978-1-4503-1229-5. S2CID 6348464 .
1 2 3 4 5 6 7 8 9 10 Alshahrani, Mona; Thafar, Maha A.; Essack, Magbubah (2021-02-18). "生体医療データにおける知識グラフ埋め込みの適用と評価" . PeerJ Computer Science . 7 e341. doi : 10.7717/peerj-cs.341 . ISSN 2376-5992 . PMC 7959619 . PMID 33816992 .
1 2 3 4 5 6 7 8 9 10 11 Wang, Meihong; Qiu, Linling; Wang, Xiaoli (2021-03-16). "リンク予測のための知識グラフ埋め込みに関する調査" . Symmetry . 13 (3): 485. Bibcode : 2021Symm...13..485W . doi : 10.3390/sym13030485 . ISSN 2073-8994 .
1 2 Yang, Bishan; Yih, Wen-tau; He, Xiaodong; Gao, Jianfeng; Deng, Li (2015-08-29). "知識ベースにおける学習と推論のためのエンティティと関係の埋め込み". arXiv : 1412.6575 [ cs.CL ].
1 2 3トロイヨン、テオ;ウェルブル、ヨハネス。リーデル、セバスチャン。ゴシエ、エリック。ブシャール、ギョーム (2016-06-20)。「単純なリンク予測のための複雑な埋め込み」。arXiv : 1606.06357 [ cs.AI ]。
1 2 3 4 5 Liu, Hanxiao; Wu, Yuexin; Yang, Yiming (2017-07-06). "多重関係埋め込みのための類推推論". arXiv : 1705.02426 [ cs.LG ].
1 2 3 Kazemi, Seyed Mehran; Poole, David (2018-10-25). "知識グラフにおけるリンク予測のためのSimplE Embedding". arXiv : 1802.04868 [ stat.ML ].
1 2 3 Nickel, Maximilian; Rosasco, Lorenzo; Poggio, Tomaso (2015-12-07). "知識グラフのホログラフィック埋め込み". arXiv : 1510.04935 [ cs.AI ].
1 2 3 4 Balažević, Ivana; Allen, Carl; Hospedales, Timothy M. (2019). "TuckER: 知識グラフ補完のためのテンソル分解". Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP) . pp. 5184– 5193. arXiv : 1901.09590 . doi : 10.18653/v1/D19-1522 . S2CID 59316623 .
1 2 Ali, Mehdi; Berrendorf, Max; Hoyt, Charles Tapley; Vermue, Laurent; Galkin, Mikhail; Sharifzadeh, Sahand; Fischer, Asja; Tresp, Volker; Lehmann, Jens (2021). "Bringing Light into the Dark: A Large-scale Evaluation of Knowledge Graph Embedding Models under a Unified Framework". IEEE Transactions on Pattern Analysis and Machine Intelligence . PP (12): 8825– 8845. arXiv : 2006.13365 . doi : 10.1109/TPAMI.2021.3124805 . PMID 34735335 . S2CID 220041612 .
1 2 3 Tran, Hung Nghiep; Takasu, Atsuhiro (2020). "Multi-Partition Embedding Interaction with Block Term Format for Knowledge Graph Completion" . Proceedings of the European Conference on Artificial Intelligence (ECAI 2020) . Frontiers in Artificial Intelligence and Applications. Vol. 325. IOS Press. pp. 833– 840. arXiv : 2006.16365 . doi : 10.3233/FAIA200173 . S2CID 220265751 .
1 2 3 Tran, Hung-Nghiep; Takasu, Atsuhiro (2022-07-16). "MEIM: ブロック項形式を超えたマルチパーティション埋め込み相互作用による効率的かつ表現力豊かなリンク予測".第31回国際人工知能合同会議議事録. Vol. 3. pp. 2262–2269 . doi : 10.24963/ijcai.2022/314 . ISBN 978-1-956792-00-3. S2CID 250635995 .
1 2 Wang, Zhen (2014). "Knowledge Graph Embedding by Translating on Hyperplanes" . Proceedings of the AAAI Conference on Artificial Intelligence . Vol. 28. doi : 10.1609/aaai.v28i1.8870 . S2CID 15027084 .
↑ Lin, Yankai; Liu, Zhiyuan; Sun, Maosong; Liu, Yang; Zhu, Xuan (2015-01-25). Learning entity and relation embeddings for knowledge graph completion . AAAI Press. pp. 2181–2187 . ISBN 978-0-262-51129-2。
1 2 3 4 5 Ji, Guoliang; He, Shizhu; Xu, Liheng; Liu, Kang; Zhao, Jun (2015 年 7 月). "動的マッピング行列による知識グラフ埋め込み" .第 53 回計算言語学会年次大会および第 7 回自然言語処理国際合同会議論文集 (第 1 巻: 長編論文) . 計算言語学会. pp. 687–696 . doi : 10.3115/v1/P15-1067 . S2CID 11202498 .
1 2 3 4シャオ、ハン。ファン、ミンリー。ハオ、ユウ。朱暁燕 (2015-09-27)。「TransA: ナレッジグラフ埋め込みのための適応的アプローチ」。arXiv : 1509.05490 [ cs.CL ]。
1 2 3 4 5 Nguyen, Dat Quoc; Sirts, Kairit; Qu, Lizhen; Johnson, Mark (2016 年 6 月). "STransE: 知識ベースにおけるエンティティと関係の新しい埋め込みモデル" . 2016 年北米計算言語学会会議議事録: 人間言語技術. 計算言語学会. pp. 460–466 . arXiv : 1606.08140 . doi : 10.18653/v1/N16-1054 . S2CID 9884935 .
1 2 3 4 5 6 7 Zhang, Wen; Paudel, Bibek; Zhang, Wei; Bernstein, Abraham; Chen, Huajun (2019-01-30). "知識グラフにおける予測と説明のための相互作用埋め込み".第12回ACM国際ウェブ検索・データマイニング会議議事録. pp. 96–104 . arXiv : 1903.04750 . doi : 10.1145/3289600.3291014 . ISBN 9781450359405. S2CID 59516071 .
1 2 3 4エビス、タクマ。一瀬龍太郎(2017-11-15)。「TorusE: リー群へのナレッジグラフの埋め込み」。arXiv : 1711.05435 [ cs.AI ]。
1 2 3 4 5 Sun, Zhiqing; Deng, Zhi-Hong; Nie, Jian-Yun; Tang, Jian (2019-02-26). "RotatE: 複雑空間における関係回転による知識グラフ埋め込み". arXiv : 1902.10197 [ cs.LG ].
1 2 3 4 5 6 Dettmers, Tim; Minervini, Pasquale; Stenetorp, Pontus; Riedel, Sebastian (2018-07-04). "Convolutional 2D Knowledge Graph Embeddings". arXiv : 1707.01476 [ cs.LG ].
1 2 3 4 Jiang, Xiaotian; Wang, Quan; Wang, Bin (2019 年 6 月). "Adaptive Convolution for Multi-Relational Learning" . Proceedings of the 2019 Conference of the North . Association for Computational Linguistics. pp. 978–987 . doi : 10.18653/v1/N19-1103 . S2CID 174800352 .
1 2 3 4 Nguyen, Dai Quoc; Nguyen, Tu Dinh; Nguyen, Dat Quoc; Phung, Dinh (2018). "畳み込みニューラルネットワークに基づく知識ベース補完のための新しい埋め込みモデル". Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers) . pp. 327– 333. arXiv : 1712.02121 . doi : 10.18653/v1/N18-2053 . S2CID 3882054 .
1 2 3 4 5グエン、ダイコック;ヴー、タン;グエン、トゥディン;グエン、ダットコック。フン、ディン (2019-03-06)。「ナレッジグラフの補完と検索のパーソナライゼーションのためのカプセルネットワークベースの埋め込みモデル」。arXiv : 1808.04122 [ cs.CL ]。
1 2 3 4 5 6 Guo, Lingbing; Sun, Zequn; Hu, Wei (2019-05-13). "知識グラフにおける長期的な関係依存性の活用学習". arXiv : 1905.04914 [ cs.AI ].
1 2 Toutanova, Kristina; Chen, Danqi (2015 年 7 月) 「知識ベースとテキスト推論のための観測特徴と潜在特徴」 .第 3 回連続ベクトル空間モデルとその構成性に関するワークショップ議事録. 計算言語学会 . pp. 57–66 . doi : 10.18653/v1/W15-4007 . S2CID 5378837 .
1 2マディソルタニ、F.ビエガ、J.サチャネク、ファビアン M. (2015)。「YAGO3: 多言語ウィキペディアの知識ベース」。CIDR。S2CID 6611164。
↑ Hu, Weihua; Fey, Matthias; Zitnik, Marinka; Dong, Yuxiao; Ren, Hongyu; Liu, Bowen; Catasta, Michele; Leskovec, Jure (2021-02-24). "Open Graph Benchmark: Datasets for Machine Learning on Graphs". arXiv : 2005.00687 [ cs.LG ].

外部リンク

Open Graphベンチマーク - スタンフォード大学
ワードネット - プリンストン

[:0-1] 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 Ji , Shaoxiong ; Pan , Shirui ; Cambria, Erik; Marttinen, Pekka; Yu, Philip S. (2021). "知識グラフに関する調査: 表現、取得、およびアプリケーション". IEEE Transactions on Neural Networks and Learning Systems . PP (2): 494– 514. arXiv : 2002.00388 . doi : 10.1109/TNNLS.2021.3070843 . hdl : 10072/416709 . ISSN 2162-237X . PMID 33900922 . S2CID 211010433 .

[2] Mohamed, Sameh K; Nováček, Vít; Nounu, Aayah (2019-08-01). Cowen, Lenore (編). "知識グラフ埋め込みを用いたタンパク質薬剤標的の発見" . Bioinformatics . 36 (2): 603– 610. doi : 10.1093/bioinformatics/btz600 . hdl : 10379/15375 . ISSN 1367-4803 . PMID 31368482 .

[:2-3] 1 2 3 4林、燕開。ハン、シュウ。謝、ルオビング。劉志遠。日、毛松（2018-12-28）。「知識表現学習: 定量的レビュー」。arXiv : 1812.10901 [ cs.CL ]。

[:32-4] 1 2 3 Abu-Salih, Bilal; Al-Tawil, Marwan; Aljarah, Ibrahim; Faris, Hossam; Wongthongtham, Pornpit; Chan, Kit Yan; Beheshti, Amin (2021-05-12). "知識グラフ埋め込みを用いた社会政治の関係学習分析" . Data Mining and Knowledge Discovery . 35 (4): 1497– 1536. arXiv : 2006.01626 . doi : 10.1007/s10618-021-00760-w . ISSN 1573-756X . S2CID 219179556 .

[:1-5] 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 Rossi, Andrea; Barbosa, Denilson; Firmani, Donatella; Matinata, Antonio; Merialdo, Paolo (2020). "Knowledge Graph Embedding for Link Prediction: A Comparative Analysis" . ACM Transactions on Knowledge Discovery from Data . 15 (2): 1– 49. arXiv : 2002.00819 . doi : 10.1145/3424672 . hdl : 11573/1638610 . ISSN 1556-4681 . S2CID 211011226 .

[:27-6] 1 2 Paulheim, Heiko (2016-12-06). Cimiano, Philipp (編). "知識グラフの洗練：アプローチと評価方法の調査" . Semantic Web . 8 (3): 489– 508. doi : 10.3233/SW-160218 . S2CID 13151033 .

[:3-7] 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 Dai , Yuanfei; Wang, Shiping; Xiong, Neal N.; Guo, Wenzhong (2020 年 5 月). "知識グラフ埋め込みに関する調査: アプローチ、アプリケーション、ベンチマーク" . Electronics . 9 (5): 750. doi : 10.3390/electronics9050750 .

[8] Guo, Shu; Wang, Quan; Wang, Bin; Wang, Lihong; Guo, Li (2015). "意味的に滑らかな知識グラフ埋め込み" . Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers) . Association for Computational Linguistics. pp. 84– 94. doi : 10.3115/v1/P15-1009 . S2CID 205692 .

[:9-9] 1 2 3 4 5 6 7 Bordes, Antoine; Usunier, Nicolas; Garcia-Durán, Alberto; Weston, Jason; Yakhnenko, Oksana (2013 年 5 月). "多関係データのモデリングのための埋め込みの変換" . NIPS'13: 第 26 回国際ニューラル情報処理システム会議議事録. Vol. 2. Curran Associates Inc. pp. 2787–2795 .

[:31-10] 1 2 3 4 5 6 7 8 9 10 11 12チェン、ゼー;ワン・ユエハン。趙斌；チェン、ジン;趙、信。ドゥアン・ゾンタオ（2020）。「ナレッジグラフの完成: レビュー」。IEEE アクセス。8 : 192435–192456。Bibcode : 2020IEEEA...8s2435C。土井：10.1109/ACCESS.2020.3030076。ISSN 2169-3536。S2CID 226230006。

[:35-11] 1 2 3 4 5 Cai, Hongyun; Zheng, Vincent W.; Chang, Kevin Chen-Chuan (2018-02-02). "グラフ埋め込みの包括的な調査: 問題、技術、およびアプリケーション". arXiv : 1709.07604 [ cs.AI ].

[:33-12] 1 2周、シジン。ダイ、信義。チェン、ハクン。張渭南。レン、カン。唐、瑞明。彼、秀強。ユ、ヨン (2020-06-18)。「ナレッジグラフ強化強化学習による対話型レコメンダーシステム」。arXiv : 2006.10389 [ cs.IR ]。

[13] Liu, Chan; Li, Lun; Yao, Xiaolu; Tang, Lin (2019年8月)「知識グラフ埋め込みに基づく推薦アルゴリズムの概観」2019 IEEE International Conference on Computer Science and Educational Informatization (CSEI) pp. 168–171 . doi : 10.1109/CSEI47661.2019.8938875 . ISBN 978-1-7281-2308-0. S2CID 209459928 .

[EBBK25-14] Eytan, L., Bogina, V., Ben-Gal, I., & Koenigstein, N. (2025). "KPAR: 知識認識型パスベース注意型レコメンダー（解釈可能性付き）" (PDF) . ACM Transactions on Recommender Systems, 3(3), 1-23.{{cite web}}: CS1 maint: 複数名: 著者リスト (リンク) CS1 maint: 数値名: 著者リスト (リンク)

[:34-15] 1 2 Sosa, Daniel N.; Derry, Alexander; Guo, Margaret; Wei, Eric; Brinton, Connor; Altman, Russ B. (2020). "希少疾患における薬剤再利用の機会を特定するための文献ベースの知識グラフ埋め込み手法" . Pacific Symposium on Biocomputing. Pacific Symposium on Biocomputing . 25 : 463– 474. ISSN 2335-6936 . PMC 6937428 . PMID 31797619 .

[:22-16] 1 2 Nickel, Maximilian; Tresp, Volker; Kriegel, Hans-Peter (2011-06-28). "多関係データにおける集合学習のための3方向モデル" . ICML'11: Proceedings of the 28th International Conference on Machine Learning . Omnipress. pp. 809–816 . ISBN 978-1-4503-0619-5。

[17] Nickel, Maximilian; Tresp, Volker; Kriegel, Hans-Peter (2012-04-16). "Factorizing YAGO". Proceedings of the 21st international conference on World Wide Web . Association for Computing Machinery. pp. 271–280 . doi : 10.1145/2187836.2187874 . ISBN 978-1-4503-1229-5. S2CID 6348464 .

[:25-18] 1 2 3 4 5 6 7 8 9 10 Alshahrani, Mona; Thafar, Maha A.; Essack, Magbubah (2021-02-18). "生体医療データにおける知識グラフ埋め込みの適用と評価" . PeerJ Computer Science . 7 e341. doi : 10.7717/peerj-cs.341 . ISSN 2376-5992 . PMC 7959619 . PMID 33816992 .

[:4-19] 1 2 3 4 5 6 7 8 9 10 11 Wang, Meihong; Qiu, Linling; Wang, Xiaoli (2021-03-16). "リンク予測のための知識グラフ埋め込みに関する調査" . Symmetry . 13 (3): 485. Bibcode : 2021Symm...13..485W . doi : 10.3390/sym13030485 . ISSN 2073-8994 .

[:11-20] 1 2 Yang, Bishan; Yih, Wen-tau; He, Xiaodong; Gao, Jianfeng; Deng, Li (2015-08-29). "知識ベースにおける学習と推論のためのエンティティと関係の埋め込み". arXiv : 1412.6575 [ cs.CL ].

[:5-21] 1 2 3トロイヨン、テオ;ウェルブル、ヨハネス。リーデル、セバスチャン。ゴシエ、エリック。ブシャール、ギョーム (2016-06-20)。「単純なリンク予測のための複雑な埋め込み」。arXiv : 1606.06357 [ cs.AI ]。

[:12-22] 1 2 3 4 5 Liu, Hanxiao; Wu, Yuexin; Yang, Yiming (2017-07-06). "多重関係埋め込みのための類推推論". arXiv : 1705.02426 [ cs.LG ].

[:13-23] 1 2 3 Kazemi, Seyed Mehran; Poole, David (2018-10-25). "知識グラフにおけるリンク予測のためのSimplE Embedding". arXiv : 1802.04868 [ stat.ML ].

[:14-24] 1 2 3 Nickel, Maximilian; Rosasco, Lorenzo; Poggio, Tomaso (2015-12-07). "知識グラフのホログラフィック埋め込み". arXiv : 1510.04935 [ cs.AI ].

[:15-25] 1 2 3 4 Balažević, Ivana; Allen, Carl; Hospedales, Timothy M. (2019). "TuckER: 知識グラフ補完のためのテンソル分解". Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP) . pp. 5184– 5193. arXiv : 1901.09590 . doi : 10.18653/v1/D19-1522 . S2CID 59316623 .

[:26-26] 1 2 Ali, Mehdi; Berrendorf, Max; Hoyt, Charles Tapley; Vermue, Laurent; Galkin, Mikhail; Sharifzadeh, Sahand; Fischer, Asja; Tresp, Volker; Lehmann, Jens (2021). "Bringing Light into the Dark: A Large-scale Evaluation of Knowledge Graph Embedding Models under a Unified Framework". IEEE Transactions on Pattern Analysis and Machine Intelligence . PP (12): 8825– 8845. arXiv : 2006.13365 . doi : 10.1109/TPAMI.2021.3124805 . PMID 34735335 . S2CID 220041612 .

[:36-27] 1 2 3 Tran, Hung Nghiep; Takasu, Atsuhiro (2020). "Multi-Partition Embedding Interaction with Block Term Format for Knowledge Graph Completion" . Proceedings of the European Conference on Artificial Intelligence (ECAI 2020) . Frontiers in Artificial Intelligence and Applications. Vol. 325. IOS Press. pp. 833– 840. arXiv : 2006.16365 . doi : 10.3233/FAIA200173 . S2CID 220265751 .

[:37-28] 1 2 3 Tran, Hung-Nghiep; Takasu, Atsuhiro (2022-07-16). "MEIM: ブロック項形式を超えたマルチパーティション埋め込み相互作用による効率的かつ表現力豊かなリンク予測".第31回国際人工知能合同会議議事録. Vol. 3. pp. 2262–2269 . doi : 10.24963/ijcai.2022/314 . ISBN 978-1-956792-00-3. S2CID 250635995 .

[:6-29] 1 2 Wang, Zhen (2014). "Knowledge Graph Embedding by Translating on Hyperplanes" . Proceedings of the AAAI Conference on Artificial Intelligence . Vol. 28. doi : 10.1609/aaai.v28i1.8870 . S2CID 15027084 .

[:10-30] Lin, Yankai; Liu, Zhiyuan; Sun, Maosong; Liu, Yang; Zhu, Xuan (2015-01-25). Learning entity and relation embeddings for knowledge graph completion . AAAI Press. pp. 2181–2187 . ISBN 978-0-262-51129-2。

[:7-31] 1 2 3 4 5 Ji, Guoliang; He, Shizhu; Xu, Liheng; Liu, Kang; Zhao, Jun (2015 年 7 月). "動的マッピング行列による知識グラフ埋め込み" .第 53 回計算言語学会年次大会および第 7 回自然言語処理国際合同会議論文集 (第 1 巻: 長編論文) . 計算言語学会. pp. 687–696 . doi : 10.3115/v1/P15-1067 . S2CID 11202498 .

[:8-32] 1 2 3 4シャオ、ハン。ファン、ミンリー。ハオ、ユウ。朱暁燕 (2015-09-27)。「TransA: ナレッジグラフ埋め込みのための適応的アプローチ」。arXiv : 1509.05490 [ cs.CL ]。

[:16-33] 1 2 3 4 5 Nguyen, Dat Quoc; Sirts, Kairit; Qu, Lizhen; Johnson, Mark (2016 年 6 月). "STransE: 知識ベースにおけるエンティティと関係の新しい埋め込みモデル" . 2016 年北米計算言語学会会議議事録: 人間言語技術. 計算言語学会. pp. 460–466 . arXiv : 1606.08140 . doi : 10.18653/v1/N16-1054 . S2CID 9884935 .

[:17-34] 1 2 3 4 5 6 7 Zhang, Wen; Paudel, Bibek; Zhang, Wei; Bernstein, Abraham; Chen, Huajun (2019-01-30). "知識グラフにおける予測と説明のための相互作用埋め込み".第12回ACM国際ウェブ検索・データマイニング会議議事録. pp. 96–104 . arXiv : 1903.04750 . doi : 10.1145/3289600.3291014 . ISBN 9781450359405. S2CID 59516071 .

[:18-35] 1 2 3 4エビス、タクマ。一瀬龍太郎(2017-11-15)。「TorusE: リー群へのナレッジグラフの埋め込み」。arXiv : 1711.05435 [ cs.AI ]。

[:19-36] 1 2 3 4 5 Sun, Zhiqing; Deng, Zhi-Hong; Nie, Jian-Yun; Tang, Jian (2019-02-26). "RotatE: 複雑空間における関係回転による知識グラフ埋め込み". arXiv : 1902.10197 [ cs.LG ].

[:29-37] 1 2 3 4 5 6 Dettmers, Tim; Minervini, Pasquale; Stenetorp, Pontus; Riedel, Sebastian (2018-07-04). "Convolutional 2D Knowledge Graph Embeddings". arXiv : 1707.01476 [ cs.LG ].

[:20-38] 1 2 3 4 Jiang, Xiaotian; Wang, Quan; Wang, Bin (2019 年 6 月). "Adaptive Convolution for Multi-Relational Learning" . Proceedings of the 2019 Conference of the North . Association for Computational Linguistics. pp. 978–987 . doi : 10.18653/v1/N19-1103 . S2CID 174800352 .

[:21-39] 1 2 3 4 Nguyen, Dai Quoc; Nguyen, Tu Dinh; Nguyen, Dat Quoc; Phung, Dinh (2018). "畳み込みニューラルネットワークに基づく知識ベース補完のための新しい埋め込みモデル". Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 2 (Short Papers) . pp. 327– 333. arXiv : 1712.02121 . doi : 10.18653/v1/N18-2053 . S2CID 3882054 .

[:23-40] 1 2 3 4 5グエン、ダイコック;ヴー、タン;グエン、トゥディン;グエン、ダットコック。フン、ディン (2019-03-06)。「ナレッジグラフの補完と検索のパーソナライゼーションのためのカプセルネットワークベースの埋め込みモデル」。arXiv : 1808.04122 [ cs.CL ]。

[:24-41] 1 2 3 4 5 6 Guo, Lingbing; Sun, Zequn; Hu, Wei (2019-05-13). "知識グラフにおける長期的な関係依存性の活用学習". arXiv : 1905.04914 [ cs.AI ].

[:28-42] 1 2 Toutanova, Kristina; Chen, Danqi (2015 年 7 月) 「知識ベースとテキスト推論のための観測特徴と潜在特徴」 .第 3 回連続ベクトル空間モデルとその構成性に関するワークショップ議事録. 計算言語学会 . pp. 57–66 . doi : 10.18653/v1/W15-4007 . S2CID 5378837 .

[:30-43] 1 2マディソルタニ、F.ビエガ、J.サチャネク、ファビアン M. (2015)。「YAGO3: 多言語ウィキペディアの知識ベース」。CIDR。S2CID 6611164。

[44] Hu, Weihua; Fey, Matthias; Zitnik, Marinka; Dong, Yuxiao; Ren, Hongyu; Liu, Bowen; Catasta, Michele; Leskovec, Jure (2021-02-24). "Open Graph Benchmark: Datasets for Machine Learning on Graphs". arXiv : 2005.00687 [ cs.LG ].

、

[ 8 ]

[ 13 ]

[ 14 ]

[ 17 ]

を