言い換え（計算言語学）

計算言語学におけるパラフレーズまたは言い換えは、言い換えを検出および生成する自然言語処理タスクです。言い換えの用途は、情報検索、質問応答、テキスト要約、盗作検出など多岐にわたります。^{[1]言い換えは、}機械翻訳の評価にも役立ちます。^[2]また、意味解析^[3]や既存のコーパスを拡張するための新しいサンプルの生成^[4]にも役立ちます。^[5]

BarzilayとLee ^{[5]は、単一言語の}パラレルコーパス、つまり同じ日の同じ出来事を扱ったニュース記事を使用してパラフレーズを生成する方法を提案した。トレーニングは、マルチシーケンスアライメントを使用して、注釈のないコーパスから文レベルのパラフレーズを生成することで構成される。これは、

• 個々のコーパスで繰り返し発生するパターンを見つける。例えば、「X（負傷者）Y人、Z重傷」など。ここで、X、Y、Zは変数である。
• 言い換えを表すパターン間のペアリングを見つける、つまり「XはY人を負傷させ、Zは重傷」と「YはXによって負傷し、そのうちZは重傷」

これは、まずn-gramオーバーラップを使用して類似の文をクラスタリングすることで実現されます。マルチシーケンス アライメントを使用して、クラスター内で繰り返しパターンが検出されます。次に、各クラスター内の変動性の高い領域、つまりクラスターの文の 50% 以上で共有されている単語間の領域を検出することで、引数の単語の位置が決定されます。次に、異なるコーパス間で類似の変数単語を比較することで、パターン間のペアリングが検出されます。最後に、ソース文に一致するクラスターを選択し、ソース文の引数をクラスター内の任意の数のパターンに置き換えることで、新しい言い換えを生成できます。

パラフレーズは、バナードとカリソン・バーチが提案したフレーズベースの翻訳を使用して生成することもできます。 ^[6]主な概念は、ピボット言語のフレーズを揃えて、元の言語で潜在的なパラフレーズを生成することです。たとえば、英語の文のフレーズ「under control」は、ドイツ語のフレーズ「unter kontrolle」と揃えられます。次に、フレーズ「unter kontrolle」は別のドイツ語の文に見つかり、揃えられた英語のフレーズは「under control」のパラフレーズである「in check」になります。

確率分布は としてモデル化できます。確率フレーズは の言い換えであり、これは全体にわたって合計したもの、つまりピボット言語での潜在的なフレーズ翻訳に相当します。さらに、文は、言い換えにコンテキストを追加するために事前として追加されます。したがって、最適な言い換えは、次のようにモデル化できます。 ${\displaystyle \Pr(e_{2}|e_{1})}$${\displaystyle e_{2}}$${\displaystyle e_{1}}$${\displaystyle \Pr(e_{2}|f)\Pr(f|e_{1})}$${\displaystyle f}$${\displaystyle e_{1}}$${\displaystyle {\hat {e_{2}}}}$

${\displaystyle {\hat {e_{2}}}={\text{arg}}\max _{e_{2}\neq e_{1}}\Pr(e_{2}|e_{1},S)={\text{arg}}\max _{e_{2}\neq e_{1}}\sum _{f}\Pr(e_{2}|f,S)\Pr(f|e_{1},S)}$

${\displaystyle \Pr(e_{2}|f)}$および は、単に頻度を取ることによって近似することができます。 を事前分布として追加することは、を に置き換えたときにが形成される確率を計算することによってモデル化されます。${\displaystyle \Pr(f|e_{1})}$${\displaystyle S}$${\displaystyle S}$${\displaystyle e_{1}}$${\displaystyle e_{2}}$

長短期記憶（LSTM）モデルを使用して言い換えを生成することに成功している。^[7]つまり、このモデルはエンコーダーとデコーダーのコンポーネントで構成され、どちらもスタックされた残差LSTMのバリエーションを使用して実装されています。まず、エンコーディングLSTMは、文中のすべての単語のワンホットエンコーディングを入力として受け取り、入力文を表すことができる最終的な隠しベクトルを生成します。デコーディングLSTMは、隠しベクトルを入力として受け取り、文末トークンで終了する新しい文を生成します。エンコーダーとデコーダーは、フレーズを受け取り、単純な確率的勾配降下法を使用して困惑を最小限に抑えることで、対応する言い換えのワンホット分布を再現するようにトレーニングされます。新しい言い換えは、新しいフレーズをエンコーダーに入力し、出力をデコーダーに渡すことによって生成されます。

Transformerモデルの導入により、ニューラルネットワークパラメータをスケーリングし、フィードフォワード層を通じてトレーニングを大幅に並列化することで、言い換え生成アプローチのテキスト生成能力が向上しました。^[8]これらのモデルはテキスト生成が非常に流暢であるため、人間の専門家は例が人間が作成したものか機械が作成したものかを識別することができません。^[9] Transformerベースの言い換え生成は、自動エンコード、自己回帰、またはシーケンスツーシーケンス法に依存しています。自動エンコーダモデルは語彙のワンホット分布を使用して単語の置換候補を予測し、自己回帰モデルとseq2seqモデルは一度に1単語を予測するソースに基づいて新しいテキストを生成します。^{[10] [11]}意味の保持や語彙の多様性など、事前に定義された品質の次元に従って言い換えを制御可能にするためのより高度な取り組みも存在します。^[12]多くのTransformerベースの言い換え生成方法は、大量のトレーニングデータを活用して方法を拡張するために、教師なし学習に依存しています。^{[13] [14]}

言い換え認識は、Socherら^{[1]によって再帰}オートエンコーダーを使用して試みられました。主な概念は、オートエンコーダーを再帰的に使用して、文とその構成要素のベクトル表現を生成することです。言い換えのベクトル表現は同様のベクトル表現を持つ必要があり、処理されてから、分類のためにニューラルネットワークに入力として送られます。

単語を含む文が与えられると、オートエンコーダは 2次元の単語埋め込みを入力として受け取り、 次元のベクトルを出力として生成するように設計されています。同じオートエンコーダが のすべての単語のペアに適用され、ベクトルが生成されます。次に、オートエンコーダは、単一のベクトルが生成されるまで、新しいベクトルを入力として再帰的に適用されます。入力が奇数の場合、最初のベクトルはそのまま次の再帰レベルに転送されます。オートエンコーダは、初期の単語埋め込みを含む完全な再帰ツリー内のすべてのベクトルを再現するようにトレーニングされます。 ${\displaystyle W}$${\displaystyle m}$${\displaystyle n}$${\displaystyle n}$${\displaystyle S}$${\displaystyle \lfloor m/2\rfloor }$

長さがそれぞれ 4 と 3 の2 つの文とが与えられると、オートエンコーダーは、初期の単語埋め込みを含む 7 と 5 のベクトル表現を生成します。次に、とのベクトルのすべての組み合わせ間でユークリッド距離が測定され、類似性マトリックス が生成されます。次に、は動的 min-プーリング層にかけられて、固定サイズのマトリックスが生成されます。はすべての潜在的な文間でサイズが均一ではないため、ほぼ均等なセクションに分割されます。次に、出力は平均 0、標準偏差 1 になるように正規化され、ソフトマックス出力を持つ完全接続層に送られます。動的プーリングからソフトマックスへのモデルは、既知の言い換えのペアを使用してトレーニングされます。 ${\displaystyle W_{1}}$${\displaystyle W_{2}}$${\displaystyle W_{1}}$${\displaystyle W_{2}}$${\displaystyle S\in \mathbb {R} ^{7\times 5}}$${\displaystyle S}$${\displaystyle n_{p}\times n_{p}}$${\displaystyle S}$${\displaystyle S}$${\displaystyle n_{p}}$

スキップ・ソート・ベクトルは、スキップ・グラム・モデルと同様に、文の意味のベクトル表現を作成する試みである。^[15]スキップ・ソート・ベクトルは、エンコーダーと2つのデコーダーという3つの主要コンポーネントで構成されるスキップ・ソート・モデルを使用して生成されます。文書のコーパスが与えられると、スキップ・ソート・モデルは文を入力として受け取り、それをスキップ・ソート・ベクトルにエンコードするようにトレーニングされます。スキップ・ソート・ベクトルは、両方のデコーダーの入力として使用されます。1つは前の文を完全に再現しようとし、もう1つは次の文を完全に再現しようとします。エンコーダーとデコーダーは、再帰ニューラルネットワーク（RNN）またはLSTMを使用して実装できます。

言い換えは互いに同じ意味を持つため、同様のスキップ思考ベクトルを持つはずです。したがって、2 つのスキップ思考ベクトルの絶対差と成分ごとの積を入力として、単純なロジスティック回帰をトレーニングして、良好なパフォーマンスを得ることができます。

Transformerモデルが言い換え生成に影響を与えたのと同様に、言い換えの識別への応用も大きな成功を収めました。BERTなどのモデルは、バイナリ分類レイヤーに適応でき、識別タスクでエンドツーエンドでトレーニングできます。^{[16] [17] Transformerは、}ロジスティック回帰などの従来の機械学習手法と比較して、ドメインや言い換え手法間の転送で優れた結果を達成します。Transformerアーキテクチャに基づく他の成功した方法には、敵対的学習とメタ学習の使用が含まれます。^{[18] [19]}

言い換えを評価するには、複数の方法を使用できます。言い換え認識は分類問題として提起できるため、精度、f1スコア、ROC曲線などのほとんどの標準的な評価指標は比較的うまく機能します。ただし、特定のフレーズに対する言い換えの完全なリストを作成するのが難しく、優れた言い換えはコンテキストに依存するため、f1スコアの計算は困難です。これらの問題に対処するために設計された指標がParaMetricです。^{[20] ParaMetricは、自動言い換えシステムの}精度と再現率を計算することを目的とし、言い換えの自動アライメントを類似フレーズの手動アライメントと比較します。ParaMetricはフレーズアライメントの品質を評価するだけなので、フレーズアライメントを生成プロセスの一部として使用していると仮定すると、言い換え生成システムの評価に使用できます。ParaMetricの顕著な欠点は、評価を生成する前に最初に作成しなければならない、大量かつ網羅的な手動アライメントのセットです。

言い換え生成の評価は、機械翻訳の評価と同様の困難を伴う。言い換えの質は、文脈、要約として使用されているかどうか、どのように生成されたかなど、さまざまな要因に依存する。さらに、良い言い換えは通常、元のフレーズとは語彙的に異なっている。言い換え生成を評価するために使用される最も簡単な方法は、人間の審査員を使用することである。残念ながら、人間の審査員による評価は時間がかかる傾向がある。評価への自動化アプローチは、本質的に言い換え認識と同じくらい難しい問題であるため、困難であることが判明している。もともと機械翻訳の評価に使用されていたバイリンガル評価アンダースタディ（BLEU）は、言い換え生成モデルの評価にも効果的に使用されてきた。しかし、言い換えには、語彙的に異なるが同等に有効な複数のソリューションが存在することが多く、BLEUやその他の同様の評価基準に悪影響を及ぼしている。^[21]

言い換え生成を評価するために特別に設計された指標には、前述の ParaMetric に加えて、n グラム変更における言い換え (PINC) ^[21]と言い換え評価指標 (PEM) ^[22]があります。PINC は BLEU とともに使用して、BLEU の不十分さを補うために設計されています。BLEU は語彙の相違を測定するのが難しいため、PINC はソース文と候補となる言い換え間の n グラムの重複の欠如を測定します。これは本質的には文間のJaccard 距離であり、意味の同等性を維持するためにソース文に現れる n グラムを除外します。一方、PEM は、ピボット言語のN グラムの重複を使用して計算された単一の値ヒューリスティックを返すことで、言い換えの「適切性、流暢性、語彙の相違」を評価しようとします。ただし、PEM の大きな欠点は、大規模なドメイン内並列コーパスと人間の審査員を使用してトレーニングする必要があることです。^[21]言い換え生成システムを評価することは、言い換え認識を訓練することと同等である。

Quoraの質問ペアデータセットには、数十万の重複した質問が含まれており、言い換え検出器の評価によく使われるデータセットとなっています。^[23]一貫して信頼性の高い言い換え検出はすべてTransformerアーキテクチャを使用しており、質問ペアで微調整する前に、より一般的なデータで大量の事前トレーニングを行っています。

• 往復翻訳
• テキストの簡素化 – 自動化されたプロセスフォールバックとしてウィキデータの説明を表示するページ
• テキスト正規化 – テキストを単一の正規形式に変換するプロセス

• Microsoft Research パラフレーズ コーパス - ニュース記事から抽出された 5,800 組の文章で構成されるデータセット。文章のペアが意味的に同等であるかどうかが注釈として付けられています。
• パラフレーズデータベース (PPDB) - 16 の異なる言語で何百万ものパラフレーズを含む検索可能なデータベース