自動要約

自動要約とは、一連のデータを計算によって短縮し、元のコンテンツ内で最も重要な情報または関連性の高い情報を表すサブセット (要約) を作成するプロセスです。これを実現するために、さまざまなタイプのデータに特化した 人工知能 アルゴリズムが一般的に開発され、使用されています。

テキスト要約は通常、自然言語処理手法によって実装され、特定のドキュメント内で最も情報量の多い文を見つけるように設計されています。^[1]一方、視覚コンテンツは、コンピュータービジョンアルゴリズムを使用して要約できます。画像の要約は、現在も研究が進められているテーマです。既存のアプローチでは通常、特定の画像コレクションから最も代表的な画像を表示するか、コレクション全体から最も重要なコンテンツのみを含むビデオを生成しようとします。^{[2] [3] [4]}ビデオ要約アルゴリズムは、元のビデオコンテンツから最も重要なフレーム (キーフレーム) や最も重要なビデオセグメント (キーショット) を識別して抽出し、通常は時間順に並べます。^{[5] [6] [7] [8]ビデオ要約は、元のビデオフレームの慎重に選択されたサブセットを保持するだけなので、元のビデオコンテンツに基づいて}新しいビデオフレームを合成するビデオ概要アルゴリズムの出力と同じではありません。

2022年にGoogleドキュメントは自動要約機能をリリースしました。^[9]

自動要約には、抽出と抽象化という2 つの一般的なアプローチがあります。

ここでは、コンテンツは元のデータから抽出されますが、抽出されたコンテンツは一切変更されません。抽出されたコンテンツの例としては、テキスト ドキュメントを「タグ付け」またはインデックス付けするために使用できるキーフレーズ、または要約を構成する主要な文 (見出しを含む)、および前述のように代表的な画像やビデオ セグメントなどがあります。テキストの場合、抽出はスキミングのプロセスに類似しており、要約 (存在する場合)、見出しとサブ見出し、図、セクションの最初と最後の段落、およびオプションで段落の最初と最後の文を読んでから、ドキュメント全体を詳細に読むことを選択します。^[10]臨床的関連性 (患者/問題、介入、および結果を含む) の観点からテキストのキー シーケンスを含む抽出の他の例。^[11]

抽象的要約法は、元のテキストには存在しなかった新しいテキストを生成します。^[12]これは主にテキストに適用されています。抽象的方法は、元のコンテンツの内部意味表現（言語モデルと呼ばれることが多い）を構築し、この表現を使用して、人間が表現する可能性のあるものに近い要約を作成します。抽象化では、ソース ドキュメントの一部を言い換えることで抽出されたコンテンツを変換し、抽出よりも強力にテキストを凝縮することができます。ただし、このような変換は、自然言語処理と、元のドキュメントが特定の知識分野に関連している場合は元のテキストのドメインの深い理解の両方を必要とするため、計算上は抽出よりもはるかに困難です。「言い換え」を画像やビデオに適用するのはさらに難しいため、ほとんどの要約システムは抽出型です。

要約の品質向上を目指すアプローチは、ソフトウェアと人間の努力の組み合わせに依存しています。機械支援による人間による要約では、抽出技術によって、含める候補の文章が強調表示されます (人間がテキストを追加または削除します)。人間支援による機械要約では、Google 翻訳による自動翻訳の出力を編集するのと同じように、人間がソフトウェアの出力を後処理します。

抽出要約タスクには、要約プログラムが何に焦点を当てるかによって、大まかに 2 つのタイプがあります。1 つ目は、コレクション (ドキュメント、画像セット、ビデオ、ニュース記事など) の一般的な要約または概要を取得することに焦点を当てた一般的な要約です。2 つ目は、 クエリに固有のオブジェクトを要約するクエリ関連要約(クエリベース要約と呼ばれることもあります) です。要約システムは、ユーザーのニーズに応じて、クエリ関連テキスト要約と一般的な機械生成要約の両方を作成できます。

要約問題の例としては、ドキュメント要約が挙げられます。これは、特定のドキュメントから自動的に要約を作成しようとします。単一のソース ドキュメントから要約を生成することに興味がある場合もありますが、複数のソース ドキュメント (同じトピックに関する記事のクラスターなど) を使用する場合もあります。この問題は、マルチ ドキュメント要約と呼ばれます。関連するアプリケーションとして、ニュース記事の要約があります。特定のトピックに関するニュース記事 (Web から) を自動的にまとめて、最新のニュースを要約として簡潔に表現するシステムを想像してください。

画像コレクションの要約は、自動要約のもう 1 つの応用例です。これは、より大きな画像セットから代表的な画像セットを選択することです。^{[13]このコンテキストでの要約は、}画像コレクション探索システムでの結果の最も代表的な画像を表示するのに役立ちます。ビデオ要約は関連領域であり、システムが自動的に長いビデオの予告編を作成します。これは、退屈なアクションや繰り返しのアクションをスキップしたい消費者向けまたは個人向けビデオにも適用できます。同様に、監視ビデオでは、キャプチャされた退屈で冗長なフレームをすべて無視しながら、重要な疑わしいアクティビティを抽出したい場合があります。

非常に高いレベルでは、要約アルゴリズムは、セット全体の情報をカバーするオブジェクトのサブセット (文のセットや画像のセットなど) を見つけようとします。これはコアセットとも呼ばれます。これらのアルゴリズムは、要約の多様性、範囲、情報、代表性などの概念をモデル化します。クエリベースの要約手法は、要約とクエリの関連性をさらにモデル化します。要約の問題を自然にモデル化する手法とアルゴリズムには、TextRank と PageRank、サブモジュラ集合関数、行列式点過程、最大周辺関連性 (MMR) などが あります。

課題は以下のとおりです。ジャーナル記事などのテキストが与えられ、テキストで議論されている主要なトピックを捉えたキーワードまたはキーフレーズのリストを作成する必要があります。^[14]研究論文の場合、多くの著者が手動で割り当てたキーワードを提供しますが、ほとんどのテキストには既存のキーフレーズがありません。たとえば、ニュース記事にキーフレーズが添付されていることはめったにありませんが、以下で説明するいくつかのアプリケーションでは、自動的にキーフレーズを添付できると便利です。ニュース記事のテキストの例を考えてみましょう。

「AP通信が入手した文書によると、陸軍工兵隊は、2006年のハリケーンシーズン開始までにニューオーリンズを守るというブッシュ大統領の約束を急いで果たそうと、嵐の間に設備が故障するという専門家の警告にもかかわらず、昨年、欠陥のある洪水制御ポンプを設置した。」

キーフレーズ抽出器は、「陸軍工兵隊」、「ブッシュ大統領」、「ニューオーリンズ」、「欠陥のある洪水制御ポンプ」をキーフレーズとして選択するかもしれません。これらはテキストから直接抽出されます。対照的に、抽象キーフレーズ システムは、何らかの方法でコンテンツを内部化し、テキストには表示されないが、人間が生成する可能性のある「政治的過失」や「洪水に対する不十分な保護」などのキーフレーズに近いキーフレーズを生成します。抽象化にはテキストの深い理解が必要であり、コンピュータ システムにとっては困難です。キーフレーズには多くの用途があります。短い要約を提供することでドキュメントの閲覧を可能にしたり、情報検索を改善したり(ドキュメントにキーフレーズが割り当てられている場合、ユーザーはキーフレーズで検索して全文検索よりも信頼性の高いヒットを生成できます)、大規模なテキスト コーパスのインデックス エントリの生成に使用したりできます。

さまざまな文献やキーワード、単語、フレーズの定義に応じて、キーワード抽出は非常に関連性の高いテーマです。

Turneyの研究^[15]を皮切りに、多くの研究者がキーフレーズ抽出を教師あり機械学習の問題としてアプローチしてきました。文書が与えられたら、テキスト内にある各ユニグラム、バイグラム、トライグラムの例を作成します（ただし、以下で説明するように、他のテキスト単位も可能です）。次に、各例を説明するさまざまな特徴を計算します（たとえば、フレーズは大文字で始まっていますか？）。一連のトレーニング文書には、既知のキーフレーズがあると想定します。既知のキーフレーズを使用して、例に正または負のラベルを割り当てることができます。次に、特徴の関数として正の例と負の例を区別できる分類器を学習します。一部の分類器はテスト例に対してバイナリ分類を行いますが、他の分類器はキーフレーズである確率を割り当てます。たとえば、上記のテキストでは、最初の文字が大文字のフレーズはキーフレーズである可能性が高いというルールを学習する場合があります。学習器をトレーニングした後、次の方法でテスト文書のキーフレーズを選択できます。同じ例生成戦略をテスト文書に適用し、各例を学習器で実行します。学習したモデルから返されるバイナリ分類の決定または確率を調べることで、キーフレーズを決定できます。確率が指定されている場合は、しきい値を使用してキーフレーズを選択します。キーフレーズ抽出器は、通常、適合率と再現率を使用して評価されます。適合率は、提案されたキーフレーズのうち実際に正しいものがいくつあるかを測定します。再現率は、システムが提案した実際のキーフレーズのうちいくつあるかを測定します。2 つの測定値は、2 つの調和平均である F スコア ( F  = 2 PR /( P  +  R ) ) で組み合わせることができます。提案されたキーフレーズと既知のキーフレーズとの一致は、ステミングまたはその他のテキスト正規化を適用した後に確認できます。

教師ありキーフレーズ抽出システムを設計するには、いくつかの選択肢を決定する必要があります (これらのいくつかは教師なしにも適用されます)。最初の選択肢は、まさに例を生成する方法です。Turney らは、句読点を入れず、ストップワードを削除した後、考えられるすべてのユニグラム、バイグラム、トリグラムを使用しました。Hulth は、品詞タグの特定のパターンに一致するトークンのシーケンスを例に選択することで、ある程度の改善が得られることを示しました。理想的には、例を生成するメカニズムによって、既知のラベル付きキーフレーズがすべて候補として生成されますが、多くの場合そうではありません。たとえば、ユニグラム、バイグラム、トリグラムのみを使用すると、4 つの単語を含む既知のキーフレーズを抽出できなくなります。そのため、再現率が低下する可能性があります。ただし、生成する例が多すぎると、精度が低下する可能性もあります。

また、例を説明する特徴を作成し、学習アルゴリズムがキーフレーズと非キーフレーズを区別できるように十分な情報を提供する必要があります。通常、特徴にはさまざまな用語の頻度 (現在のテキストまたはより大きなコーパスでフレーズが出現する回数)、例の長さ、最初の出現の相対位置、さまざまなブール構文特徴 (すべて大文字を含むなど) などが含まれます。Turney の論文では、このような特徴を約 12 個使用しました。Hulth は、Turney の独創的な論文から派生した KEA (キーフレーズ抽出アルゴリズム) 作業で最も効果的であることがわかった、縮小された特徴セットを使用しています。

最終的に、システムはテスト ドキュメントのキーフレーズのリストを返す必要があるため、数を制限する方法が必要です。アンサンブル メソッド (つまり、複数の分類器からの投票を使用) は、しきい値を設定してユーザーが指定したキーフレーズの数を提供できる数値スコアを生成するために使用されています。これは、Turney が C4.5 決定木で使用した手法です。Hulth は単一のバイナリ分類器を使用したため、学習アルゴリズムによって適切な数が暗黙的に決定されます。

サンプルと特徴が作成されたら、キーフレーズを予測する方法を学習する必要があります。決定木、ナイーブベイズ、ルール誘導など、事実上あらゆる教師あり学習アルゴリズムを使用できます。Turney の GenEx アルゴリズムの場合、遺伝的アルゴリズムを使用して、ドメイン固有のキーフレーズ抽出アルゴリズムのパラメータを学習します。抽出器は、一連のヒューリスティックに従ってキーフレーズを識別します。遺伝的アルゴリズムは、既知のキーフレーズを含むトレーニング ドキュメントのパフォーマンスに関して、これらのヒューリスティックのパラメータを最適化します。

もう 1 つのキーフレーズ抽出アルゴリズムは TextRank です。教師あり法には、キーフレーズを特徴付ける特徴に関する解釈可能なルールを作成できるなど、優れた特性がいくつかありますが、大量のトレーニング データも必要です。既知のキーフレーズを含む多くのドキュメントが必要です。さらに、特定のドメインでのトレーニングでは、抽出プロセスがそのドメインに合わせてカスタマイズされる傾向があるため、Turney の結果の一部が示すように、結果として得られる分類器は必ずしも移植可能ではありません。教師なしキーフレーズ抽出では、トレーニング データが不要になります。これは、別の角度から問題にアプローチします。キーフレーズを特徴付ける明示的な特徴を学習しようとする代わりに、TextRank アルゴリズム^{[16]は、テキスト自体の構造を利用して、} PageRank が重要な Web ページを選択するのと同じ方法で、テキストの「中心」となるキーフレーズを決定します。これは、ソーシャル ネットワークからの「名声」または「推奨」の概念に基づいていることを思い出してください。このように、TextRank は以前のトレーニング データにまったく依存せず、任意のテキストに対して実行でき、テキストの固有のプロパティに基づいて出力を生成できます。したがって、このアルゴリズムは新しいドメインや言語に簡単に移植できます。

TextRank は、 NLP用の汎用グラフベースのランキング アルゴリズムです。基本的に、特定の NLP タスク用に特別に設計されたグラフ上で PageRank を実行します。キーフレーズ抽出では、テキスト ユニットのセットを頂点として使用してグラフを構築します。エッジは、テキスト ユニットの頂点間の意味的または語彙的類似性の尺度に基づきます。Pag​​eRank とは異なり、エッジは通常は無向であり、類似性の程度を反映するように重み付けできます。グラフが構築されると、減衰係数 (「ランダム サーファー モデル」の場合と同様) と組み合わせて確率行列を形成し、固有値1 に対応する固有ベクトル (つまり、グラフ上のランダム ウォークの定常分布) を見つけることで頂点のランキングが取得されます。

頂点は、ランク付けしたいものに対応している必要があります。潜在的には、教師あり手法に似た方法で、ユニグラム、バイグラム、トライグラムなどの各単語に頂点を作成することもできます。ただし、グラフを小さく保つために、著者らは最初のステップで個々のユニグラムをランク付けし、次にランクの高い隣接するユニグラムを結合して複数単語のフレーズを形成する 2 番目のステップを含めることにしました。これには、任意の長さのキーフレーズを作成できるという優れた副次効果があります。たとえば、ユニグラムをランク付けして、「advanced」、「natural」、「language」、「processing」がすべて高いランクになっていることがわかった場合、元のテキストを見て、これらの単語が連続して出現していることを確認し、4 つすべてを一緒に使用して最終的なキーフレーズを作成します。グラフに配置されたユニグラムは、品詞でフィルタリングできることに注意してください。著者らは、形容詞と名詞を含めるのが最適であることを発見しました。したがって、このステップでは言語に関する知識が役立ちます。

TextRank のこのアプリケーションでは、単語の共起に基づいてエッジが作成されます。元のテキストでユニグラムがサイズ N のウィンドウ内に出現する場合、2 つの頂点はエッジによって接続されます。N は通常 2 ～ 10 程度です。したがって、NLP に関するテキストでは、「自然」と「言語」がリンクされている可能性があります。「自然」と「処理」も、どちらも N 語の同じ文字列に出現するため、リンクされます。これらのエッジは、「テキストの結束」という概念と、互いに近くに表示される単語は意味のある方法で関連している可能性があり、読者に互いを「推奨」するという考えに基づいています。

この方法は、個々の頂点を単純にランク付けするため、しきい値を設定したり、限られた数のキーフレーズを生成する方法が必要です。選択された手法は、グラフ内の頂点の総数に対するユーザー指定の割合にカウント T を設定することです。次に、定常確率に基づいて上位 T 個の頂点/ユニグラムが選択されます。次に、後処理ステップが適用され、これらの T 個のユニグラムの隣接するインスタンスが結合されます。その結果、最終的に T 個より多いまたは少ないキーフレーズが生成される可能性がありますが、その数は元のテキストの長さにほぼ比例するはずです。

PageRank を共起グラフに適用すると、なぜ有用なキーフレーズが生成されるかについては、最初は明らかではありません。これについて考える方法の 1 つは、次のとおりです。テキスト全体で複数回出現する単語には、共起するさまざまな隣接語が多数存在する可能性があります。たとえば、機械学習に関するテキストでは、ユニグラム「learning」が 4 つの異なる文で「machine」、「supervised」、「un-supervised」、「semi-supervised」と共起する可能性があります。したがって、「learning」頂点は、これらの他の修飾語に接続する中心的な「ハブ」になります。グラフで PageRank/TextRank を実行すると、「learning」のランクが高くなる可能性があります。同様に、テキストに「supervised classified」というフレーズが含まれている場合、「supervised」と「classification」の間にエッジがあります。「classification」が他のいくつかの場所に出現し、多くの隣接語がある場合、その重要性は「supervised」の重要性に寄与します。最終的に高いランクになった場合は、「学習」やおそらく「分類」とともに、上位の T ユニグラムの 1 つとして選択されます。最終的な後処理ステップでは、「教師あり学習」と「教師あり分類」というキーフレーズが最終的に得られます。

つまり、共起グラフには、頻繁に出現し、さまざまなコンテキストで出現する用語の密に接続された領域が含まれます。このグラフ上のランダム ウォークは、クラスターの中心にある用語に大きな確率を割り当てる定常分布を持ちます。これは、密に接続された Web ページが PageRank によって高いランク付けを受けるのと似ています。このアプローチは、以下で説明するドキュメントの要約にも使用されています。

キーフレーズ抽出と同様に、ドキュメント要約はテキストの本質を識別することを目的としています。唯一の違いは、単語やフレーズではなく、より大きなテキスト単位、つまり文全体を処理している点です。

教師ありテキスト要約は、教師ありキーフレーズ抽出と非常によく似ています。基本的に、ドキュメントのコレクションと、それらのドキュメントに対して人間が作成した要約があれば、要約に含めるのに適した候補となる文の特徴を学習できます。特徴には、ドキュメント内の位置 (つまり、最初の数文はおそらく重要です)、文の単語数などが含まれます。教師あり抽出要約の主な難しさは、元のトレーニング ドキュメント内の文を「要約内」または「要約外」としてラベル付けできるように、文を抽出して既知の要約を手動で作成する必要があることです。これは、要約を作成する一般的な方法ではないため、ジャーナルの要約や既存の要約を使用するだけでは、通常は十分ではありません。これらの要約内の文は、元のテキスト内の文と必ずしも一致するとは限らないため、トレーニング用の例にラベルを割り当てることは困難です。ただし、ROUGE-1 評価ではユニグラムのみが考慮されるため、これらの自然な要約は評価目的に使用できます。

DUC 2001 および 2002 の評価ワークショップで、TNO はニュース分野での複数文書の要約のための文抽出システムを開発しました。このシステムは、顕著性をモデル化するために、ナイーブ ベイズ分類器と統計言語モデルを使用したハイブリッド システムに基づいています。システムは良好な結果を示しましたが、研究者は、最大エントロピー(ME) 分類器が特徴依存性に対して堅牢であることが知られているため、会議要約タスクに対するその有効性を探りたいと考えました。最大エントロピーは、放送ニュース分野での要約にも効果的に適用されています。

有望なアプローチは、適応型文書/テキスト要約です。^[17]まずテキストのジャンルを認識し、次にそのジャンルに最適化された要約アルゴリズムを適用します。そのようなソフトウェアはすでに作成されています。^[18]

教師なし要約アプローチも、教師なしキーフレーズ抽出と精神面で非常に似ており、コストのかかるトレーニング データの問題を回避します。教師なし要約アプローチの中には、ドキュメント内のすべての文の平均単語ベクトルである「重心」文を見つけることを基本とするものがあります。次に、この重心文との類似性に基づいて文をランク付けできます。

文の重要度を推定するより原理的な方法は、ランダムウォークと固有ベクトル中心性を使用することです。LexRank ^{[19] は}本質的に TextRank と同一のアルゴリズムであり、どちらもこの手法を文書の要約に使用します。この 2 つの方法は、異なるグループによって同時に開発され、LexRank は要約にのみ焦点を当てていますが、キーフレーズ抽出やその他の NLP ランキングタスクにも同様に簡単に使用できます。

LexRank と TextRank の両方で、ドキュメント内の各文に頂点を作成することによってグラフが構築されます。

文間のエッジは、何らかの意味的類似性または内容の重複に基づいています。LexRank はTF-IDFベクトルのコサイン類似性を使用しますが、TextRank は 2 つの文に共通する単語数 (文の長さで正規化) に基づく非常に類似した尺度を使用します。LexRank の論文では、コサイン値にしきい値を適用した後、重み付けされていないエッジの使用を検討しましたが、類似性スコアに等しい重みを持つエッジの使用も実験しました。TextRank は、連続的な類似性スコアを重みとして使用します。

どちらのアルゴリズムでも、結果のグラフに PageRank を適用して文章をランク付けします。要約は、しきい値または長さのカットオフを使用して要約のサイズを制限し、上位ランクの文章を組み合わせて作成されます。

ここで説明されているとおり、TextRank が要約に適用されたのに対し、LexRank は、LexRank スコア (定常確率) と文の位置や長さなどの他の特徴を、ユーザー指定または自動調整された重みによる線形結合を使用して組み合わせる、より大規模な要約システム (MEAD) の一部として使用されたことは注目に値します。この場合、トレーニング ドキュメントがいくつか必要になる可能性がありますが、TextRank の結果では、追加の特徴が絶対に必要ではないことが示されています。

TextRank とは異なり、LexRank は複数ドキュメントの要約に適用されています。

複数文書の要約は、同じトピックについて書かれた複数のテキストから情報を抽出することを目的とした自動手順です。結果として得られる要約レポートにより、専門的な情報消費者などの個々のユーザーは、大量の文書に含まれる情報をすばやく理解することができます。このように、複数文書の要約システムは、情報過多に対処するための次のステップを実行するニュースアグリゲータを補完しています。複数文書の要約は、質問への応答として行うこともできます。^{[20] [11]}

複数文書の要約により、簡潔かつ包括的な情報レポートが作成されます。さまざまな意見がまとめられ、概要が示されるため、すべてのトピックは 1 つの文書内で複数の観点から説明されます。簡単な要約の目的は、最も関連性の高いソース ドキュメントを指し示すことで情報検索を簡素化し、時間を短縮することですが、包括的な複数文書の要約には必要な情報が含まれているため、元のファイルにアクセスする必要は、精緻化が必要な場合に限られます。自動要約では、複数のソースから抽出された情報がアルゴリズムによって提示され、編集上のタッチや主観的な人間の介入は一切行われないため、完全に偏りがありません。^{[疑わしい–議論する]}

複数文書の抽出要約では、冗長性の問題に直面します。理想的には、「中心的」 (つまり、主要なアイデアを含む) かつ「多様性」 (つまり、互いに異なる) である文を抽出したいものです。たとえば、あるイベントに関する一連のニュース記事では、各記事に多くの類似した文が含まれている可能性があります。この問題に対処するために、LexRank は、ランク順に文を追加するが、要約にすでに含まれている文と非常に類似している文を破棄するヒューリスティックな後処理手順を適用します。この方法は、Cross-Sentence Information Subsumption (CSIS) と呼ばれます。これらの方法は、文が他の類似した文を読者に「推奨する」という考えに基づいています。したがって、1 つの文が他の多くの文と非常に類似している場合、その文は非常に重要な文である可能性が高いです。その重要性は、それを「推奨する」文の重要性からも生じます。したがって、高いランクを獲得して要約に配置するには、文が多くの文と類似しており、それらの文も他の多くの文と類似している必要があります。これは直感的に理解しやすく、アルゴリズムを任意の新しいテキストに適用できます。この方法はドメインに依存せず、簡単に移植できます。ニュース ドメインで重要な文章を示す特徴は、生物医学ドメインとは大きく異なる可能性があります。ただし、教師なしの「推奨」ベースのアプローチは、どのドメインにも適用できます。

関連する手法として、最大限界関連性（MMR）^[21]があります。これは、Page/Lex/TextRankのような汎用グラフベースのランキングアルゴリズムを使用し、吸収マルコフ連鎖ランダムウォーク（特定の状態でウォークが終了するランダムウォーク）に基づく統一された数学的フレームワークで「中心性」と「多様性」の両方を処理します。このアルゴリズムはGRASSHOPPERと呼ばれます。^[22]ランキングプロセス中に明示的に多様性を促進することに加えて、GRASSHOPPERは事前ランキング（要約の場合は文の位置に基づく）を組み込んでいます。

複数文書の要約に関する最先端の結果は、サブモジュラー関数の混合を使用して得られます。これらの方法は、文書要約コーパス、DUC 04 - 07で最先端の結果を達成しました。 ^[23 ] DUC-04では、決定論的点プロセス（サブモジュラー関数の特殊なケース）を使用して同様の結果が得られました。^[24]

冗長性を回避する多言語複数文書要約の新しい方法では、各文書内の各文の意味を表す表意文字を生成し、表意文字の形状と位置を比較して類似性を評価します。単語の頻度、トレーニング、または前処理は使用しません。ユーザーが指定する 2 つのパラメータ、つまり同等性 (2 つの文が同等であるとみなされるのはいつですか?) と関連性 (必要な要約の長さはどのくらいですか?) を使用します。

サブモジュラ集合関数の考え方は、最近、さまざまな要約問題に対する強力なモデリング ツールとして登場しました。サブモジュラ関数は、カバレッジ、情報、表現、多様性の概念を自然にモデル化します。さらに、いくつかの重要な組み合わせ最適化問題は、サブモジュラ最適化の特殊な例として発生します。たとえば、集合カバー問題は、集合カバー関数がサブモジュラであるため、サブモジュラ最適化の特殊なケースです。集合カバー関数は、特定の概念セットをカバーするオブジェクトのサブセットを見つけようとします。たとえば、ドキュメントの要約では、要約がドキュメント内のすべての重要で関連する概念をカバーするようにする必要があります。これは集合カバーのインスタンスです。同様に、施設の場所の問題は、サブモジュラ関数の特殊なケースです。施設の場所関数も、カバレッジと多様性を自然にモデル化します。サブモジュラ最適化問題の別の例は、決定論的点プロセスを使用して多様性をモデル化することです。同様に、最大限界関連性手順も、サブモジュラ最適化のインスタンスと見なすことができます。カバレッジ、多様性、情報を促進するこれらの重要なモデルはすべて、サブモジュラです。さらに、サブモジュラー関数は効率的に組み合わせることができ、結果の関数もサブモジュラーです。したがって、多様性をモデル化するサブモジュラー関数とカバレッジをモデル化するサブモジュラー関数を組み合わせ、人間の監督を使用して問題に対するサブモジュラー関数の適切なモデルを学習することができます。

サブモジュラ関数は要約のためのフィッティング問題である一方、最適化のための非常に効率的なアルゴリズムも許容する。例えば、単純な貪欲アルゴリズムは定数因子保証を許容する。^[25]さらに、貪欲アルゴリズムは実装が非常に簡単で、大規模なデータセットに拡張できるため、要約問題にとって非常に重要である。

サブモジュラ関数は、ほぼすべての要約問題において最先端の成果を達成しています。たとえば、LinとBilmesによる2012年の研究^[26]では、サブモジュラ関数が、文書要約のためのDUC-04、DUC-05、DUC-06、DUC-07システムで現在までに最高の結果を達成していることを示しています。同様に、LinとBilmesによる2011年の研究^[27]では、自動要約のための既存のシステムの多くがサブモジュラ関数の例であることを示しています。これは、サブモジュラ関数が要約問題に対する適切なモデルであることを確立した画期的な結果でした。^{[引用が必要]}

サブモジュラー関数は他の要約タスクにも使用されています。Tschiatschek et al., 2014 は、サブモジュラー関数の混合が画像コレクションの要約で最先端の結果を達成することを示しています^{[28] 。同様に、Bairi et al., 2015 [29] は、}マルチドキュメントトピック階層を要約するためのサブモジュラー関数の有用性を示しています。サブモジュラー関数は、機械学習データセットの要約にも効果的に使用されています。^[30]

自動要約の具体的な用途は次のとおりです。

• 2011年に作成されたReddit ボット「autotldr」^[31]は、redditの投稿のコメント欄にあるニュース記事を要約します。これはredditコミュニティによって非常に有用であることがわかり、その要約には何十万回も賛成票が投じられました。^{[32]この名前は}TL;DR（「長すぎて読めない」という意味のインターネットスラング）に由来しています。 ^{[33] [34]}
• 敵対的文体測定では、失われた詳細が重要ではなく、要約が入力と文体的に十分に異なる場合には要約が使用されることがある。^[35]

自動要約の有益性を評価する最も一般的な方法は、それを人間が作成したモデル要約と比較することです。

評価は内在的なものでも外在的なものでも^[36]、またテキスト間的なものでもテキスト内のものでもよい。^[37]

内在的評価は要約を直接評価しますが、外在的評価は要約システムが他のタスクの完了にどのように影響するかを評価します。内在的評価は主に要約の一貫性と情報量を評価します。一方、外在的評価は関連性評価、読解力などのタスクに対する要約の影響をテストします。

テキスト内評価は特定の要約システムの出力を評価しますが、テキスト間評価は複数の要約システムの出力の対照分析に重点を置いています。

人間の判断は、何を「良い」要約とみなすかによって大きく異なることが多いため、自動評価プロセスを作成することは特に困難です。手動評価を使用することもできますが、要約だけでなくソース ドキュメントも読む必要があるため、時間と労力がかかります。その他の問題としては、一貫性と範囲に関する問題があります。

要約を評価する最も一般的な方法は、ROUGE (Recall-Oriented Understudy for Gisting Evaluation) です。これは、NISTの文書理解会議における要約および翻訳システムで非常に一般的です。[2] ROUGE は、要約が参照と呼ばれる人間が作成した要約の内容をどの程度カバーしているかを再現率に基づいて測定するものです。これは、自動生成された要約と以前に人間が作成した要約との間のn グラムの重複を計算します。要約にすべての重要なトピックを含めるように促すために再現率に基づいています。再現率は、ユニグラム、バイグラム、トリグラム、または 4 グラムのマッチングに関して計算できます。たとえば、ROUGE-1 は、参照要約内のすべてのユニグラムのうち、参照要約と自動要約の両方に出現するユニグラムの割合です。複数の参照要約がある場合は、それらのスコアが平均されます。重複レベルが高いことは、2 つの要約間で共有される概念の度合いが高いことを示しています。

ROUGE では、結果が首尾一貫しているかどうか、つまり文が合理的に流れているかどうかを判断できません。高次の n-gram ROUGE 測定は、ある程度役立ちます。

もう一つの未解決の問題はアナフォラの解決である。同様に、画像要約に関して、Tschiatschekらは画像要約アルゴリズムの性能を判断するVisual-ROUGEスコアを開発した。^[38]

ドメインに依存しない要約技術は、一般的な特徴のセットを適用して、情報に富んだテキストセグメントを識別します。最近の研究では、医学知識や医学テキストを要約するためのオントロジーなど、テキストのドメインに固有の知識を使用したドメイン固有の要約に焦点を当てています。^[39]

これまでの評価システムの主な欠点は、自動要約をモデルと比較するために参照要約 (一部の方法では複数) が必要になることです。これは困難で費用のかかる作業です。テキストのコーパスとそれに対応する要約を作成するには、多大な労力が必要です。さらに、一部の方法では要約に手動で注釈を付ける必要があります (例: ピラミッド法の SCU)。さらに、それらはすべて、異なる類似性メトリックに関して定量的な評価を実行します。

この分野での最初の出版物は1957年にさかのぼり^[40]（Hans Peter Luhn）統計的手法から始まりました。研究は2015年に大幅に増加しました。 2016年までに、用語頻度-逆文書頻度法が使用されました。パターンベースの要約は、2016年までに複数文書の要約の最も強力なオプションであることがわかりました。翌年には、潜在的意味解析（LSA）と非負値行列因子分解（NMF）の組み合わせに追い抜かれました。これらは他のアプローチに取って代わることはなく、しばしば他のアプローチと組み合わせられますが、2019年までに機械学習手法が単一文書の抽出要約を支配し、成熟に近づいていると考えられていました。2020年までに、この分野はまだ非常に活発で、研究は抽象的な要約とリアルタイム要約へと移行しています。^[41]

最近では、従来のRNN（LSTM ）に代わるトランスフォーマーモデルの登場により、テキストシーケンスを異なるタイプのテキストシーケンスにマッピングする柔軟性が提供され、自動要約に適しています。これには、T5 ^{[42]やPegasus [43]}などのモデルが含まれます。

• 文の抽出
• テキストマイニング
• 複数文書の要約

• Potthast, Martin; Hagen, Matthias; Stein, Benno (2016)。著者の難読化: 著者検証の最新技術への挑戦(PDF)。評価フォーラムのカンファレンスとラボ。

• Hercules, Dalianis (2003). 自動要約の移植と評価。
• Roxana, Angheluta (2002)。自動要約のためのトピックセグメンテーションの使用。
• Anne, Buist (2004). 会議データの自動要約: 実現可能性調査(PDF)。2021-01-23 のオリジナル(PDF)からアーカイブ。2020-07-19に取得。
• Annie, Louis (2009). 自動要約のためのパフォーマンス信頼性推定。
• Elena, Lloret および Manuel, Palomar (2009)。自動要約の課題: 関連性検出と品質ベースの評価。2018 年 10 月 3 日にオリジナルからアーカイブ。2018 年10 月 3 日に取得。{{cite book}}: CS1 maint: 複数の名前: 著者リスト (リンク)
• アンドリュー、ゴールドバーグ（2007）。自動要約。
• Alrehamy, Hassan (2018)。「SemCluster: アフィニティ伝播を使用した教師なし自動キーフレーズ抽出」。計算知能システムの進歩。インテリジェントシステムとコンピューティングの進歩。第 650 巻。pp. 222–235。doi : 10.1007/978-3-319-66939-7_19。ISBN 978-3-319-66938-0。
• エンドレス・ニゲマイヤー、ブリギット (1998)。情報をまとめています。スプリンガー。ISBN 978-3-540-63735-6。
• マルク、ダニエル（2000）。談話解析と要約の理論と実践。MITプレス。ISBN 978-0-262-13372-2。
• マニ、インダージート（2001）。自動要約。ISBN 978-1-58811-060-2。
• ハフ、ジェイソン (2010)。自動要約。Microsoft Word 2008 の自動要約ソフトウェアを使用した概念的なアートワーク。
• Lehmam, Abderrafih (2010). Essential summaryer: 20 言語に対応した革新的な自動テキスト要約ソフトウェア - ACM Digital Library. Riao '10. pp. 216–217.、Proceeding RIAO'10 Adaptivity, Personalization and Fusion of Heterogeneous Information、CID Paris、フランスに掲載
• Xiaojin, Zhu, Andrew Goldberg, Jurgen Van Gael、David Andrzejewski (2007)。吸収ランダムウォークを使用したランキングの多様性の向上(PDF)。{{cite book}}: CS1 maint: 複数の名前: 著者リスト (リンク)GRASSHOPPERアルゴリズム
• Miranda-Jiménez、Sabino、Gelbukh、Alexander、Sidorov、Grigori (2013)。「自動要約タスクのための概念グラフの要約」。STEM研究および教育のための概念構造。コンピュータ サイエンスの講義ノート。第 7735 巻。pp . 245–253。doi :10.1007/ 978-3-642-35786-2_18。ISBN 978-3-642-35785-5。{{cite book}}: CS1 maint: 複数の名前: 著者リスト (リンク)、STEM研究と教育の概念構造。