テキストの簡素化

テキストの簡略化は、自然言語処理で使用される操作であり、既存の人間が読めるテキストを変更、強化、分類、またはその他の方法で処理して、その文法と構造を大幅に簡略化しますが、根本的な意味と情報は変わりません。テキストの簡略化は、科学、テクノロジー、新しいメディアがますます支配する、ますます複雑で相互接続された世界でのコミュニケーションのニーズのために、重要な研究分野です。しかし、人間の自然言語は通常、機械がどれだけ高速で適切にプログラムされていても簡単に処理できない大きな語彙と複雑な構造を含むため、大きな問題を引き起こします。しかし、研究者は、言語の多様性を減らすために、意味圧縮の方法を使用して、特定のテキストで使用される単語のセットを制限して簡略化できることを発見しました。

テキストの簡略化は、Siddharthan (2006) の例で説明されています。^[1]最初の文には、2 つの関係節と 1 つの連結動詞句が含まれています。テキストの簡略化システムは、最初の文を、そのすぐ下に示すように、より単純な文のグループに変更することを目的としています。

• アナリストは、銅価格の堅調さに貢献したのはシカゴ購買代理店の報告書で、これは本日発表予定の購買代理店の完全報告書に先立って発表されたもので、完全報告書の内容を示す指標となると指摘した。
• アナリストは、銅価格の堅調さに貢献したのはシカゴの購買代理店の報告書でもあると指摘した。シカゴの報告書は購買代理店の完全な報告書に先立って発表される。シカゴの報告書は完全な報告書の内容を示すものである。完全な報告書は本日発表される予定である。

テキストの簡略化に対するアプローチの 1 つは、語彙の置換による語彙の簡略化です。これは、最初に複雑な単語を識別し、次にそれをより単純な同義語に置き換えるという 2 段階のプロセスです。ここでの重要な課題は、ラベル付けされたデータでトレーニングされた機械学習分類器によって実行される複雑な単語の識別です。研究者は、被験者に単語を単純か複雑かで説明するように依頼する従来の方法を使用する際の問題に不満を感じ、ラベル付け担当者に提示された単語を複雑さの順に並べ替えるように依頼すると、より多くのレベルの複雑さでより高い一貫性が得られることを発見しました。^[2]

• 自動パラフレーズ
• 制御された自然言語
• 言語改革
• 語彙の簡素化
• 語彙の置換
• 意味的圧縮
• テキストの正規化
• 簡体字英語
• 基礎英語

• Wei Xu、Chris Callison-Burch、Courtney Napoles。「現在のテキスト簡略化研究の問題点」。Transactions of the Association for Computational Linguistics (TACL)、第 3 巻、2015 年、283 ～ 297 ページ。
• Advaith Siddharthan。「構文の簡略化とテキストの結合」。言語と計算の研究、第 4 巻、第 1 号、2006 年 6 月、77 ～ 109 ページ、Springer Science、オランダ。
• Siddhartha Jonnalagadda、Luis Tari、Joerg Hakenberg、Chitta Baral、Graciela Gonzalez。生物医学テキストの自動処理のための効果的な文の簡略化に向けて。NAACL-HLT 2009 議事録、米国ボルダー、6 月。[1]

• テキスト簡略化のためのルールの自動誘導 1996
• 情報検索アプリケーションのためのテキスト簡素化 2004