SemEval

初期の頃から、単語の意味曖昧性解消アルゴリズムの品質評価は主に内在的評価の問題であり、「組み込みの WSD コンポーネントを評価する試みはほとんど行われてこなかった」。^{[ 3 ]}ごく最近^{(2006 年)}になって初めて、外在的評価によってエンド ユーザー アプリケーションにおける WSD の価値を示す証拠がいくつか提供され始めた。^{[ 4 ]} 1990 年頃までは、意味曖昧性解消タスクに関する議論は、包括的な評価よりも主に例示に焦点を当てていた。1990 年代初頭には、より体系的で厳密な内在的評価が始まった。これには、曖昧な単語の小さなセットに対するより正式な実験も含まれる。^{[ 5 ]}

1997 年 4 月、マーサ・パーマーとマーク・ライトは、応用自然言語処理会議と併せて、「語彙意味論によるタグ付け: なぜ、何を、どのように？」と題するワークショップを開催しました。 ^{[ 6 ]}当時、手動で注釈付けされたコーパスが品詞タグ付けや構文解析などの他の NLP 分野に革命をもたらし、コーパス駆動型アプローチが自動意味解析にも革命をもたらす可能性があることが明確に認識されていました。^{[ 7 ]}キルガリフは、「この分野には評価が必要だという高いレベルの合意があった」と回想しており、レスニックとヤロウスキーによるいくつかの実践的な提案が、Senseval の評価演習の作成につながる議論のきっかけとなりました。^{[ 8 ] [ 9 ] [ 10 ]}

SemEval-2010 の後、多くの参加者は 3 年周期は待ち時間が長いと感じています。Conference on Natural Language Learning (CoNLL) やRecognizing Textual Entailments (RTE) など、他の多くの共有タスクは毎年開催されています。このため、SemEval のコーディネーターは、タスク主催者に 2 年周期または 3 年周期のどちらかを選択する機会を与えました。^{[ 11 ]} SemEval コミュニティは 3 年周期を支持しました。SemEval コミュニティ内の投票では 3 年周期が支持されましたが、主催者とコーディネーターは SemEval タスクを 2 つの評価ワークショップに分割することに合意しました。これは、新しい*SEM カンファレンスの導入がきっかけとなりました。SemEval 主催者は、私たちのイベントを *SEM カンファレンスと関連付け、SemEval ワークショップを *SEM カンファレンスと併催するのが適切だと考えました。主催者は、（タスクコーディネーター/主催者および参加者から）毎年開催される *SEM との関連性について非常に肯定的な反応を得ており、8 つのタスクが 2012 年に変更することに同意しました。こうして SemEval-2012 と SemEval-2013 が誕生しました。現在の計画では、SemEval を *SEM 会議と関連付けるために毎年開催するスケジュールに変更する予定ですが、すべてのタスクが毎年開催される必要はありません。^{[ 12 ]}

SemEval演習は、テキストの意味解析における諸問題を検証するための仕組みを提供する。対象となるトピックは、形式計算意味論に見られるような論理的な厳密さには及ばないものの、人間の言語理解に関連する諸問題を特定し、特徴づけることを目的としている。主な目標は、コンピュータシステムを用いて人間の処理を再現することである。以下に示すタスクは、個人やグループによって、特定可能な諸問題が具体的な形をとるにつれて、それらに対処するために開発される。

意味解析における最初の主要な領域は、単語レベル（慣用表現を含む）での意図された意味の特定です。これは語義曖昧性解消（単語には個別の意味があるという考え方から脱却しつつあり、むしろ単語の使用方法、つまり文脈によって特徴づけられるという概念）です。この領域のタスクには、語彙サンプルおよび全単語の曖昧性解消、多言語および異言語間の曖昧性解消、語彙置換などがあります。語義の特定が困難であることから、このトピックに関連するその他のタスクには、語義誘導、下位分類の獲得、語彙リソースの評価などがあります。

意味解析における2つ目の主要分野は、異なる文要素やテキスト要素がどのように組み合わさるかを理解することです。この分野のタスクには、意味役割のラベリング、意味関係の分析、共参照の解決などが含まれます。この分野の他のタスクでは、時間情報処理、換喩の解決、感情分析など、より専門的な意味解析の問題を扱います。この分野のタスクには、情報抽出、質問応答、文書要約、機械翻訳、シソーラスや意味ネットワークの構築、言語モデリング、言い換え、テキスト含意の認識など、多くの潜在的な応用分野があります。これらの潜在的な応用分野のそれぞれにおいて、意味解析の種類がどのような貢献をするかが、最も重要な研究課題となります。

例えば、単語の意味の帰納と曖昧性解消のタスクには、3つの独立した段階があります。

1. トレーニング段階では、評価タスクの参加者は、トレーニングデータセットを使用して、一連の多義語の意味一覧を生成するように求められました。トレーニングデータセットは、多義名詞/動詞のセットと、それらが出現する文例で構成されています。形態素解析器、品詞タグ付け器、構文解析器などの形態素および構文素解析の自然言語処理コンポーネント以外のリソースは許可されませんでした。
2. テスト段階では、参加者はトレーニング段階で得られた感覚インベントリを用いて、曖昧性解消サブタスクのテストセットを与えられた。
3. 評価段階では、テスト段階の回答が教師あり学習と教師なし学習の枠組みで評価されました。

WSIの教師なし評価では、V Measure（Rosenberg and Hirschberg、2007）とペアFスコア（Artiles et al.、2009）の2種類の評価が検討されました。この評価は、SemEval-2007 WSIタスクの教師あり評価（Agirre and Soroa、2007）に倣ったものです。

以下の表は、SensevalからSemEvalへのワークショップの成長を反映しており、Senseval/SemEvalワークショップ全体を通して、計算意味論のどの分野が評価されたかの概要を示しています。

多言語WSDタスクは、SemEval-2013ワークショップで導入されました。^{[ 17 ]}このタスクは、BabelNetを意味インベントリとして使用して、多言語シナリオで単語意味曖昧性解消システムを評価することを目的としています。固定の意味インベントリが指定されていないクロスリンガルWSDや多言語語彙置換タスクのような類似のタスクとは異なり、多言語WSDはBabelNetを意味インベントリとして使用します。BabelNetの開発に先立ち、SemEval-2007では中国語-英語のバイテキストでバイリンガル語彙サンプルWSD評価タスクが実施されました。^{[ 18 ]}

クロスリンガルWSDタスクは、SemEval-2007評価ワークショップで導入され、SemEval-2013ワークショップで再提案されました。^{[ 19 ]}機械翻訳や多言語情報検索などの他の自然言語処理（NLP）アプリケーション にWSDシステムを容易に統合できるようにするために、クロスリンガルWSD評価タスクは、言語に依存しない知識の少ないWSDアプローチとして導入されました。このタスクは、並列コーパスを使用して英語の名詞の教師なし単語意味曖昧性解消タスクです。これは、20個の多義名詞のみに制限された、クラシックWSDタスクの語彙サンプルバリアントに従います。

SemEval-2014には、多言語/クロスリンガルなタスクが2つしかないことに注目すべきである。すなわち、(i)英語、スペイン語、ドイツ語、フランス語、オランダ語を含むクロスリンガルWSDタスクであるL2ライティングアシスタントタスクと、(ii)英語とスペイン語のテキストでシステムを評価する多言語意味テキスト類似性タスクである。

意味評価における主要なタスクには、自然言語処理の以下の領域が含まれます。このリストは、この分野の進歩に伴い拡大していくと予想されます。^{[ 20 ]}

以下の表は、Senseval-1からSemEval-2014までの研究に関わった研究分野を示しています（SはSenseval、SEはSemEvalを表します。例えば、S1はSenseval-1、SE07はSemEval-2007を表します）。

SemEvalタスクでは、さまざまなスキーマを持つ多くの種類のセマンティックアノテーションが作成されました。SemEval-2015では、主催者はタスクをいくつかのトラックにグループ化することにしました。これらのトラックは、タスクが達成しようとしているセマンティックアノテーションの種類に基づいています。^{[ 21 ]}以下は、SemEvalワークショップで使用されているセマンティックアノテーションの種類の一覧です。

1. 意味関係の学習
2. 質疑応答
3. 意味解析
4. 意味分類学
5. 感情分析
6. テキスト類似性
7. 時間と空間
8. 語義の曖昧性解消と帰納

タスクとそのトラック割り当ては柔軟です。タスクが独自のトラックに発展する可能性があり、たとえば、SemEval-2015 の分類評価タスクは意味関係の学習トラックの下にありましたが、SemEval-2016 では、新しい意味分類エンリッチメントタスクを備えた意味分類専用のトラックがあります。^{[ 22 ] [ 23 ]}