言語識別

自然言語処理において、言語識別または言語推測は、与えられたコンテンツがどの自然言語であるかを判断する問題です。この問題に対する計算的アプローチでは、これをテキスト分類の特殊なケースと見なし、さまざまな統計的手法で解決します。

言語識別には、データを分類するさまざまな手法を使用する統計的アプローチがいくつかあります。1 つの手法は、テキストの圧縮率を、一連の既知の言語のテキストの圧縮率と比較することです。このアプローチは、相互情報量に基づく距離測定として知られています。同じ手法を使用して、歴史的な方法を使用して構築されたツリーに密接に対応する言語の系統樹を経験的に構築することもできます。^{[引用が必要]} 相互情報量に基づく距離測定は、本質的には従来のモデルベースの方法と同等であり、一般的には新しいものでも、より単純な手法よりも優れているものでもないと考えられています。

Cavnar と Trenkle (1994) および Dunning (1994) によって説明されている別の手法は、各言語の「トレーニング テキスト」から言語n-gramモデルを作成することです。これらのモデルは、文字 (Cavnar と Trenkle) またはエンコードされたバイト (Dunning) に基づくことができます。後者では、言語識別と文字エンコード検出が統合されています。次に、識別が必要なテキストの任意の部分について、同様のモデルが作成され、そのモデルが各保存されている言語モデルと比較されます。最も可能性の高い言語は、識別が必要なテキストのモデルに最も類似したモデルを持つ言語です。このアプローチは、入力テキストがモデルのない言語である場合に問題になることがあります。その場合、このメソッドは結果として別の「最も類似した」言語を返すことがあります。また、Web でよくあるように、入力テキストが複数の言語で構成されていることも、どのアプローチでも問題になります。

より最近の方法については、Řehůřek と Kolkus (2009) を参照してください。この方法は、構造化されていないテキスト内の複数の言語を検出でき、数語だけの短いテキストでも確実に機能します。これは、n-gramアプローチでは困難なことです。

グレフェンステッテによる古い統計手法は、特定の機能語（英語の「the」など） の出現頻度に基づいていました。

一般的な非統計的な直感的なアプローチ（ただし、非常に不確実）は、一般的な文字の組み合わせ、または特徴的な発音区別符号や句読点を探すことです。^{[1] [2]}

言語識別システムの大きなボトルネックの 1 つは、密接に関連した言語を区別することです。ブルガリア語とマケドニア語、インドネシア語とマレー語などの類似言語は、語彙と構造の重複が大きく、システムでそれらを区別することが困難です。

2014年にDSL共有タスク^[3]が組織され、6つの言語グループに分かれた13の異なる言語（および言語変種）を含むデータセット（Tan et al., 2014）が提供されました。グループA（ボスニア語、クロアチア語、セルビア語）、グループB（インドネシア語、マレーシア語）、グループC（チェコ語、スロバキア語）、グループD（ブラジルポルトガル語、ヨーロッパポルトガル語）、グループE（半島スペイン語、アルゼンチンスペイン語）、グループF（アメリカ英語、イギリス英語）です。最高のシステムは、95%を超える結果を達成しました（Goutte et al., 2014）。DSL共有タスクの結果は、Zampieri et al. 2014で説明されています。

• Apache OpenNLPには、文字nグラムベースの統計検出器が含まれており、103の言語を区別できるモデルが付属しています。
• Apache Tikaには18言語の言語検出器が含まれています

• 母国語の識別
• アルゴリズム情報理論
• 人工文法学習
• 姓の接頭辞
• コルモゴロフ複雑性
• 起源の決定のための言語分析
• 機械翻訳
• 翻訳

• Benedetto, D.、E. Caglioti、V. Loreto。言語ツリーとジッピング。Physical Review Letters、88:4 (2002)、複雑性理論。
• Cavnar, William B. および John M. Trenkle. 「N-Gram ベースのテキスト分類」。文書分析および情報検索に関する第 3 回年次シンポジウム SDAIR-94 議事録 (1994) [1]。
• Cilibrasi, Rudi および Paul MB Vitanyi。「圧縮によるクラスタリング」。IEEE Transactions on Information Theory 51(4)、2005 年 4 月、1523–1545 ページ。
• Dunning, T. (1994)「言語の統計的識別」。技術レポート MCCS 94-273、ニューメキシコ州立大学、1994 年。
• Goodman, Joshua. (2002) 「言語ツリーと圧縮」に関する拡張コメント。Microsoft Research、2002 年 2 月 21 日。(これは、Naive Bayes 方式を支持するデータ圧縮に対する批判です。)
• Goutte, C.; Leger, S.; Carpuat, M. (2014) 類似言語を識別するための NRC システム。Coling 2014 ワークショップ「類似言語、変種、方言への NLP ツールの適用」の議事録
• Grefenstette, Gregory. (1995) 2 つの言語識別方式の比較。第 3 回国際テキストデータ統計分析会議(JADT 1995) の議事録。
• Poutsma, Arjen. (2001) モンテカルロ法の言語識別への適用。SmartHaven、アムステルダム。CLIN 2001 で発表。Wayback Machineに 2015-01-07 にアーカイブ。
• Tan, L.; Zampieri, M.; Ljubešić, N.; Tiedemann, J. (2014) 類似言語の識別のための比較可能なデータソースの統合: DSL コーパスコレクション。比較可能なコーパスの構築と使用に関する第 7 回ワークショップ (BUCC) の議事録。レイキャビク、アイスランド。p. 6-10
• エコノミスト誌 (2002) 「スタイルの要素: 圧縮されたデータを分析すると言語学で驚くべき結果が得られる」
• Radim Řehůřek と Milan Kolkus。(2009)「Web 上の言語識別: 辞書方式の拡張」『計算言語学とインテリジェントテキスト処理』。
• Zampieri, M.; Tan, L.; Ljubešić, N.; Tiedemann, J. (2014) DSL 共有タスク 2014 に関するレポート。類似言語、変種、方言への NLP ツールの適用に関する第 1 回ワークショップ (VarDial) の議事録。アイルランド、ダブリン。p. 58-67。