NooJ

NooJ は、Max Silberztein によって構築された言語開発環境ソフトウェアであり、コーパスプロセッサでもあります。NooJ を使用すると、言語学者は、テキストエディタ(正規表現を記述するなど) またはグラフエディタを使用して、チョムスキー・シュッツェンベルガー生成文法階層の 4 つのクラス (有限状態文法、文脈自由文法、 文脈依存文法、および無制限文法)を構築できます。 ^{[ 1 ]}

NooJ は、言語学者が正書法文法と形態論文法、単純な単語、複合語、不連続表現の辞書、局所構文文法 (固有表現認識器など)、^{[ 2 ] [ 3 ]}構造構文文法 (構文木を生成する)、およびZellig Harrisの変形文法を開発することを可能にします。

NooJ のすべてのパーサーは、単語形式 (つまり、2 つのスペース文字の間の文字のシーケンス) ではなく、原子言語単位(ALU) を処理します。 ^{[ 4 ]}これにより、NooJ の構文パーサーは、「can not」などの単語形式のシーケンスを、「cannot」や「can't」などの短縮形として正確に解析できます。これにより、言語学者は、膠着語であっても、比較的単純な構文文法を作成できます。ALU は、テキスト注釈構造(TAS) に格納されている注釈によって表現されます。すべての NooJ パーサーは、TAS に注釈を追加または削除します。典型的な NooJ 分析では、一連の基本文法をカスケードでテキストに適用し、ボトムアップのアプローチ (綴りから意味まで) をとります。

NooJは、シルベルツテインとINTEXの言語学者ユーザーコミュニティによる、モーリス・グロスのLADLの語彙文法アプローチに関する調査から生まれたもので、LADLは、いかなる文法規則も、その適用範囲を厳密に限定することから独立して開発することはできないと述べている。

NooJ は、言語学^{[ 5 ] [ 6 ]}、歴史学^{[ 7 ]}、心理学^{[ 8 ] [ 9} ] 、文学研究^{[ 10 ]}、感情分析プロジェクト^{[ 11 ]}、データマイニング[ ^{12 ] [ 13 ] [ 14 ] 、}さらには楽譜の処理^{[ 15 ]}の研究者によってコーパスプロセッサとして使用されてきました。たとえば、NooJ はMARS 500実験^{[ 16 ]}で使用されたほか、いくつかのコンピュータ ソフトウェア会社によって情報抽出および情報検索ソフトウェアの構築にも使用され^ました。

NooJ の辞書は有限状態トランスデューサによって表現され、単純な単語^{[ 17 ]} (例: table)、複合語^{[ 18 ]} (例: as a matter of fact) だけでなく、句動詞 (例: to turn … off) ^{[ 19 ]} 、慣用表現^{[ 20 ]} (例: to take the bull by the horns) などの不連続表現、さらに動詞/述語名詞の関連付け (例: to take a nap) も表現できます。NooJ を使用すると、言語学者は、チョムスキー-シュッツェンベルガー階層の 4 つの生成文法クラス (有限状態文法、文脈自由文法、文脈依存文法、および非制限文法) に属する多数の文法を作成、編集、デバッグ、および保守できます。

NooJ は多くの場合、テキストに線形時間で文法を適用できます。たとえば、ほとんどの NooJ コンテキスト自由文法は逆再帰できます。NooJ コンテキスト依存文法は 2 つの部分で構成されています。1 つはテキストに非常に効率的に適用されるコンテキスト自由文法 (または有限状態文法) であり、2 つは一致するシーケンスに適用される制約のセットで構成され、それぞれ定数時間で実行されます。NooJ 無制限文法は、変数を含めることができ、テキスト入力を変更できるコンテキスト依存文法です。これらは通常、変換分析と生成を実行するために使用されます ( Zellig Harris を参照) が、複数の言語学者チームが、多言語辞書と組み合わせて使用​​すると、機械翻訳を実行するために使用できることを示しました^{[ 21 ] [ 22 ]}

• NooJのウェブサイトには、NooJ本体、取扱説明書、12言語に対応した言語リソース、複数のNooJ関連会議へのリンク、そして200件以上の論文参考文献が掲載されています。
• NooJに関するYouTube動画チュートリアルがいくつかあります
  • アラビア語
  • ベラルーシ語
  • クロアチア語
  • フランス語
  • インドネシア語
  • イタリア語
  • スペイン語