キツネザルプロジェクト

Lemurプロジェクトは、マサチューセッツ大学アマースト校のインテリジェント情報検索センターとカーネギーメロン大学の言語技術研究所の共同プロジェクトです。Lemur プロジェクトでは、情報検索およびテキストマイニングソフトウェアの研究開発をサポートする検索エンジン、ブラウザツールバー、テキスト分析ツール、データリソースを開発しています。このプロジェクトは、Indri および Galago 検索エンジン、ClueWeb09 および ClueWeb12 データセット、RankLib 学習ランクライブラリで最もよく知られています。ソフトウェアとデータセットは、科学研究アプリケーションだけでなく、一部の商用アプリケーションでも広く使用されています。

Lemur プロジェクトのソフトウェア開発哲学は、最先端の精度、柔軟性、効率性を重視しています。たとえば、Indri 検索エンジンは、大量のテキスト コレクションを「すぐに」正確に検索でき、データはアクセスしやすい方法で保存されるため、新しい検索戦略の開発に役立ちます。Lemur プロジェクトのソフトウェアは、科学者やソフトウェア開発者に柔軟性を提供するオープン ソース ライセンスに基づいて配布されます。

Lemur の作成に使用されたプログラミング言語はC、C++、Java で、ソース ファイルとビルド手順が付属しています。提供されたソース コードは、新しいライブラリを開発するために変更できます。Linux や Windows を含むさまざまなオペレーティング システムと互換性があります。

Lemur は次の機能をサポートしています:

• インデックス作成:
  • 英語、中国語、アラビア語のテキスト
  • 語幹解析
  • ストップワード
  • トークン化
  • パッセージと増分索引
• 検索：
  • アドホック検索（TF-IDFおよびInQuery）
  • パッセージとクロスリンガル検索
  • 言語モデル
    • クエリモデルの更新
    • 2段階スムージング
  • 関連性フィードバック
  • 構造化クエリ言語
  • ワイルドカードによる用語のマッチング
• 分散IR:
  • クエリベースのサンプリング
  • データベースベースのランキング (CORI)
  • 結果の統合
• ドキュメントのクラスタリング
• 要約
• シンプルなテキスト処理

Lemur プロジェクトには次のコンポーネントがあります。

• C++ の Indri 検索エンジン
• Java の Galago 検索エンジン リサーチ フレームワーク
• RankLib ランク付け学習ライブラリ
• Sifaka データマイニングアプリケーション
• ClueWeb09 および ClueWeb12 データセット
• クエリログツールバー

Lemur Project コンポーネントの更新は、年に 2 回、6 月と 12 月に行われます。Indri 検索エンジンの最新バージョンは 5.17 です。Galago 検索エンジンの最新バージョンは 3.18 です。RankLib 学習ランク ライブラリの最新バージョンは 2.14 です。Sifaka データ マイニング アプリケーションの最新バージョンは 1.8 です。

Indri 検索エンジンは、Lemur プロジェクトによって開発されたコンポーネントの 1 つです。これはオープン ソースです。Indri で使用されるクエリ言語により、研究者は簡単なコマンド ライン命令を使用してデータのインデックスを作成したり、ドキュメントを構造化したりできます。Indri は、さまざまな現在のアプリケーションに適応できる柔軟性を備えています。また、ノードのクラスター全体に分散して高いパフォーマンスを実現することもできます。Indri 検索エンジンは、大量のデータ コレクションを処理でき、HTMLやXMLなどのさまざまなデータ形式を理解できます。

Indri API は、C++、Java、C#、PHPなどのさまざまなプログラミング言語とスクリプト言語をサポートしています。

• 複数のドキュメント表現を利用できる
• 明示的な用語の重み付け
• 堅牢なクエリ言語
• 形式的にしっかりした
• 非常に効果的
• 効率的に実装できる

• 情報検索ライブラリの一覧

• レムールプロジェクトのウェブサイト