情報フィルタリングシステム

情報フィルタリング システム とは、人間のユーザーに提示する前に、(半)自動またはコンピューター化された方法を使用して、情報ストリームから冗長または不要な情報を削除するシステムです。その主な目的は、情報過多を管理し、意味的 信号対雑音比を増やすことです。これを行うには、ユーザーのプロファイルをいくつかの参照特性と比較します。これらの特性は、情報項目 (コンテンツ ベースのアプローチ) またはユーザーの社会的環境 (協調フィルタリングアプローチ) から発生する場合があります。

情報伝送 では、ビット レベルで 構文を破壊するノイズに対して信号処理フィルターが使用されますが、情報フィルタリングで使用される方法は、意味レベルで作用します。

採用されているさまざまな機械手法は、情報抽出と同じ原理に基づいています。注目すべき応用分野は、電子メールのスパム フィルターの分野です。したがって、何らかのフィルターが必要になるのは、情報爆発だけではありません。不注意または悪意を持って導入された疑似情報もフィルターの対象となります。

プレゼンテーションレベルでは、情報のフィルタリングは、ユーザーの好みに基づいたニュースフィードなど の形をとります。

レコメンデーション システムとコンテンツ検出プラットフォームは、ユーザーが興味を持っている情報項目 (映画、テレビ、音楽、書籍、ニュース、Web ページ) をユーザーに提示しようとするアクティブな情報フィルタリング システムです。これらのシステムは、ユーザーに向かう情報フローから情報項目を削除するのではなく、ユーザーに向かう情報に情報項目を追加します。レコメンデーション システムでは通常、協調フィルタリングアプローチ、または協調フィルタリングとコンテンツ ベース フィルタリング アプローチの組み合わせが使用されますが、コンテンツ ベースのレコメンデーション システムも存在します。

インターネットの出現以前にも、情報をフィルタリングする方法はいくつか存在していました。たとえば、政府は公式または非公式の検閲によって、特定の国における情報の流れを制御および制限する場合があります。

一方、新聞編集者やジャーナリストが、顧客である書籍、雑誌、新聞の読者、ラジオリスナー、テレビ視聴者にとって最も価値のある情報を選択するサービスを提供している場合、情報フィルターについて話すことになります。このフィルタリング操作は、このサービスの顧客である学生に学術的基準に基づいて支援を提供するために情報を選択する学校や大学でも行われています。インターネットの出現により、誰もが低コストで好きなものを公開できるようになりました。このようにして、あまり役に立たない情報が大幅に増加し、結果として質の高い情報が発信されます。この問題から、特定のトピックごとに必要な情報を簡単かつ効率的に取得できる新しいフィルタリングが考案され始めました。

このスタイルのフィルタリング システムは、最も価値のある情報を見つけるのに役立ついくつかのツールで構成されているため、読む/聞く/見るために費やすことができる限られた時間が、最も興味深く価値のあるドキュメントに正しく向けられます。これらのフィルターは、メール アドレスのメッセージをグループ化するだけでなく、情報を正しく理解しやすい方法で整理および構造化するためにも使用されます。これらのフィルターは、インターネットの検索エンジンで取得される結果に不可欠です。フィルタリング機能は、Web ドキュメントのダウンロードやより効率的なメッセージを取得するために日々改善されています。

このステップで使用される基準の 1 つは、知識が有害であるかどうか、つまり、概念の有無にかかわらず知識によって理解が深まるかどうかです。この場合、知識を使用して有害な情報を削減または排除するための情報フィルタリングのタスクです。

学習コンテンツのシステムは、一般的に、主に次の 3 つの基本段階で構成されます。

1. まず、定義された一連のタスクに対するソリューションを提供するシステムです。
2. その後、問題の解決に関連して前の段階のパフォーマンスを測定する評価基準が実行されます。
3. 第一段階のシステムソルバーで使用される知識を出力として取得した取得モジュール。

現在、問題は情報をフィルタリングする最良の方法を見つけることではなく、これらのシステムがユーザーの情報ニーズを独自に学習する必要がある方法です。フィルタリングのプロセスを自動化するだけでなく、フィルターの構築と適応も自動化するためです。統計、機械学習、パターン認識、データマイニングなど、それに基づくいくつかの分野は、経験に基づいて現れ、適応する情報フィルターを開発するための基盤です。学習プロセスを実行するには、情報の一部を事前にフィルタリングする必要があります。つまり、専門家によって、または一般ユーザーからのフィードバックによって生成できるトレーニングデータと呼ばれる肯定的な例と否定的な例があります。

データが入力されると、システムには新しいルールが追加されます。このデータがトレーニング データ情報を一般化できると考えられる場合、システム開発を評価し、新しい情報のカテゴリを正しく予測するシステムの能力を測定する必要があります。この手順は、トレーニング データを「テスト データ」と呼ばれる新しいシリーズに分離することで簡素化され、これを使用してエラー率を測定します。原則として、エラーの種類 (偽陽性と偽陰性) を区別することが重要です。たとえば、子供向けのコンテンツのアグリゲータの場合、暴力やポルノを示す子供に適さない情報の通過を許可することは、適切な情報を破棄するミスと同じ重大性はありません。システムを改善してエラー率を下げ、これらのシステムに人間と同様の学習機能を持たせるには、自然言語理解、意味の捕捉、情報のセマンティクスを実現するためのその他の高度な処理など、人間の認知能力をシミュレートするシステムの開発が必要です。

現在、情報フィルターを開発するための技術は数多くあり、その一部はさまざまな実験でエラー率が 10% 未満に達しています。^[要出典]これらの技術には、決定木、サポート ベクター マシン、ニューラル ネットワーク、ベイジアン ネットワーク、線形判別、ロジスティック回帰などがあります。現在、これらの技術は、Web コンテキストだけでなく、音声認識、望遠鏡天文学の分類、金融リスクの評価など、さまざまなテーマの問題でさまざまなアプリケーションに使用されています。

• Hanani, U., Shapira, B., Shoval, P. (2001) 情報フィルタリング: 問題、研究、システムの概要。ユーザーモデリングとユーザー適応型インタラクション、11、pp. 203–259。
• http://www.infoworld.com/d/developer-world/human-information-filter-813

• インフォワールド
• IEEXplore