Loading article…
構造マイニング、または構造化データマイニングとは、半構造化データセットから有用な情報を見つけ出し、抽出するプロセスです。グラフマイニング、シーケンシャルパターンマイニング、分子マイニングは、構造化データマイニングの特殊なケースです。
半構造化データの利用拡大は、従来表形式データセットを対象としてきたデータマイニングに新たな機会をもたらしました。これは、データマイニングとリレーショナルデータベースとの強い関連性を反映しています。世界の興味深くマイニング可能なデータの多くは、リレーショナルデータベースに容易に収まるものではありません。にもかかわらず、ソフトウェアエンジニアの世代は、これがデータを扱う唯一の方法だと信じるように訓練されてきました。また、データマイニングアルゴリズムは、一般的に表形式データのみに対応するように開発されてきました。
XMLは半構造化データを表現する最も一般的な方法であり、表形式データと任意のツリーの両方を表現できます。XMLで2つのアプリケーション間で交換されるデータの特定の表現は、通常、XSDで記述されることが多いスキーマによって定義されます。このようなスキーマの実例としては、NewsMLなどがあり、通常は非常に高度で、特殊なケースのデータを表現するために使用される複数のオプションのサブツリーが含まれています。多くの場合、スキーマの約90%は、これらのオプションのデータ項目とサブツリーの定義に関係しています。
したがって、XMLを使用して送信またはエンコードされ、同じスキーマに準拠するメッセージやデータであっても、送信される内容によって非常に異なるデータが含まれる可能性がある。
このようなデータは、従来のデータマイニングにとって大きな問題となる。同じスキーマに準拠する2つのメッセージであっても、共通するデータがほとんどない場合がある。このようなデータからトレーニングセットを作成する場合、従来のデータマイニング用に表形式データに変換しようとすると、表の大部分が空になる、あるいは空になる可能性がある。
ほとんどのデータマイニングアルゴリズムの設計には、提示されるデータが完全であるという暗黙の前提があります。もう1つの必要条件は、実際に使用されるマイニングアルゴリズムが、教師あり学習か教師なし学習かにかかわらず、疎なデータを処理できる必要があるということです。つまり、機械学習アルゴリズムは、情報の一部しか提供されていない不完全なデータセットでは性能が低下します。たとえば、ニューラルネットワークに基づく手法やロス・クインランのID3アルゴリズムは、問題の適切で代表的なサンプルでは高い精度を発揮しますが、偏りのあるデータでは性能が低下します。多くの場合、入力と出力をより注意深く偏りのない形で表現した、より良いモデル表現で十分です。適切な構造とモデルを見つけることが重要な課題となる特に関連性の高い分野は、テキストマイニングです。
XPathは、XML内のノードやデータ項目を参照するために使用される標準的なメカニズムです。これは、オペレーティングシステムのユーザーインターフェースで使用されるディレクトリ階層をナビゲートするための標準的な手法と類似しています。あらゆる形式のXMLデータをデータマイニングおよび構造マイニングするには、従来のデータマイニングに少なくとも2つの拡張機能が必要です。それは、XPathステートメントを任意のデータパターンに関連付け、サブステートメントをデータパターン内の各データノードに関連付ける機能と、ドキュメント内の任意のノードまたはノードセットの存在と数をマイニングする機能です。
例えば、XMLで家系図を表現する場合、これらの拡張機能を使用することで、家系図内のすべての個人ノード、名前や死亡時の年齢などのデータ項目、子供の数などの関連ノードの数を含むデータセットを作成できます。より高度な検索では、祖父母の寿命などのデータを抽出することも可能です。
文書やメッセージの構造に関連するこれらのデータ型を追加することで、構造マイニングが容易になります。