データマイニング

データマイニングは、機械学習、統計、データベースシステムの交差点にある手法を伴う、大規模なデータセットからパターンを抽出および発見するプロセスです。^[1]データマイニングは、データセットから（インテリジェントな方法で）情報を抽出し、その情報を理解可能な構造に変換してさらに使用することを全体的な目標とする、コンピュータサイエンスと統計の学際的なサブフィールドです。 ^{[1] [2] [3] [4]データマイニングは、「}データベースでの知識発見」プロセス、またはKDDの分析ステップです。 ^[5]生の分析ステップとは別に、データベースとデータ管理の側面、データの前処理、モデルと推論の考慮、興味深さの指標、複雑さの考慮、発見された構造の後処理、視覚化、およびオンライン更新も含まれます。^[1]

「データマイニング」という用語は誤った名称です。その目的は大量のデータからパターンや知識を抽出することであり、データ自体の抽出（マイニング）ではないからです。^[6]これは流行語でもあり^[7]、あらゆる形式の大規模データまたは情報処理（収集、抽出、保管、分析、統計）や、人工知能（機械学習など）やビジネスインテリジェンスを含むコンピューター意思決定支援システムのあらゆるアプリケーションに頻繁に適用されています。多くの場合、より一般的な用語（大規模）データ分析や分析、または実際の方法を指す場合は人工知能や機械学習の方が適切です。

実際のデータ マイニング タスクは、大量のデータを半自動または自動で分析して、データ レコードのグループ (クラスター分析)、異常なレコード (異常検出)、依存関係(関連ルール マイニング、シーケンシャル パターン マイニング) など、これまで知られていなかった興味深いパターンを抽出することです。これには通常、空間インデックスなどのデータベース技術が使用されます。これらのパターンは、入力データの一種の要約として見ることができ、さらに分析したり、たとえば機械学習や予測分析に使用したりできます。たとえば、データ マイニング ステップでデータ内の複数のグループが識別され、それを使用して意思決定支援システムがより正確な予測結果を得ることができます。データ収集、データ準備、結果の解釈とレポートは、データ マイニング ステップの一部ではありませんが、追加のステップとして全体的な KDD プロセスに属しています。

データ分析とデータマイニングの違いは、データ分析はデータ量に関係なく、データセットに対してモデルや仮説をテストするために使用されることです。たとえば、マーケティングキャンペーンの効果を分析するなどです。対照的に、データマイニングは機械学習と統計モデルを使用して、大量のデータ内の秘密のパターンや隠れたパターンを明らかにします。^[8]

関連用語であるデータ ドレッジング、データ フィッシング、データ スヌーピングは、データ マイニング手法を使用して、大規模な母集団データ セットから、発見されたパターンの妥当性について信頼性の高い統計的推論を行うには小さすぎる (または小さすぎる可能性がある) 部分をサンプリングすることを指します。ただし、これらの手法は、大規模なデータ母集団に対してテストするための新しい仮説を作成するために使用できます。

1960 年代、統計学者や経済学者は、事前の仮説なしにデータを分析するという悪い習慣を指して、データ フィッシングやデータ ドレッジングなどの用語を使用していました。「データ マイニング」という用語は、経済学者のマイケル ラヴェルが1983 年にReview of Economic Studiesに掲載した記事で同様に批判的に使用しました。 ^{[9] [10]}ラヴェルは、この習慣が「実験 (肯定的) から「フィッシング」や「スヌーピング (否定的) まで、さまざまな別名で偽装されている」と述べています。

データマイニングという用語は、1990年頃にデータベースコミュニティで一般的に肯定的な意味合いで登場しました。1980年代の短期間、「データベースマイニング」™というフレーズが使用されていましたが、サンディエゴを拠点とする企業であるHNCがデータベースマイニングワークステーションを宣伝するために商標登録したため、^[11]研究者は結果的にデータマイニングに目を向けました。使用されている他の用語には、データ考古学、情報収集、情報発見、知識抽出などがあります。グレゴリー・ピアテツキー・シャピロは、同じトピックに関する最初のワークショップ（KDD-1989）で「データベースにおける知識発見」という用語を作り出し、この用語はAIおよび機械学習コミュニティでより一般的になりました。ただし、データマイニングという用語は、ビジネスおよび報道コミュニティでより一般的になりました。^{[12]現在、}データマイニングと知識発見という用語は同じ意味で使用されています。

データからパターンを手動で抽出する方法は、何世紀にもわたって行われてきました。データ内のパターンを識別する初期の方法には、ベイズの定理(1700 年代) や回帰分析(1800 年代) などがあります。^[13]コンピュータ技術の普及、偏在性、および能力の向上により、データの収集、保存、および操作能力が劇的に向上しました。データセットのサイズと複雑さが増すにつれて、直接的な「実践的な」データ分析は、ニューラル ネットワーク、クラスター分析、遺伝的アルゴリズム(1950 年代)、決定木と決定ルール(1960 年代)、サポート ベクター マシン(1990 年代) など、特に機械学習の分野におけるコンピュータ サイエンスの他の発見に助けられ、間接的で自動化されたデータ処理によってますます強化されました。データ マイニングは、隠れたパターンを発見することを目的としてこれらの方法を適用するプロセスです。^[14]大規模なデータセットで。これは、データベース内でのデータの保存方法とインデックス作成方法を活用して実際の学習および発見アルゴリズムをより効率的に実行することにより、応用統計学および人工知能（通常は数学的背景を提供）からデータベース管理へのギャップを埋め、そのような方法をこれまで以上に大規模なデータセットに適用できるようにします。

データベースにおける知識発見 (KDD) プロセスは、通常、次の段階で定義されます。

1. 選択
2. 前処理
3. 変換
4. データマイニング
5. 解釈・評価^[5]

ただし、このテーマにはさまざまなバリエーションがあり、たとえば、データ マイニングの業界標準プロセス(CRISP-DM) では 6 つのフェーズが定義されています。

1. ビジネス理解
2. データの理解
3. データ準備
4. モデリング
5. 評価
6. 展開

または、（1）前処理、（2）データマイニング、（3）結果の検証などの簡略化されたプロセス。

2002年、2004年、2007年、2014年に実施された世論調査では、CRISP-DM手法がデータマイナーが使用する主要な手法であることが示されています。^{[15] [16] [17] [18]}

これらの調査で挙げられた他のデータマイニング標準はSEMMAのみでした。しかし、CRISP-DMを使用していると報告した人は3～4倍に上りました。いくつかの研究チームがデータマイニングプロセスモデルのレビューを発表しており、^[19] AzevedoとSantosは2008年にCRISP-DMとSEMMAの比較を実施しました。^[20]

データ マイニング アルゴリズムを使用する前に、ターゲット データ セットを組み立てる必要があります。データ マイニングでは、データに実際に存在するパターンしか発見できないため、ターゲット データ セットは、これらのパターンを含むのに十分な大きさであると同時に、許容時間内にマイニングできるほど簡潔である必要があります。一般的なデータ ソースは、データ マートまたはデータ ウェアハウスです。データ マイニングの前に多変量データ セットを分析するには、前処理が不可欠です。次に、ターゲット セットをクリーニングします。データ クリーニングでは、ノイズを含む観測値と欠損データのある観測値が削除されます。

データマイニングには6つの一般的なタスククラスが含まれます。^[5]

• 異常検出(外れ値/変化/偏差検出) - 興味深い可能性のある異常なデータ レコード、または標準範囲外であるためさらに調査が必要なデータ エラーを識別します。
• 関連ルール学習(依存関係モデリング) – 変数間の関係を検索します。たとえば、スーパーマーケットでは顧客の購買習慣に関するデータを収集する場合があります。関連ルール学習を使用すると、スーパーマーケットはどの製品が頻繁に一緒に購入されるかを判断し、この情報をマーケティングに使用できます。これは、マーケット バスケット分析と呼ばれることもあります。
• クラスタリングは、データ内の既知の構造を使用せずに、何らかの方法で「類似」するデータ内のグループと構造を検出するタスクです。
• 分類– 既知の構造を一般化して新しいデータに適用するタスクです。たとえば、電子メール プログラムは電子メールを「正当」または「スパム」として分類しようとする場合があります。
• 回帰– データまたはデータセット間の関係を推定するために、エラーが最小のデータをモデル化する関数を見つけようとします。
• 要約- 視覚化やレポート生成など、データ セットのよりコンパクトな表現を提供します。

データマイニングは意図せず誤用される可能性があり、有意であるように見えるが実際には将来の行動を予測せず、新しいデータサンプルで再現できないため、ほとんど役に立たない結果が生成されます。これは、調査する仮説が多すぎて、適切な統計的仮説検定が行われないことによって引き起こされる場合があります。機械学習におけるこの問題の単純なバージョンは過剰適合として知られていますが、同じ問題がプロセスのさまざまな段階で発生する可能性があるため、トレーニング/テストの分割（適用可能な場合）では、この問題の発生を防ぐのに十分ではない可能性があります。^[21]

データから知識を発見する最後のステップは、データ マイニング アルゴリズムによって生成されたパターンが、より広範なデータ セットで発生することを確認することです。アルゴリズムによって検出されたすべてのパターンが必ずしも有効であるとは限りません。データ マイニング アルゴリズムでは、一般的なデータ セットには存在しないパターンをトレーニング セットで検出することが一般的です。これは、オーバーフィッティングと呼ばれます。これを克服するために、評価では、データ マイニング アルゴリズムがトレーニングされなかったデータのテスト セットを使用します。学習されたパターンがこのテスト セットに適用され、結果の出力が目的の出力と比較されます。たとえば、「スパム」と「正当な」電子メールを区別しようとするデータ マイニング アルゴリズムは、サンプル電子メールのトレーニングセットでトレーニングされます。トレーニングが完了すると、学習されたパターンが、トレーニングされなかった電子メールのテスト セットに適用されます。パターンの精度は、正しく分類された電子メールの数から測定できます。アルゴリズムを評価するには、 ROC 曲線などのいくつかの統計的手法を使用できます。

学習したパターンが望ましい基準を満たさない場合は、前処理とデータ マイニングの手順を再評価して変更する必要があります。学習したパターンが望ましい基準を満たしている場合は、最後のステップとして学習したパターンを解釈し、知識に変換します。

この分野における主要な専門団体は、米国計算機協会（ACM）の知識発見とデータマイニングに関する特別興味グループ（SIG）（SIGKDD）である。^{[22] [23]} 1989年以来、このACM SIGは毎年国際会議を主催し、その議事録を出版している。^[24]また、1999年以来、 「SIGKDD Explorations」というタイトルの学術誌を半年ごとに発行している。 ^[25]

データマイニングに関するコンピュータサイエンス会議には以下のものがあります。

• CIKM カンファレンス– ACM情報および知識管理に関するカンファレンス
• 機械学習とデータベースにおける知識発見の原理と実践に関する欧州会議
• KDD カンファレンス– ACM SIGKDD知識発見とデータマイニングに関するカンファレンス

データ マイニングのトピックは、ICDE カンファレンス、SIGMOD カンファレンス、International Conference on Very Large Data Basesなどの多くのデータ管理/データベース カンファレンスでも取り上げられています。

データ マイニング プロセスの標準を定義する取り組みはいくつか行われてきました。たとえば、1999 年のヨーロッパデータ マイニング業界標準プロセス(CRISP-DM 1.0) や 2004 年のJava データ マイニング標準 (JDM 1.0) などです。これらのプロセスの後継 (CRISP-DM 2.0 および JDM 2.0) の開発は 2006 年に活発に行われましたが、それ以降は停滞しています。JDM 2.0 は最終草案に至らないまま撤回されました。

抽出されたモデルを交換するための、特に予測分析で使用するための重要な標準は、予測モデルマークアップ言語（PMML）です。これは、データマイニンググループ（DMG）によって開発されたXMLベースの言語であり、多くのデータマイニングアプリケーションで交換フォーマットとしてサポートされています。名前が示すように、ビジネスアプリケーションにとって非常に重要な特定のデータマイニングタスクである予測モデルのみをカバーしています。ただし、DMGとは独立して、（たとえば）サブスペースクラスタリングをカバーするための拡張が提案されています。^[26]

データ マイニングは、デジタル データが利用できるあらゆる場所で使用されます。データ マイニングの注目すべき例は、ビジネス、医療、科学、金融、建設、監視のあらゆる分野で見られます。

「データマイニング」という用語自体には倫理的な意味合いはないかもしれないが、ユーザーの行動（倫理的か否かを問わず）に関連した情報のマイニングと関連付けられることが多い。^[27]

データマイニングの使用方法によっては、プライバシー、合法性、倫理に関する疑問が生じる場合があります。^[28]特に、Total Information Awareness ProgramやADVISEなど、国家安全保障や法執行の目的で政府や商業データセットをデータマイニングすることは、プライバシーに関する懸念を引き起こしています。^{[29] [30]}

データマイニングには、機密保持義務やプライバシー義務に違反する情報やパターンを発見するためのデータ準備が必要である。これを実現する一般的な方法は、データ集約である。データ集約には、分析を容易にする方法で（さまざまなソースからのデータを）組み合わせることが含まれる（ただし、これにより、個人レベルのプライベートなデータの識別が推測可能になったり、明らかになったりすることもある）。^[31]これは、データマイニングそのものではなく、分析前の、そして分析の目的のためのデータ準備の結果である。データがコンパイルされると、データマイナーまたは新しくコンパイルされたデータセットにアクセスできる人が特定の個人を識別できるようになると、特にデータが元々匿名であった場合に、個人のプライバシーに対する脅威が発生します。^[32]

データ収集前に以下の点に注意することが推奨されています^{[誰によると？ ] ： [31]}

• データ収集の目的と（既知の）データ マイニング プロジェクト。
• データがどのように使用されるか。
• 誰がデータをマイニングし、データとその派生物を使用できるのか。
• データへのアクセスを取り巻くセキュリティの状態。
• 収集されたデータを更新する方法。

データは匿名化されるように変更されることもあり、その場合、個人が容易に特定されなくなる。^[31]しかし、「匿名化された」データセットであっても、個人を特定できる十分な情報が含まれている可能性がある。これは、AOLが誤って公開した一連の検索履歴に基づいてジャーナリストが複数の個人を見つけることができた事例で明らかになった。^[33]

不注意で個人情報が漏洩し、プロバイダーに知られることは、公正情報慣行に違反する。この不注意は、対象者に金銭的、精神的、または身体的損害を与える可能性がある。プライバシー侵害の一例として、ウォルグリーンの顧客が2011年に同社を相手取り、処方箋情報をデータマイニング会社に販売し、その会社が製薬会社にデータを提供したとして訴訟を起こしたことがある。^[34]

ヨーロッパではプライバシー法がかなり厳しく、消費者の権利をさらに強化する取り組みが進められている。しかし、 1998年から2000年にかけて策定された米国とEUのセーフハーバー原則は、現在、事実上、ヨーロッパのユーザーを米国企業によるプライバシーの搾取にさらしている。エドワード・スノーデンによる世界的な監視の暴露の結果、特にデータが国家安全保障局に完全に公開されることになるため、この協定を撤回する議論が高まっており、米国との合意に達する試みは失敗している。^[35]

特に英国では、企業がデータマイニングを利用して特定の顧客グループをターゲットにし、不当に高い価格を支払わせるケースがあります。これらのグループは、デジタル市場で搾取される方法に精通していない、社会的経済的地位の低い人々である傾向があります。^[36]

米国では、プライバシーに関する懸念は、米国議会が医療保険の携行性と責任に関する法律(HIPAA)などの規制管理を可決することで対処してきました。HIPAA では、個人が提供する情報とその現在および将来の使用目的に関する「インフォームド コンセント」を与えることが義務付けられています。Biotech Business Weekの記事によると、「『実際には、HIPAA は研究分野における長年の規制よりも優れた保護を提供しない可能性がある』と AAHC は述べています。さらに重要なのは、インフォームド コンセントによる保護というこの規則の目標が、平均的な個人には理解できないレベルに近づいていることです。」^[37]これは、データ集約およびマイニングの実践においてデータの匿名性が必要であることを強調しています。

HIPAA や家族教育の権利とプライバシー法(FERPA)などの米国の情報プライバシー法は、それぞれの法律が対象とする特定の分野にのみ適用されます。米国の大多数の企業によるデータ マイニングの使用は、いかなる法律によっても規制されていません。

欧州の著作権 データベース法では、著作権者の許可なく著作権のある作品をマイニングすること（ウェブマイニングなど）は違法である。欧州ではデータベースが純粋なデータである場合、著作権はないがデータベース権は存在する可能性があり、データマイニングはデータベース指令で保護されている知的財産権者の権利の対象となる。ハーグリーブスレビューの勧告を受けて、英国政府は2014年に著作権法を改正し、コンテンツマイニングを制限および例外として認めることとなった。^[38]英国は、2009年にデータマイニングの例外を導入した日本に次いで世界で2番目に改正を行った国である。しかし、情報社会指令（2001年）の制限により、英国の例外では非営利目的のコンテンツマイニングのみが許可されている。英国の著作権法では、この規定を契約条件で上書きすることも認められていない。スイス著作権法第24d条。この新しい条項は2020年4月1日に発効しました。^[39]

欧州委員会は2013年に「欧州のライセンス」と題して、テキストおよびデータマイニングに関する利害関係者の議論を促進した。^[40]この法的問題の解決策、つまり制限や例外ではなくライセンスに重点が置かれたため、大学、研究者、図書館、市民社会団体、オープンアクセス出版社の代表者は2013年5月に利害関係者の対話から離脱した。^[41]

米国著作権法、特にフェアユースの規定は、米国およびイスラエル、台湾、韓国などのフェアユースの国におけるコンテンツマイニングの合法性を支持している。コンテンツマイニングは変形的であり、つまり元の作品に取って代わるものではないため、フェアユースの下では合法とみなされている。例えば、Google Bookの和解の一環として、この事件の裁判長は、Googleの著作権のある書籍のデジタル化プロジェクトは合法であるとの判決を下したが、その理由の1つは、デジタル化プロジェクトが示した変形的使用（テキストおよびデータマイニングなど）である。^[42]

以下のアプリケーションは、無料/オープンソース ライセンスで利用できます。アプリケーションのソース コードへのパブリック アクセスも利用できます。

• Carrot2 : テキストと検索結果のクラスタリング フレームワーク。
• Chemicalize.org : 化学構造マイナーおよび Web 検索エンジン。
• ELKI : Java言語で記述された高度なクラスター分析と外れ値検出方法を備えた大学の研究プロジェクト。
• GATE :自然言語処理および言語エンジニアリングツール。
• KNIME : ユーザーフレンドリーで包括的なデータ分析フレームワークである Konstanz Information Miner。
• Massive Online Analysis (MOA) : Javaプログラミング言語の概念ドリフト ツールを使用したリアルタイムのビッグ データ ストリーム マイニング。
• MEPX : 遺伝的プログラミングのバリエーションに基づいた回帰および分類問題のためのクロスプラットフォーム ツール。
• mlpack : C++言語で記述された、すぐに使用できる機械学習アルゴリズムのコレクション。
• NLTK (自然言語ツールキット): Python言語用の記号的および統計的自然言語処理 (NLP) 用のライブラリとプログラムのスイート。
• OpenNN : オープンニューラルネットワークライブラリ。
• Orange : Python言語で記述されたコンポーネントベースのデータマイニングおよび機械学習ソフトウェアスイート。
• PSPP : SPSSに似た GNU プロジェクトのデータマイニングおよび統計ソフトウェア
• R :統計計算、データマイニング、グラフィックス用のプログラミング言語およびソフトウェア環境。GNUプロジェクトの一部です。
• scikit-learn : Python プログラミング言語用のオープンソースの機械学習ライブラリ。
• Torch :機械学習アルゴリズムを幅広くサポートする、Luaプログラミング言語と科学計算フレームワーク用のオープンソースの ディープラーニングライブラリ。
• UIMA : UIMA (非構造化情報管理アーキテクチャ) は、テキスト、オーディオ、ビデオなどの非構造化コンテンツを分析するためのコンポーネント フレームワークであり、もともと IBM によって開発されました。
• Weka : Javaプログラミング言語で書かれた機械学習ソフトウェア アプリケーション スイート。

以下のアプリケーションは、独自のライセンスに基づいて利用できます。

• Angoss KnowledgeSTUDIO: データマイニングツール
• LIONsolver : 学習とインテリジェント最適化 (LION) アプローチを実装する、データ マイニング、ビジネス インテリジェンス、モデリング用の統合ソフトウェア アプリケーション。
• PolyAnalyst : Megaputer Intelligence によるデータおよびテキスト マイニング ソフトウェア。
• Microsoft Analysis Services : Microsoftが提供するデータ マイニング ソフトウェア。
• NetOwl : データ マイニングを可能にする多言語テキストおよびエンティティ分析製品のスイート。
• Oracle Data Mining : Oracle Corporationのデータ マイニング ソフトウェア。
• PSeven : DATADVANCEが提供するエンジニアリング シミュレーションと分析、多分野にわたる最適化、データ マイニングの自動化のためのプラットフォーム。
• Qlucore Omics Explorer: データ マイニング ソフトウェア。
• RapidMiner :機械学習とデータマイニングの実験のための環境。
• SAS Enterprise Miner : SAS Instituteが提供するデータ マイニング ソフトウェア。
• SPSS Modeler : IBMが提供するデータ マイニング ソフトウェア。
• STATISTICA Data Miner: StatSoftが提供するデータ マイニング ソフトウェア。
• Tanagra : 視覚化指向のデータマイニング ソフトウェア。教育用としても使用できます。
• Vertica : Hewlett-Packardが提供するデータ マイニング ソフトウェア。
• Google Cloud Platform : Googleが管理する自動化されたカスタム ML モデル。
• Amazon SageMaker :カスタム ML モデルの作成と実稼働化のためにAmazonが提供するマネージドサービス。

方法

アプリケーションドメイン

アプリケーション例

関連トピック

データから情報を抽出する方法（データの分析とは対照的）の詳細については、以下を参照してください。

その他のリソース

• 国際データウェアハウスおよびマイニングジャーナル

ウィキメディア・コモンズには、データマイニングに関連するメディアがあります。