データマイニングの例

データマイニングとは、大規模なデータセットからパターンを発見するプロセスであり、多くの用途で利用されている。

ドローンによる監視や衛星画像は、土壌の健康状態、気象パターン、作物の生育、害虫の活動、その他の要因に関するデータ収集を可能にするために使用される方法の一部です。データセットは、農業効率の向上、パターンと傾向の特定、潜在的な損失の最小化のために分析されます。 ^{[ 1 ]}

• データマイニング技術は、農業における視覚データに適用して、意味のあるパターン、傾向、および関連性を抽出できます。この情報は、収穫された果物や野菜の欠陥を検出するアルゴリズムを改善できます。たとえば、高度な視覚データ収集方法、マシンビジョンシステム、および画像処理は、多数の表面欠陥に基づいて果物や野菜を分類するために適用されています。^{[ 2 ]}さらに、このデータを分析して、欠陥の潜在的な原因を調査できます。この知識の多くは、定性的および定量的データ収集方法ではなく、逸話的な証拠に基づいています。しかし、データマイニング技術を園芸研究に統合する努力がなされています。^{[ 3 ]}市場に出荷される前に、リンゴは検査され、欠陥のあるものを取り除きます。しかし、目に見えない欠陥は、リンゴの風味と外観に影響を与える可能性があります。そのような例の1つは、果実の保存期間に影響を与える可能性のある内部障害である水芯です。水芯が軽いリンゴは甘いですが、中程度から重度の水芯のリンゴは、通常のリンゴと比較して保存性が低下します。さらに、重度の水芯のある果物が数個あるだけで、バッチ全体が腐ってしまう可能性があります。このため、コンベアベルト上を流れるリンゴのX線画像を撮影する計算システムが研究されている。このシステムは、機械学習アルゴリズムを用いて画像を分析し、果実に水分を含む芯がある可能性を予測する。
• The metabolic transformations during fermentation impact the quality of the wine produced and the productivity of wine production industries. Data science techniques, such as k-means clustering, and classification techniques based on biclustering, have been used to study these metabolic processes, successfully predicting fermentation outcomes after as little as three days. These methods allow for the classification of wine according to the metabolite profile of the fermentation, differentiating it from traditional wine classification systems.^[4]
• A Group Method of Data Handling (GMDH)-type network, combined with a genetic algorithm, was used to predict the metabolizable energy of feather meal and poultry offal meal based on protein, fat, and ash content. Data samples from published literature were collected and used to train a GMDH-type network model. This approach can predict the metabolizable energy of poultry feed samples based on their chemical content.^[5] The GMDH-type network can also accurately estimate poultry performance from dietary nutrients such as metabolizable energy, protein and amino acids.^[6]
• The early detection of animal diseases can benefit farm productivity by allowing farmers to treat and isolate affected animals as soon as symptoms appear, reducing the spread of disease. For instance, the sounds pigs make, such as coughing, can be analyzed for disease detection. A computational system is being developed to monitor and differentiate pig sounds through microphones installed on the farm.
• PCR-一本鎖コンフォメーション多型（PCR -SSCP）を用いて、イランのバローチ種雄羊における成長ホルモン（ GH ）、レプチン、カルパイン、カルパスタチンの多型を調べた。GH 、レプチン、カルパイン、カルパスタチンの多型、出生体重、出生タイプを入力パラメータとして、子羊の平均日増体量（ADG）を予測する人工ニューラルネットワーク（ANN）モデルを開発した。その結果、ANNモデルは、特定の遺伝子多型、出生体重、出生タイプに基づいて子羊の成長をADGの観点から予測するためのデータパターンを識別するのに適したツールであることが明らかになった。PCR -SSCP法とANNベースのモデル解析は、羊の生産効率を向上させるための分子マーカー支援育種プログラムに利用できる可能性がある。 ^{[ 7 ]}
• パキスタンの農業研究者による最近の研究では、農薬推進的な国家政策が綿花栽培における農薬使用量の増加に寄与しており、農薬使用量と収穫量の間には負の相関関係があることが報告されている。農薬の過剰使用は、農家に経済的、環境的、社会的な影響を与えている。害虫データと気象記録を用いた綿花産業におけるデータマイニングは、農薬使用量を最適化する方法を示している。
• 人工ニューラルネットワーク（ANN）ベースのモデルと感度分析および最適化アルゴリズムを組み合わせたプラットフォームを使用して、ブロイラー鶏のスレオニンに対する反応に関する公開データを統合しました。体重増加と飼料効率に関するANNモデルの分析では、飼料中のタンパク質濃度がスレオニン濃度よりも重要であることが示唆されました。結果から、タンパク質18.69%、スレオニン0.73%を含む飼料が最適な体重増加につながる可能性があり、タンパク質18.71%、スレオニン0.75%を含む飼料で最適な飼料効率が達成される可能性があることが明らかになりました。^{[ 8 ]}

ビジネスにおけるデータマイニングとは、データウェアハウスデータベースに静的データとして保存されている過去のビジネス活動を分析することです。その目的は、隠れたパターンや傾向を明らかにすることです。データマイニングソフトウェアは、高度なパターン認識アルゴリズムを使用して大量のデータをふるいにかけ、これまで知られていなかった戦略的なビジネス情報を発見するのに役立ちます。企業がデータマイニングを使用する例としては、新しい製品バンドルを特定するための市場分析の実行、製造上の問題の根本原因の特定、顧客離脱の防止と新規顧客の獲得、既存顧客へのクロスセル、より正確な顧客プロファイリングなどがあります。^{[ 9 ]}

• 今日の世界では、企業は爆発的な速度で生データを収集しています。たとえば、ウォルマートは毎日2,000万件以上のPOS取引を処理しています。この情報は中央データベースに保存されていますが、それを分析するための何らかのデータマイニングソフトウェアがなければ役に立ちません。ウォルマートがデータマイニング技術を使用してPOSデータを分析すれば、販売トレンドを把握し、マーケティングキャンペーンを開発し、顧客ロイヤルティをより正確に予測できるようになります。^{[ 10 ] [ 11 ]}
• 電子商取引サイトで入手可能なアイテムの分類は、基本的な問題です。適切なアイテム分類システムは、検索や閲覧に関連するアイテムを特定するのに役立つため、ユーザーエクスペリエンスにとって不可欠です。アイテム分類は、データマイニングにおける教師あり分類問題として定式化できます。この場合、カテゴリはターゲットクラスであり、特徴はアイテムのテキスト説明を構成する単語です。アプローチの1つは、最初に類似したグループを見つけて、それらを潜在グループにまとめることです。次に、新しいアイテムが与えられたら、まず潜在グループに分類します。これは粗レベル分類と呼ばれます。次に、2回目の分類を実行して、アイテムが属するカテゴリを見つけます。^{[ 12 ]}
• クレジットカードや店舗のポイントカードが使用されるたび、または保証カードに記入されるたびに、ユーザーの行動に関するデータが収集されます。Google、Facebook、Amazonなどの企業が私たちについて保存している情報の量に多くの人が不安を感じ、プライバシーについて懸念しています。個人データが有害な方法や望ましくない方法で使用される可能性はありますが、私たちの生活をより良くするためにも使用されています。たとえば、FordとAudiは、より安全なルートを推奨したり、危険な道路状況についてドライバーに警告したりするために、顧客の運転パターンに関する情報を収集することを将来的に望んでいます。^{[ 13 ]}
• 顧客関係管理アプリケーションにおけるデータマイニングは、収益に大きく貢献できます。コールセンターを通じて見込み客や顧客に無作為に連絡したり、郵送物を送ったりするのではなく、企業はオファーに反応する可能性が高いと予測される見込み客に注力できます。より高度な手法を用いることで、キャンペーン全体のリソースを最適化し、個人がどのチャネルのどのオファーに最も反応しやすいかを予測できます（すべての潜在的なオファーの中から）。さらに、高度なアプリケーションを使用して郵送物を自動化することも可能です。データマイニングの結果（潜在的な見込み客/顧客とチャネル/オファー）が確定したら、この「高度なアプリケーション」は自動的に電子メールまたは郵送物を送信できます。最後に、オファーがなくても多くの人が行動を起こす場合、「アップリフトモデリング」を使用して、オファーを与えた場合に反応が最も増加する人を特定できます。アップリフトモデリングにより、マーケターは説得可能な人に郵送物やオファーを集中させ、オファーがなくても商品を購入する人にオファーを送らないようにすることができます。データクラスタリングは、顧客データセット内のセグメントやグループを自動的に発見するためにも使用できます。
• データマイニングを活用する企業は投資対効果を期待できる一方で、予測モデルの数が急速に膨大になる可能性も認識しています。例えば、顧客離脱数を予測するために単一のモデルを使用するのではなく、地域別、顧客タイプ別に個別のモデルを構築することを選択する企業もあります。多数のモデルを維持管理する必要がある状況では、より自動化されたデータマイニング手法を採用する企業も少なくありません。
• データマイニングは、人事部が最も優秀な従業員の特性を特定するのに役立ちます。優秀な従業員が通っていた大学などの情報を得ることで、人事部は採用活動を適切に集中させることができます。さらに、戦略的企業管理アプリケーションは、企業が利益や利益率目標などの企業レベルの目標を、生産計画や人員レベルなどの業務上の意思決定に変換するのに役立ちます。^{[ 14 ]}
• Data mining can be helpful to organizations. Organizational Data Mining (ODM) is defined as leveraging data mining (DM) tools and technologies to enhance organizational decision-making process by transforming data into valuable and actionable knowledge in order to gain a strategic and business competitive advantage. Data obtained – such as employee turnover rates – can help organizations focus their retention efforts accordingly. Additionally, organizational performance management data-mining and analytics applications help firms translate company-level goals, such as profit and sales targets, into operational decisions, as workers KPI and required measured effort levels.^[15]
• Market basket analysis has been used to identify the purchase patterns of the Alpha Consumer. Analyzing the data collected on this type of user has allowed companies to predict future buying trends and forecast supply demands.
• Data mining is a highly effective tool in the catalog marketing industry. Catalogers have a rich database of history of their customer transactions for millions of customers dating back a number of years. Data mining tools can identify patterns among customers and help identify the most likely customers to respond to upcoming mailing campaigns.
• Data mining for business applications can be integrated into a complex modeling and decision-making process.^[16]LIONsolver uses Reactive business intelligence (RBI) to advocate a "holistic" approach that integrates data mining, modeling, and interactive visualization into an end-to-end discovery and continuous innovation process powered by human and automated learning.^[17]
• In the area of decision making, the RBI approach has been used to mine knowledge that is progressively acquired from the decision maker, and then self-tune the decision method accordingly.^[18] The relation between the quality of a data mining system and the amount of investment that the decision maker is willing to make was formalized by providing an economic perspective on the value of "extracted knowledge" in terms of its payoff to the organization^[16] This decision-theoretic classification framework^[16] was applied to a real-world semiconductor wafer manufacturing line, where decision rules for effectively monitoring and controlling the semiconductor wafer fabrication line were developed.^[19]
• 集積回路（IC）製造ラインに関連するデータマイニングの例は、「ICテストデータのマイニングによるVLSIテストの最適化」という論文で説明されています。^{[ 20 ]}この論文では、ダイレベルの機能テストの問題へのデータマイニングと意思決定分析の適用について説明しています。言及されている実験では、過去のダイテストデータをマイニングするシステムを適用して、ダイの故障パターンの確率モデルを作成できることが実証されています。これらのパターンは、次にテストするダイとテストを停止するタイミングをリアルタイムで決定するために使用されます。このシステムは、過去のテストデータを使用した実験に基づいて、成熟したIC製品の利益を向上させる可能性があることが示されています。半導体製造環境におけるデータマイニング手法の適用に関する他の例^{[ 21 ] [ 22 ]}は、データが少ない場合や、プロセスに影響を与えるさまざまな物理的および化学的パラメータが非常に複雑な相互作用を示す場合に、データマイニング手法が特に役立つ可能性があることを示唆しています。もう1つの示唆は、データマイニングを使用した半導体製造プロセスのオンライン監視が非常に効果的である可能性があるということです。

近年、データマイニングは、バイオインフォマティクス、遺伝学、医学、教育、電力工学など、科学技術分野で広く利用されている。

• ヒト遺伝学の研究において、配列マイニングは、ヒトDNA配列の個体間変異と疾患感受性の変動との間のマッピング関係を理解するという重要な目標に取り組むのに役立ちます。簡単に言えば、個人のDNA配列の変化が癌などの一般的な疾患の発症リスクにどのように影響するかを解明することを目的としており、これはこれらの疾患の診断、予防、治療方法を改善する上で非常に重要です。このタスクを実行するために使用されるデータマイニング手法の1つは、多因子次元削減として知られています。^{[ 23 ]}
• In the area of electrical power engineering, data mining methods have been widely used for condition monitoring of high voltage electrical equipment. The purpose of condition monitoring is to obtain valuable information on, for example, the status of the insulation (or other important safety-related parameters). Data clustering techniques – such as the self-organizing map (SOM), have been applied to vibration monitoring and analysis of transformer on-load tap-changers (OLTCS). Using vibration monitoring, it can be observed that each tap change operation generates a signal that contains information about the condition of the tap changer contacts and the drive mechanisms. Obviously, different tap positions will generate different signals. However, there was considerable variability amongst normal condition signals for exactly the same tap position. SOM has been applied to detect abnormal conditions and to hypothesize about the nature of the abnormalities.^[24]
• Data mining methods have been applied to dissolved gas analysis (DGA) in power transformers. DGA, as a diagnostics for power transformers, has been available for many years. Methods such as SOM has been applied to analyze generated data and to determine trends which are not obvious to the standard DGA ratio methods (such as Duval Triangle).^[24]
• In educational research, where data mining has been used to study the factors leading students to choose to engage in behaviors which reduce their learning,^[25] and to understand factors influencing university student retention.^[26] A similar example of social application of data mining is its use in expertise finding systems, whereby descriptors of human expertise are extracted, normalized, and classified so as to facilitate the finding of experts, particularly in scientific and technical fields. In this way, data mining can facilitate institutional memory.
• Data mining methods of biomedical data facilitated by domain ontologies,^[27] mining clinical trial data,^[28] and traffic analysis using SOM.^[29]
• In adverse drug reaction surveillance, the Uppsala Monitoring Centre has, since 1998, used data mining methods to routinely screen for reporting patterns indicative of emerging drug safety issues in the WHO global database of 4.6 million suspected adverse drug reaction incidents.^[30] Recently, similar methodology has been developed to mine large collections of electronic health records for temporal patterns associating drug prescriptions to medical diagnoses.^[31]
• Data mining has been applied to software artifacts within the realm of software engineering: Mining Software Repositories.
• In the field of microbiology, data mining methods have been used for predicting population behavior of bacteria in food.^[32]

Data mining of government records – particularly records of the justice system (i.e., courts, prisons) – enables the discovery of systemic human rights violations in connection to generation and publication of invalid or fraudulent legal records by various government agencies.^[33][34]

Some machine learning algorithms can be applied in medical field as second-opinion diagnostic tools and as tools for the knowledge extraction phase in the process of knowledge discovery in databases. One of these classifiers (called Prototype exemplar learning classifier (PEL-C))^[35] is able to discover syndromes as well as atypical clinical cases.

A current medical field that utilizes the process of data mining is Metabolomics, which is the investigation and study of biological molecules and how their interaction with bodily fluids, cells, tissues, etc. is characterized.^[36] Metabolomics is a very data heavy subject, and often involves sifting through massive amounts of irrelevant data before finding any conclusions. Data mining has allowed this relatively new field of medical research to grow considerably within the last decade, and will likely be the method of which new research is found within the subject.^[36]

2011年、米国最高裁判所が判決を下したSorrell対IMS Health, Inc.事件では、薬局が外部企業と情報を共有できると裁定されました。この行為は、憲法修正第1条の「言論の自由」によって認められています。^{[ 37 ]}しかし、医療情報技術経済臨床医療法（HITECH法）の成立により、米国における電子健康記録（EHR）および関連技術の導入が始まりました。^{[ 38 ]} HITECH法は、米国復興・再投資法（ARRA）の一部として2009年2月17日に署名され、医療データマイニングへの道を開きました。^{[ 39 ]}この法律が署名される前は、米国を拠点とする医師のわずか20%しか電子患者記録を使用していなかったと推定されています。^{[ 38 ]}ソーレン・ブルナックは、「患者記録は可能な限り情報が豊富である」ため、「データマイニングの機会が最大化される」と指摘している。^{[ 38 ]}したがって、電子患者記録は医療データマイニングの可能性をさらに拡大し、膨大な医療データ分析のソースへの扉を開く。

空間データマイニングとは、データマイニング手法を空間データに適用することです。空間データマイニングの最終目標は、地理に関するデータ内のパターンを見つけることです。これまで、データマイニングと地理情報システム（GIS）は、それぞれ独自の手法、伝統、視覚化およびデータ分析へのアプローチを持つ、別々の技術として存在してきました。特に、現代のGISのほとんどは、非常に基本的な空間分析機能しか備えていません。IT、デジタルマッピング、リモートセンシングの発展、そしてGISの世界的な普及によってもたらされた、地理参照データの爆発的な増加は、データ駆動型の帰納的アプローチを地理分析およびモデリングに開発することの重要性を強調しています。

データマイニングは、GISベースの応用意思決定に大きなメリットをもたらす可能性を秘めています。近年、これら2つの技術を統合する作業は、特に、テーマ別および地理参照データを含む膨大なデータベースを保有する様々な公共部門および民間部門の組織が、そこに格納されている情報の大きな可能性に気づき始めたことから、極めて重要な課題となっています。そうした組織には、以下のようなものがあります。

• 地理参照統計データの分析または配布を必要とするオフィス
• 公衆衛生サービスが疾病の集団発生の原因究明に取り組んでいる
• 環境機関が土地利用パターンの変化が気候変動に及ぼす影響を評価している。
• 地理的位置情報に基づいて顧客セグメンテーションを行うジオマーケティング企業。

Challenges in Spatial mining: Geospatial data repositories tend to be very large. Moreover, existing GIS datasets are often splintered into feature and attribute components that are conventionally archived in hybrid data management systems. Algorithmic requirements differ substantially for relational (attribute) data management and for topological (feature) data management.^[40] Related to this is the range and diversity of geographic data formats, which present unique challenges. The digital geographic data revolution is creating new types of data formats beyond the traditional "vector" and "raster" formats. Geographic data repositories increasingly include ill-structured data, such as imagery and geo-referenced multi-media.^[41]

There are several critical research challenges in geographic knowledge discovery and data mining. Miller and Han^[42] offer the following list of emerging research topics in the field:

• Developing and supporting geographic data warehouses (GDW's): Spatial properties are often reduced to simple aspatial attributes in mainstream data warehouses. Creating an integrated GDW requires solving issues of spatial and temporal data interoperability – including differences in semantics, referencing systems, geometry, accuracy, and position.
• Better spatio-temporal representations in geographic knowledge discovery: Current geographic knowledge discovery (GKD) methods generally use very simple representations of geographic objects and spatial relationships. Geographic data mining methods should recognize more complex geographic objects (i.e., lines and polygons) and relationships (i.e., non-Euclidean distances, direction, connectivity, and interaction through attributed geographic space such as terrain). Furthermore, the time dimension needs to be more fully integrated into these geographic representations and relationships.
• Geographic knowledge discovery using diverse data types: GKD methods should be developed that can handle diverse data types beyond the traditional raster and vector models, including imagery and geo-referenced multimedia, as well as dynamic data types (video streams, animation).

Data may contain attributes generated and recorded at different times. In this case finding meaningful relationships in the data may require considering the temporal order of the attributes. A temporal relationship may indicate a causal relationship, or simply an association.

Wireless sensor networks can be used for facilitating the collection of data for spatial data mining for a variety of applications such as air pollution monitoring.^[43] A characteristic of such networks is that nearby sensor nodes monitoring an environmental feature typically register similar values. This kind of data redundancy due to the spatial correlation between sensor observations inspires the techniques for in-network data aggregation and mining. By measuring the spatial correlation between data sampled by different sensors, a wide class of specialized algorithms can be developed to develop more efficient spatial data mining algorithms.^[44]

In the process of turning from analog into digital, large data sets have been generated, collected, and stored discovering statistical patterns, trends and information which is hidden in data, in order to build predictive patterns. Studies suggest visual data mining is faster and much more intuitive than is traditional data mining.^[45][46][47] See also Computer vision.

Data mining techniques, and in particular co-occurrence analysis, has been used to discover relevant similarities among music corpora (radio lists, CD databases) for purposes including classifying music into genres in a more objective manner.^[48]

Data mining has been used by the U.S. government. Programs include the Total Information Awareness (TIA) program, Secure Flight (formerly known as Computer-Assisted Passenger Prescreening System (CAPPS II)), Analysis, Dissemination, Visualization, Insight, Semantic Enhancement (ADVISE),^[49] and the Multi-state Anti-Terrorism Information Exchange (MATRIX).^[50] These programs have been discontinued due to controversy over whether they violate the 4th Amendment to the United States Constitution, although many programs that were formed under them continue to be funded by different organizations or under different names.^[51]

In the context of combating terrorism, two particularly plausible methods of data mining are "pattern mining" and "subject-based data mining".

「パターンマイニング」とは、データの中に存在するパターンを見つけるデータマイニング手法です。この文脈では、パターンとは多くの場合、アソシエーションルールを意味します。アソシエーションルールを探索する本来の動機は、スーパーマーケットの取引データを分析し、つまり、購入された商品という観点から顧客の行動を調査したいという願望から生まれました。例えば、「ビール ⇒ ポテトチップス (80%)」というアソシエーションルールは、ビールを購入した顧客の5人中4人がポテトチップスも購入したことを示しています。

テロ活動を特定するためのツールとしてのパターンマイニングの文脈において、米国国家研究評議会は次のように定義しています。「パターンベースのデータマイニングは、テロ活動に関連している可能性のあるパターン（異常なデータパターンを含む）を探します。 これらのパターンは、ノイズの大きな海の中の小さな信号と見なされる可能性があります。」^{[ 52 ] [ 53 ] [ 54 ]}パターンマイニングには、音楽情報検索（MIR）などの新しい分野が含まれており、時間領域と非時間領域の両方で見られるパターンが、従来の知識発見検索方法に取り込まれています。

「主題ベースのデータマイニング」とは、データ内の個人間の関連性を探索するデータマイニング手法です。テロ対策の文脈において、米国国家研究評議会は次のように定義しています。「主題ベースのデータマイニングは、他の情報に基づいて高い関心があるとみなされる開始個人またはその他のデータを使用し、その開始データに関連する他の人物、金融取引、動きなどを特定することを目的としています。」^{[ 53 ]}

Knowledge discovery "On the Grid" generally refers to conducting knowledge discovery in an open environment using grid computing concepts, allowing users to integrate data from various online data sources, as well make use of remote resources, for executing their data mining tasks. The earliest example was the Discovery Net,^[55][56] developed at Imperial College London, which won the "Most Innovative Data-Intensive Application Award" at the ACM SC02 (Supercomputing 2002) conference and exhibition, based on a demonstration of a fully interactive distributed knowledge discovery application for a bioinformatics application. Other examples include work conducted by researchers at the University of Calabria, who developed a Knowledge Grid architecture for distributed knowledge discovery, based on grid computing.^[57][58]

• Wikipedia:Data mining Wikipedia