データファーミング

データ ファーミング とは、設計された計算実験を使用してデータを「成長」させ、その後、統計および視覚化技術を使用して分析し、複雑なシステムに関する洞察を得るプロセスです。これらの方法は、あらゆる計算モデルに適用できます。

データ ファーミングは、次の例えが示すように、 データマイニングとは異なります。

鉱夫は地中に埋もれた貴重な鉱石の塊を探しますが、そこに何があるのか​​、周囲から鉱石を採掘するのがどれほど難しいのかをコントロールすることはできません。...同様に、データ マイナーは膨大な量のデータの中に埋もれた貴重な情報の塊を見つけようとします。データ マイニング技術では、統計的およびグラフィカルな尺度を使用して、データ セット内の興味深い相関関係やクラスターを特定しようとします。

農家は収穫量を最大化するために土地を耕作します。灌漑、害虫駆除、輪作、肥料などを使用して、環境を自分たちに有利になるように操作します。小規模な実験計画により、これらの処理が有効かどうかを判断できます。同様に、データ農家は、大規模な実験計画を使用して、モデルからデータを増やし、有用な情報を簡単に抽出できるようにすることで、シミュレーション モデルを自分たちに有利になるように操作します。...その結果、モデルの入力要因とモデルの応答の根本的な因果関係が明らかになり、これらの関係の豊富なグラフと統計ビューも表示されます。^[1]

NATOのモデリングおよびシミュレーションタスクグループは、MSG-088の最終報告書でデータファーミングのプロセスを文書化しました。^[2] ここで、データファーミングは、ラピッドシナリオプロトタイピング、シミュレーションモデリング、実験計画、高性能コンピューティング、および反復的なループオブループでの分析と視覚化を組み合わせた共同プロセスを使用します。^[3]

実験計画法(DOE)の科学は、農業研究のためにRA フィッシャーが開拓して以来、1 世紀以上にわたって存在しています。古典的な実験計画の多くは、シミュレーション研究で使用できます。ただし、計算実験は、コスト、要因の数、必要な時間、複製能力、自動化能力などの点で、現実世界の実験よりもはるかに制約が少ないです。したがって、大規模なシミュレーション実験に特化したフレームワークが必要です。

コンピュータが登場して以来、人々は計算実験を行ってきました。「データ ファーミング」という用語は、1998 年^{[4]に海兵隊のプロジェクト アルバート[5]}に関連して造られた比較的新しい用語です。プロジェクト アルバートでは、小規模なエージェント ベースの蒸留モデル (確率的シミュレーションの一種) が作成され、特定の軍事的課題を捉えました。これらのモデルは、マウイ高性能コンピュータ センター^[6]やその他の施設で数千回または数百万回実行されました。プロジェクト アルバートのアナリストは、軍事分野の専門家と協力してモデルを改良し、結果を解釈しました。

当初、ブルートフォース完全実施要因（グリッド）設計の使用は、シミュレーションを非常に高速に実行する必要があり、研究には高性能コンピューティングが必要であることを意味していました。それでも、次元の呪いにより、少数の因子（限られた数のレベル）しか調査できませんでした。

海軍大学院^[8]のSEEDデータファーミングセンター[ ^{7]も、マウイ島やその他の施設のコンピューティング能力をより有効に活用するために、モデル生成、出力分析、新しい}実験デザインの作成においてプロジェクトアルバートと緊密に協力しました。データファーミング用に特別に開発されたデザインの最近のブレークスルーは^{、[9] [10]}などで見つけることができます 。

1998年以来、SEEDデータファーミングセンターによって一連の国際データファーミングワークショップが開催されています。^[11]国際データファーミングワークショップ1は1991年に開催され、それ以来16回以上のワークショップが開催されています。ワークショップには、カナダ、シンガポール、メキシコ、トルコ、米国など、さまざまな国から代表者が参加しています。^[12]

国際データファーミングワークショップは、さまざまな専門家チームのコラボレーションを通じて運営されています。2008年に開催された最新のワークショップには、100を超えるチームが参加しました。データファーマーのチームには、ロボット工学、国土安全保障、災害救助などの特定の研究分野が割り当てられています。各グループでは、ピタゴラスABM、ロジスティクス戦闘コマンドモデル、エージェントベースセンサーエフェクターモデル（ABSEM）など、さまざまな形式のデータファーミングを実験し、活用しています。 ^[12]

• 多数の論文、アプリケーション、設計、ソフトウェアへのリンクが掲載されている SEED データ ファーミング センターの Web サイト。
• 2014年1月のDefense Media Networkに掲載された、フィンランドで行われた第27回データファーミングワークショップに関する記事
• 2013 年 1 月の Defense News のデータ ファーミングに関する記事
• 2005年6月号のSIGNALに掲載されたデータファーミングをまとめた記事
• MITRE Corporation のデータファーミングに関する研究論文