リンク分析

ネットワーク理論において、リンク分析は、ノード間の関係 (リンクをタップ^{[明確化が必要] ) を評価するために使用される}データ分析手法です。組織、人、トランザクションなど、さまざまな種類のノード (100k ^{[明確化が必要]} )間の関係を特定できます。リンク分析は、犯罪行為 (詐欺、テロ対策、諜報)の調査、コンピューター セキュリティ分析、検索エンジンの最適化、市場調査、医学研究、芸術に使用されてきました。

知識発見は、データ内のパターンを識別、分析、視覚化するために使用される反復的でインタラクティブなプロセスです。 ^[1]ネットワーク分析、リンク分析、ソーシャルネットワーク分析はすべて知識発見の方法であり、それぞれが以前の方法の対応するサブセットです。ほとんどの知識発見方法は、次の手順に従います（最高レベル）。^[2]

1. データ処理
2. 変換
3. 分析
4. 視覚化

データの収集と処理にはデータへのアクセスが必要であり、情報過多やデータ エラーなど、いくつかの固有の問題があります。データが収集されたら、人間とコンピューターの両方の分析者が効果的に使用できる形式に変換する必要があります。手動またはコンピューターで生成された視覚化ツールは、ネットワーク チャートなどのデータからマッピングできます。ダイクストラのアルゴリズム、幅優先探索、深さ優先探索など、データ分析に役立つアルゴリズムがいくつかあります。

リンク分析は、視覚化手法（ネットワークチャート、関連マトリックス）を通じてノード間の関係を分析することに重点を置いています。以下は、犯罪捜査のためにマッピングされる可能性のある関係の例です。^[3]

リンク分析は主に3つの目的で使用されます: ^[4]

1. 関心のある既知のパターンと一致するデータを検出します。
2. 既知のパターンに違反する異常を見つけます。
3. 興味のある新しいパターンを発見します（ソーシャル ネットワーク分析、データ マイニング）。

クラークスはリンク分析ツールを3世代に分類しました。^[5]第1世代は、1975年にハーパーとハリスのアナクパパチャートとして導入されました。^[6]この方法では、ドメインの専門家がデータファイルをレビューし、関連マトリックスを構築して関連性を特定し、視覚化のためにリンクチャートを作成し、最後にネットワークチャートを分析して興味のあるパターンを特定する必要があります。この方法には広範なドメイン知識が必要であり、膨大な量のデータをレビューする場合には非常に時間がかかります。

関連マトリックスに加えて、活動マトリックスを使用して、法執行機関にとって実用的な価値と用途を持つ実用的な情報を生成することができます。活動マトリックスは、その用語が示すように、場所に関する人々の行動と活動に焦点を当てています。一方、関連マトリックスは、人々、組織、および/または資産間の関係に焦点を当てています。これら2種類のマトリックスの違いは小さいものですが、それでも、完了またはレンダリングされた分析の出力の点で重要です。^{[7] [8] [9] [10]}

第 2 世代のツールは、IBM i2 Analyst's Notebook、Netmap、ClueMaker、Watson などの自動グラフィック ベースの分析ツールで構成されています。これらのツールでは、関連付けマトリックスを手動で作成すると、リンク チャートの構築と更新を自動化できますが、結果のチャートとグラフの分析には、依然として広範なドメイン知識を持つ専門家が必要です。

DataWalk のような第 3 世代のリンク分析ツールを使用すると、データ セット内の要素間のリンクを自動的に視覚化できるため、さらに調査したり手動で更新したりするためのキャンバスとして使用できます。

• FBI 暴力犯罪者逮捕プログラム (ViCAP)
• アイオワ州性犯罪分析システム
• ミネソタ州性犯罪分析システム (MIN/SCAP)
• ワシントン州殺人事件捜査追跡システム（HITS）^[11]
• ニューヨーク州殺人事件捜査・追跡局（HALT）
• ニュージャージー州殺人事件評価追跡システム（HEAT）^[12]
• ペンシルベニア州ATACプログラム。
• 暴力犯罪連鎖分析システム（ViCLAS）^[13]

膨大な量のデータと情報が電子的に保存されているため、ユーザーは分析に利用できる複数の無関係な情報源に直面しています。データを効果的かつ効率的に使用するには、データ分析技術が必要です。パルシカールは、データ分析技術を2つのカテゴリ（統計 モデル、時系列分析、クラスタリングと分類、異常を検出するためのマッチングアルゴリズム）と人工知能（AI）技術（データマイニング、エキスパートシステム、パターン認識、機械学習技術、ニューラルネットワーク）に分類しています。^[14]

ボルトンとハンドは、統計データ分析を教師あり法と教師なし法のいずれかとして定義しています。^[15] 教師あり学習法では、システム内でルールを定義して、期待される動作または予期しない動作を確立する必要があります。教師なし学習法では、データを標準と比較して統計的な外れ値を検出します。教師あり学習法では、以前のパターンに基づいてトレーニングルールを確立する必要があるため、処理できるシナリオが限られています。教師なし学習法では、より広範な問題を検出できますが、動作標準が十分に確立または理解されていない場合は、偽陽性率が高くなる可能性があります。

データ自体には、整合性（または整合性の欠如）や継続的な変更などの固有の問題があります。データには、「収集や処理の誤り、およびエンティティが積極的に行動を欺いたり隠そうとしたりした場合に、省略や作成のエラーが発生する場合があります」。^[4] Sparrow ^[16]は、不完全性（データやリンクの欠落の必然性）、あいまいな境界（含めるものを決定する際の主観性）、および動的変更（データは常に変化しているという認識）をデータ分析の3つの主な問題として強調しています。^[3]

データが使用可能な形式に変換されると、オープンテクスチャと相互参照の問題が発生する可能性があります。オープンテクスチャは、経験的用語が異なる文脈で使用されるときに避けられない意味の不確実性としてワイスマンによって定義されました。 ^[17]用語の意味の不確実性は、複数のソースからデータを検索および相互参照しようとするときに問題を引き起こします。^[18]

データ分析の問題を解決する主な方法は、専門家のドメイン知識に頼ることです。これはリンク分析を行うのに非常に時間と費用のかかる方法であり、それ自体に固有の問題があります。McGrath らは、ネットワーク図のレイアウトと表示がユーザーの「ネットワーク内のグループの存在に対する認識」に大きな影響を与えると結論付けています。^[19]分析は主観的になる可能性があるため、ドメインの専門家を使用しても異なる結論が出る可能性があります。

リンク分析技術は主に訴追に使用されてきました。これは、将来の行動を予測するよりも、過去のデータを調べてパターンを調べる方がはるかに簡単だからです。

クレブスは、 9月11日の攻撃の犯人である19人のハイジャック犯と関連するテロリストネットワークの関連マトリックスとリンクチャートを、攻撃後に公開された詳細情報をマッピングすることによって使用することを実証しました。^[3]後知恵と人々、場所、取引に関する公開情報の利点があったとしても、データが欠落していることは明らかです。

あるいは、ピカレリは、リンク分析技術を使用すれば、オウム真理教ネットワーク内の違法行為を特定し、潜在的に防止できた可能性があると主張した。^[20]「我々は『連座制による有罪』には注意しなければならない。テロリストと関係があるからといって有罪が証明されるわけではないが、捜査を招くことになる」^{[3]潜在的に機密性の高いデータを、まだ起こっていない犯罪や違法行為を防止する目的で検討する場合、}合理的な理由、プライバシーの権利、結社の自由という法的概念のバランスを取ることは困難になる。

提案されているリンク分析ソリューションには4つのカテゴリがあります。^[21]

1. ヒューリスティックベース
2. テンプレートベース
3. 類似性に基づく
4. 統計

ヒューリスティックベースのツールは、構造化データを使用して専門知識から抽出された決定ルールを活用します。テンプレートベースのツールは、自然言語処理 (NLP)を使用して、事前定義されたテンプレートに一致する非構造化データから詳細を抽出します。類似性ベースのアプローチは、重み付けスコアリングを使用して属性を比較し、潜在的なリンクを識別します。統計的アプローチは、語彙統計に基づいて潜在的なリンクを識別します。

JJ XuとH. Chenは、CrimeNet Explorerと呼ばれる自動ネットワーク分析と可視化のフレームワークを提案しています。^[22]このフレームワークには、次の要素が含まれています。

• 共起重みを使用して「同じ文書内で2つの単語またはフレーズが出現する頻度を測定する」概念空間アプローチによるネットワーク作成。2つの単語またはフレーズが一緒に出現する頻度が高いほど、それらが関連している可能性が高くなります。^[22]
• 「階層的クラスタリングを使用して、関係の強さに基づいてネットワークをサブグループに分割する」ネットワークパーティション。^[22]
• 構造分析は、特定のサブグループの中心メンバーを特定するために、3つの中心性尺度（程度、媒介性、近接性）を介した分析です。^[22] CrimeNet Explorerは、ダイクストラの最短経路アルゴリズムを使用して、サブグループ内の1つのノードから他のすべてのノードまでの媒介性と近接性を計算しました。
• Torgerson のメトリック多次元尺度法 (MDS)アルゴリズムを使用したネットワークの視覚化。

• Bartolini, I; Ciaccia, P.イマジネーション: リンク分析技術を使用した正確な画像注釈。CiteSeerX 10.1.1.63.2453 。
• リンク分析と犯罪 - 検証
• Elink Schuurman MW、Srisaenpang S、Pinitsoontorn S、Bijleveld I、Vaeteewoothacharn K、Methapat C.、結核対策における迅速な村調査、Tuber Lung Dis。 1996 年 12 月;77(6):549-54。
• Gunhee, K.、Faloutsos, C、Hebert, M、「リンク分析手法を使用したオブジェクト カテゴリの教師なしモデリング」。
• McGehee, R.、インテリジェンスレポート。
• Ressler, S.、「テロ対策へのアプローチとしてのソーシャルネットワーク分析：過去、現在、そして未来の研究」
• RFFlow、リンク分析図の描き方。
• IBM i2 アナリスト ノートブック プレミアム
• Silberschatz, A. (1996). 「知識発見システムにおけるパターンの興味深い点」IEEE Transactions on Knowledge and Data Engineering . 8 (6): 970–974. CiteSeerX  10.1.1.53.2780 . doi :10.1109/69.553165. S2CID  11430349.
• テロリストと反政府勢力のリンク分析フィード (TR-LAF) 2015-01-06 にWayback Machineでアーカイブされました
• リンク分析に関するワークショップ: 大規模ネットワークの動態と静態 (LinkKDD2006) 2006 年 8 月 20 日 2010 年 6 月 26 日にWayback Machineにアーカイブされました
• Sintelix - 高度なリンク分析およびエンティティ抽出ツール
• クルーメーカー
• データウォーク