レコードリンケージ

レコードリンケージはリンク対象データの品質に非常に敏感であるため、検討対象となるすべてのデータセット（特にキー識別子フィールド）は、レコードリンケージを行う前にデータ品質評価を受けることが理想的です。同じエンティティのキ​​ー識別子は、データセット間（さらにはデータセット内）で大きく異なる形で表現されることがあり、事前に理解しておかないとレコードリンケージが非常に複雑になる可能性があります。たとえば、William J. Smith という男性のキー識別子は、次の 3 つのデータセットで表示される可能性があります。

この例では、異なる書式設定スタイルにより、レコードは見た目は異なりますが、実際にはすべて同じ論理識別子値を持つ同じエンティティを参照しています。ほとんどすべてのレコードリンケージ戦略では、これらの値を最初に正規化または標準化して一貫した形式（たとえば、すべての名前が「姓、名」、すべての日付が「YYYY/MM/DD」）にすれば、より正確なリンケージが可能になります。標準化は、単純なルールベースのデータ変換、または語彙ベースのトークン化や確率的隠れマルコフモデルなどのより複雑な手順によって実現できます。^{[ 9 ]}ソフトウェア実装のセクション に記載されているパッケージのいくつかは、データ標準化のプロセスを簡素化するために、これらの機能の一部を提供しています。

エンティティ解決は、通常、エンティティ解決エンジンまたはミドルウェアによって実行される運用インテリジェンスプロセスであり、組織は、複数のデータサイロにわたるエンティティの一致の可能性や、一見して分かりにくい関係性を理解するために、異なるデータソースを接続することができます。これは、複数のデータソースから個人および/またはエンティティに関するすべての情報を分析し、尤度と確率のスコアリングを適用して、どのIDが一致するか、また、それらのID間にどのような一見して分かりにくい関係性が存在するかを判断します。

エンティティ解決エンジンは、一般的にリスク、不正行為、利益相反の発見に使用されますが、顧客データ統合（CDI）やマスターデータ管理（MDM）の要件を満たすための有用なツールでもあります。エンティティ解決エンジンの典型的な用途としては、テロリストのスクリーニング、保険詐欺の検出、米国愛国者法への準拠、組織的小売犯罪グループの検出、応募者のスクリーニングなどが挙げられます。

例えば、従業員記録、仕入先データ、監視リストなど、さまざまなデータサイロにわたって、組織はABCという名前のエンティティの複数のバリエーションを持っている可能性があります。これらは同一人物である場合もあれば、そうでない場合もあります。実際、これらのエントリは、各データソース内でABC1、ABC2、またはABC3として表示される可能性があります。住所、生年月日、社会保障番号などの基となる属性間の類似性を比較することで、ユーザーは一部の候補を除外し、他の候補を非常に可能性の高い候補として確認できます。

エンティティ解決エンジンは、常識的な論理に基づいたルールを適用して、データ全体に隠された関係性を特定します。上記の例では、ABC1とABC2は同一人物ではなく、住所や電話番号などの共通の属性を持つ2人の別人である可能性があります。

最も単純なレコードリンケージは、決定論的またはルールベースのレコードリンケージと呼ばれ、利用可能なデータセット間で一致する個々の識別子の数に基づいてリンクを生成します。^{[ 10 ]} 2 つのレコードは、すべての識別子または一部の識別子（一定のしきい値を超える）が同一である場合に、決定論的レコードリンケージ手順によって一致すると言われます。決定論的レコードリンケージは、データセット内のエンティティが共通の識別子によって識別される場合、またはデータ品質が比較的高い複数の代表的な識別子（たとえば、人物を識別する場合の名前、生年月日、性別）がある場合に適したオプションです。

例として、病院システム内の患者に関するさまざまな情報を含む、標準化されたデータセットAとデータセットBを考えてみましょう。これら2つのデータセットは、社会保障番号（SSN）、氏名、生年月日（DOB）、性別、郵便番号（ZIP）など、さまざまな識別子を使用して患者を識別します。2つのデータセットのレコード（「#」列で識別）を以下に示します。

最も単純な決定論的レコードリンケージ戦略は、一意に識別できると想定される単一の識別子（例えば社会保障番号（SSN））を選択し、同じ値を持つレコードは同一人物を識別し、同じ値を持たないレコードは異なる人物を識別すると宣言することです。この例では、SSNに基づく決定論的リンケージにより、A1とA2、A3とB1、A4に基づくエンティティが作成されます。A1、A2、B2は同じエンティティを表しているように見えますが、B2はSSNの値が欠落しているため、マッチングには含まれません。

識別子の欠落などの例外を処理するには、追加のレコードリンケージルールを作成する必要があります。SSNが欠落している場合のルールの1つとして、名前、生年月日、性別、郵便番号を他のレコードと比較して一致するレコードを探すことが考えられます。上記の例では、名前がわずかに異なるため、このルールではA1/A2とB2は一致しません。標準化によって名前は適切な（姓、名）形式になりましたが、「Bill」が「William」のニックネームであることを識別できなかったためです。Soundex、NYSIIS、metaphoneなどの音声アルゴリズムで名前を処理すると、このような問題を解決できます。ただし、結婚や離婚による姓の変更でつまずく可能性があり、その場合、A2の郵便番号が異なるため、B2はA1とのみ一致します。したがって、特定の識別子の違いが許容されるかどうか（郵便番号など）と許容されないかどうか（生年月日など）を判断するための別のルールを作成する必要があります。

この例が示すように、データ品質のわずかな低下やデータの複雑さのわずかな増加でも、レコードを適切にリンクするために必要なルールの数が大幅に増加する可能性があります。最終的には、これらのリンクルールは、専用のソフトウェアツールの助けなしには構築できないほど多数かつ相互に関連するものになります。さらに、リンクルールは、リンクするように設計されたデータセットの性質に特有のものであることがよくあります。ある研究では、社会保障番号、NYSIISエンコードされた名、生年月日、性別を使用して、米国中西部の2つの病院登録簿と社会保障死亡マスターファイルをリンクすることができました。しかし、これらのルールは、他の地理的地域のデータセットや、より若い人口から収集されたデータではうまく機能しない可能性があります。 ^{[ 11 ]} したがって、新しいデータがシステムに入り、リンクする必要が生じたときに、これらのルールが期待どおりに機能し続けることを保証するために、これらのルールの継続的な保守テストが必要です。当初想定されていたものとは異なる特性を示す新しいデータでは、レコードリンクルールセットを完全に再構築する必要がある可能性があり、これは非常に時間と費用のかかる作業になる可能性があります。

確率的レコードリンケージ（ファジーマッチングとも呼ばれる。データベースのマージの文脈では確率的マージまたはファジーマージとも呼ばれる）は、レコードリンケージ問題に対して異なるアプローチを採用している。これは、より広範囲の潜在的な識別子を考慮し、各識別子が一致または非一致を正しく識別できると推定される能力に基づいて重みを計算し、これらの重みを使用して、与えられた 2 つのレコードが同じエンティティを参照する確率を計算することによって行われる。ある閾値を超える確率を持つレコードペアは一致とみなされ、別の閾値を下回る確率を持つペアは非一致とみなされる。これら 2 つの閾値の間にあるペアは「可能性のある一致」とみなされ、要件に応じて適切に処理される（たとえば、人間によるレビュー、リンク、またはリンクしないなど）。決定論的レコードリンケージでは、事前に一連の複雑なルールをプログラムする必要があるのに対し、確率的レコードリンケージ手法は、人間の介入をはるかに少なくして、適切に機能するように「トレーニング」することができる。

多くの確率的レコードリンケージアルゴリズムは、2 つの確率によって識別子に一致/非一致の重みを割り当てます。${\displaystyle u}$そして${\displaystyle m}$.${\displaystyle u}$確率は、一致しない2 つのレコードの識別子が純粋に偶然に一致する確率です。たとえば、${\displaystyle u}$誕生月の確率（12個の値がほぼ均等に分布している場合）は${\displaystyle 1/12\approx 0.083}$値が均一に分布していない識別子は、異なる値になります。${\displaystyle u}$さまざまな値（欠損値を含む可能性あり）の確率。${\displaystyle m}$確率は、一致するペアの識別子が一致する（または、 Jaro-Winkler距離やLevenshtein距離が低い文字列のように十分に類似している）確率です。この値は${\displaystyle 1.0}$完全なデータの場合、これは正しいが、これはめったに（あるいは全く）当てはまらないため、代わりに推定することができる。この推定は、データセットの事前知識に基づいて、多数の一致するペアと一致しないペアを手動で識別して確率的レコードリンケージアルゴリズムを「トレーニング」することによって、またはアルゴリズムを繰り返し実行してより正確な推定値を得ることによって行うことができる。${\displaystyle m}$確率。${\displaystyle 0.95}$推定される予定だった${\displaystyle m}$確率を考慮すると、生年月識別子の一致/不一致の重みは次のようになります。

検討対象となる他のすべての識別子についても同様の計算を行い、一致/不一致の重みを求めます。次に、あるレコードの各識別子を別のレコードの対応する識別子と比較し、ペアの合計重みを計算します。識別子のペアが一致するたびに一致重みが合計に加算され、一致しないたびに不一致重みが加算されます（つまり、合計が減少します）。得られた合計重みを前述のしきい値と比較し、ペアをリンクするか、リンクしないか、または特別な検討（手動検証など）のために保留するかを決定します。^{[ 12 ]}

近年、レコードリンケージにはさまざまな機械学習技術が使用されています。上記で概説した確率的レコードリンケージの古典的な Fellegi-Sunter アルゴリズムは、機械学習の分野ではNaive Bayesアルゴリズムと同等であることが認識されています^{[ 7 ]}。また、特徴の独立性という同じ仮定（通常は正しくない仮定）に悩まされています^{[ 14 ] [ 15 ]} 。単層パーセプトロン^{[ 7 ]}、ランダムフォレスト、SVM ^{[ 16 ]} など、さまざまな他の機械学習技術を使用することで、より高い精度を達成できることがよくあります。分散技術^{[ 17 ]}と組み合わせることで、レコードリンケージの精度と規模^{をさらに向上させることが}できます。

高品質なレコードリンケージでは、混沌としたビッグデータの絶えず変化する流れにおける不確実性を安全に管理するために、人間と機械のハイブリッドシステムが必要となることが多い。^{[ 18 ] [ 19 ]}リンケージエラーがリンクされたデータとその分析に伝播することを認識し、対話型レコードリンケージシステムが提案されている。対話型レコードリンケージは、自動化された方法による結果を人間が繰り返し微調整し、不確実性とその後の分析への伝播を管理するものと定義される。^{[ 20 ]}対話型レコードリンケージシステムの主な目的は、不確実なリンケージを手動で解決し、結果が特定のアプリケーションに対して許容できるレベルになるまで検証することである。人間のインタラクションステップ中のプライバシーを強化する対話型レコードリンケージのバリエーションも提案されている。^{[ 21 ] [ 22 ]}

異なる組織が保有するデータベース間でレコードリンケージがますます必要とされており、これらの組織が保有する補完的なデータは、例えば、特定の薬物有害反応を起こしやすい患者を特定するのに役立ちます（病院、医師、薬局のデータベースをリンクする）。しかし、このような多くのアプリケーションでは、リンクされるデータベースには、組織間で共有できない人々の機密情報が含まれています。^{[ 23 ]}

プライバシー保護レコードリンケージ（PPRL）手法は、リンケージに参加する組織間で元の機密値を共有する必要なくデータベースをリンクするために開発されました。^{[ 24 ] [ 25 ]} PPRLでは、一般的に比較対象のレコードの属性値は何らかの形式でエンコードまたは暗号化されます。よく使用されるエンコード技術はブルームフィルタ^{[ 26 ]}で、対応する機密の平文値を共有する必要なくエンコードされた値間の近似類似度を計算できます。PPRLプロセスの最後に、一致として分類されたレコードペアに関する限定された情報のみがリンケージプロセスに参加する組織に開示されます。PPRLで使用される技術^{[ 24 ]}は、参加組織も外部の攻撃者も、リンクされるデータベースのレコードによって表されるエンティティのプライバシーを侵害できないことを保証する必要があります。^{[ 27 ]}

ほとんどのマスターデータ管理（MDM）製品は、レコードリンケージプロセスを使用して、異なるソースから同一の実体を表すレコードを識別します。このリンケージは、エンティティに関するクリーンで整合性の取れたデータを含む「ゴールデンマスターレコード」を作成するために使用されます。MDMで使用される手法は、一般的なレコードリンケージと同じです。MDMはこのマッチングを拡張し、「ゴールデンマスターレコード」を作成するだけでなく、関係性を推測します（たとえば、同じまたは類似の姓と住所を持つ人物は、同じまたは類似の世帯関係にある可能性があります）。

レコードリンケージは、データウェアハウスとビジネスインテリジェンスにおいて重要な役割を果たします。データウェアハウスは、さまざまな運用ソースシステムからのデータを1つの論理データモデルに統合し、その後、レポート作成や分析のためにビジネスインテリジェンスシステムに取り込む役割を果たします。各運用ソースシステムは、論理データモデルで使用される同じエンティティを識別する独自の方法を持っている可能性があるため、あるソースシステムの特定のエンティティに関する情報と、別のソースシステムの同じエンティティに関する情報をシームレスに比較できるようにするために、異なるソース間のレコードリンケージが必要になります。データの標準化とそれに続くレコードリンケージは、多くの場合、抽出、変換、ロード（ETL）プロセスの「変換」部分で行われます。

記録の連結は社会史研究において重要である。なぜなら、国勢調査記録や教区記録など、ほとんどのデータセットは国民識別番号が発明されるずっと以前に記録されたものだからである。古い資料をデジタル化する際に、データセットの連結は長期研究の前提条件となる。このプロセスは、名前の綴りの標準化の欠如、居住地によって変化する姓、行政区域の変更、他の資料との照合の問題などによって、さらに複雑になることが多い。記録の連結は1980年代の歴史学およびコンピュータ科学分野で最も注目されたテーマの一つであったが、それ以降、研究における注目度は低下している。

記録連結は、公衆衛生と医療制度自体の健康状態を調査するために必要なデータを作成する上で重要なツールです。データ保有、データ収集、品質評価、および情報普及の改善に利用できます。データソースを調査することで、重複記録の排除、報告漏れや欠落症例（国勢調査の人口統計など）の特定、個人指向の健康統計の作成、疾病登録簿や健康監視システムの構築が可能になります。がん登録簿の中には、さまざまなデータソース（入院記録、病理・臨床報告、死亡登録など）を連結して登録簿を作成するものもあります。記録連結は、健康指標の作成にも利用されます。例えば、胎児死亡率と乳児死亡率は、国の社会経済発展、公衆衛生、母子保健サービスの一般的な指標です。乳児死亡記録を出生記録と照合することで、出生体重や妊娠週数などの出生変数と、死因などの死亡データを組み合わせてデータを分析することが可能になります。連携は、生存状況、居住状況、健康状態などの要因を特定するために、コホートやその他のグループの追跡調査に役立ちます。産業コホート、臨床試験、縦断調査の追跡調査では、死因や癌の原因を特定するために追跡調査が必要になることがよくあります。人口ベースの医学研究を可能にする、成功し、長期間にわたって運用されている記録連携システムの例として、ミネソタ州ロチェスターに拠点を置くロチェスター疫学プロジェクトがあります。^{[ 28 ]}