レコードのリンク

レコード リンケージ(データ マッチング、データ リンケージ、エンティティ解決、その他多くの用語とも呼ばれる)は、異なるデータ ソース (データ ファイル、書籍、Web サイト、データベースなど) にわたって同じエンティティを参照するデータ セット内のレコードを検索するタスクです。レコード リンケージは、レコードの形状、保存場所、キュレーターのスタイルや設定の違いにより、共通の識別子 (データベース キー、URI、国民識別番号など) を共有するかどうかわからないエンティティに基づいて異なるデータ セットを結合するときに必要です。RL 指向の調整が行われたデータ セットは、相互リンクされていると呼ばれることがあります。

「レコードリンク」とは、統計学者、疫学者、歴史学者などが、あるデータソースのレコードを、同じエンティティを説明する別のデータソースのレコードに結合するプロセスを説明するために使用する用語です。ただし、このプロセスには他の多くの用語が使用されています。残念ながら、この用語の多さにより、これらの研究コミュニティ間の相互参照がほとんど行われていません。^{[1] [2]}

コンピュータ科学者は、これを「データマッチング」または「オブジェクトアイデンティティ問題」と呼ぶことが多い。商用メールおよびデータベースアプリケーションでは、「マージ/パージ処理」または「リストウォッシング」と呼ばれる。同じ概念を表すために使用される他の名前には、「共参照/エンティティ/アイデンティティ/名前/レコード解決」、「エンティティの曖昧さ解消/リンク」、「ファジーマッチング」、「重複検出」、「重複排除」、「レコードマッチング」、「（参照）調整」、「オブジェクト識別」、「データ/情報統合」、「融合」などがある。^[3]

レコード リンクとリンク データは似た名前を共有していますが、データの処理と構造化に対する 2 つの別々のアプローチです。どちらも異なるデータ セット間で一致するエンティティを識別することを伴いますが、レコード リンクでは標準的に「エンティティ」を人間個人と同一視します。対照的に、リンク データは、対応するより広範な識別子の概念、つまりURI を使用して、データ セット間で任意のWeb リソースを相互リンクする可能性に基づいています。

記録のリンクという最初のアイデアは、1946年にアメリカ公衆衛生ジャーナルに掲載されたハルバート・L・ダンの「記録のリンク」という論文に遡ります。^[4]

その後、ハワード・ボーデン・ニューカムは1959年にサイエンス誌に発表した論文で、現代のレコードリンク理論の確率論的基礎を築きました。^[5]これは1969年にイヴァン・フェレギとアラン・スンターの先駆的な研究「レコードリンクの理論」で形式化され、比較属性が条件付きで独立している場合に、彼らが説明した確率的決定ルールが最適であることを証明しました。^{[6]彼らは研究の中で、コンピューティングと自動化の進歩を大規模な}管理データに適用することへの関心が高まっていることを認識しており、フェレギ・スンターの理論は多くのレコードリンクアプリケーションの数学的基礎となっています。

1990 年代後半から、さまざまな機械学習技術が開発され、好条件の下では、フェレギ・スンター理論で要求される条件付き確率を推定するために使用できる。フェレギ・スンターアルゴリズムの条件付き独立性の仮定は実際にはしばしば破られると複数の研究者が報告しているが、比較属性間の条件付き依存関係を明示的にモデル化する公開された取り組みは、レコードリンクの品質の向上にはつながっていない。^[要出典]一方、これらの仮定に依存しない機械学習またはニューラルネットワークアルゴリズムは、十分なラベル付きトレーニングデータが利用できる場合、はるかに高い精度を提供することが多い。^[7]

レコードのリンク付けはコンピュータの助けを借りずに完全に行うことができますが、レコードのリンク付けを完了するためにコンピュータが頻繁に使用される主な理由は、手作業によるレビューを削減または排除し、結果をより簡単に再現できるようにするためです。コンピュータによるマッチングには、処理の集中管理、品質管理の向上、速度、一貫性、結果の再現性の向上などの利点があります。^[8]

レコードのリンクはリンクされるデータの品質に非常に左右されるため、検討中のすべてのデータ セット (特にキー識別子フィールド) は、レコードのリンク前にデータ品質評価を受けるのが理想的です。同じエンティティの多くのキー識別子は、データ セット間 (およびデータ セット内) でまったく異なる方法で表示されることがあります。そのため、事前に理解しておかないと、レコードのリンクが非常に複雑になる可能性があります。たとえば、William J. Smith という男性のキー識別子は、3 つの異なるデータ セットに次のように表示されることがあります。

この例では、異なるフォーマット スタイルによって、見た目は異なりますが、実際にはすべて同じ論理識別子値を持つ同じエンティティを参照するレコードが生成されます。レコード リンク戦略のほとんど (すべてではないにしても) では、これらの値が最初に一貫した形式に正規化または標準化されている場合(たとえば、すべての名前は「姓、名」、すべての日付は「YYYY/MM/DD」)、より正確なリンクが得られます。標準化は、単純なルール ベースのデータ変換、またはレキシコン ベースのトークン化や確率的隠れマルコフ モデルなどのより複雑な手順によって実現できます。^[9]ソフトウェア実装セクション にリストされているパッケージのいくつかは、データ標準化のプロセスを簡素化するためにこれらの機能の一部を提供します。

エンティティ解決は、通常、エンティティ解決エンジンまたはミドルウェアによって実行される運用インテリジェンスプロセスであり、組織は、複数のデータ サイロにわたるエンティティの一致の可能性と不明瞭な関係を把握する目的で、異なるデータ ソースを接続できます。複数のデータ ソースから個人やエンティティに関連するすべての情報を分析し、尤度と確率のスコアリングを適用して、どの ID が一致するか、およびそれらの ID 間に不明瞭な関係が存在する場合はそれを判別します。

エンティティ解決エンジンは、通常、リスク、詐欺、利益相反を明らかにするために使用されますが、顧客データ統合(CDI) およびマスター データ管理(MDM) の要件内での使用にも役立つツールです。エンティティ解決エンジンの一般的な用途には、テロリストのスクリーニング、保険金詐欺の検出、米国愛国者法の遵守、組織的小売犯罪リングの検出、応募者のスクリーニングなどがあります。

たとえば、従業員レコード、ベンダー データ、監視リストなどのさまざまなデータ サイロにわたって、組織には ABC という名前のエンティティの複数のバリエーションが存在する場合があります。これらのエンティティは、同じ個人である場合もそうでない場合もあります。これらのエントリは、実際には、それらのデータ ソース内で ABC1、ABC2、または ABC3 として表示されることがあります。住所、生年月日、社会保障番号などの基本的な属性間の類似性を比較することで、ユーザーは、いくつかの可能性のある一致を除外し、他の一致が非常に可能性が高いことを確認できます。

次に、エンティティ解決エンジンは常識的なロジックに基づいてルールを適用し、データ全体の隠れた関係を識別します。上記の例では、ABC1 と ABC2 は同じ人物ではなく、住所や電話番号などの共通の属性を共有する 2 人の別個の人物である可能性があります。

エンティティ解決ソリューションにはデータ マッチング テクノロジが含まれていますが、多くのデータ マッチング製品はエンティティ解決の定義に適合しません。UALR エンティティ解決および情報品質の高度研究センターのディレクターである John Talburt 氏によると、エンティティ解決とデータ マッチングを区別する 4 つの要素は次のとおりです。

• 構造化レコードと非構造化レコードの両方で機能し、ソースが非構造化または半構造化されている場合は参照を抽出するプロセスが必要です。
• 精巧なビジネスルールと概念モデルを使用して、欠落、矛盾、破損した情報に対処します。
• 直接的なマッチングに加えて、非マッチングのアサートされたリンク（関連付け）情報を利用します
• 明らかでない関係や関連ネットワーク（つまり、誰が誰と関連しているか）を明らかにする

データ品質製品とは対照的に、より強力な ID 解決エンジンには、解決された ID とその関係にビジネス インテリジェンスを適用するルール エンジンとワークフロー プロセスも含まれています。これらの高度なテクノロジにより、自動化された決定が行われ、ビジネス プロセスにリアルタイムで影響を与えるため、人による介入の必要性が制限されます。

最も単純な種類のレコードリンクは、決定論的またはルールベースのレコードリンクと呼ばれ、利用可能なデータセット間で一致する個々の識別子の数に基づいてリンクを生成します。^[10] 2つのレコードは、すべての識別子または一部の識別子（特定のしきい値以上）が同一である場合に、決定論的レコードリンク手順によって一致すると言われます。決定論的レコードリンクは、データセット内のエンティティが共通の識別子によって識別される場合、またはデータの品質が比較的高い代表的な識別子（たとえば、人物を識別する場合の名前、生年月日、性別）が複数ある場合に適したオプションです。

例として、病院システム内の患者に関するさまざまな情報を含む 2 つの標準化されたデータ セット (セット A とセット B) を考えてみましょう。2 つのデータ セットは、社会保障番号(SSN)、名前、生年月日 (DOB)、性別、郵便番号(ZIP) など、さまざまな識別子を使用して患者を識別します。2 つのデータ セットのレコード (「#」列で識別) を以下に示します。

最も単純な決定論的レコード リンケージ戦略は、一意に識別できると想定される単一の識別子 (SSN など) を選択し、同じ値を共有するレコードは同じ人物を識別し、同じ値を共有しないレコードは異なる人物を識別すると宣言することです。この例では、SSN に基づく決定論的リンケージによって、A1 と A2、A3 と B1、および A4 に基づくエンティティが作成されます。A1、A2、および B2 は同じエンティティを表しているように見えますが、B2 は SSN の値がないため、一致には含まれません。

識別子の欠落などの例外を処理するには、追加のレコード リンク ルールを作成する必要があります。SSN が欠落している場合のそのようなルールの 1 つは、名前、生年月日、性別、郵便番号を他のレコードと比較して、一致するものを見つけるというものです。上記の例では、名前がわずかに異なるため、このルールでは A1/A2 と B2 は一致しません。標準化により、名前は適切な (姓、名) 形式になりましたが、「Bill」が「William」のニックネームであるとは認識できませんでした。名前をSoundex、NYSIIS、またはmetaphoneなどの音声アルゴリズムにかけると、このような問題を解決するのに役立ちます。ただし、結婚や離婚の結果として姓が変わると、B2 は A2 の郵便番号が異なるため、A1 とのみ一致します。したがって、特定の識別子の違いが許容されるかどうか (郵便番号など)、許容されないかどうか (生年月日など) を判断するために、別のルールを作成する必要があります。

この例が示すように、データ品質がわずかに低下したり、データの複雑さがわずかに増加したりするだけでも、レコードを適切にリンクするために必要なルールの数が大幅に増加する可能性があります。最終的には、これらのリンク ルールの数が多くなりすぎて相互に関連し、専用のソフトウェア ツールの助けがなければ構築できなくなります。さらに、リンク ルールは、リンクするように設計されたデータ セットの性質に固有のものであることがよくあります。ある研究では、SSN、NYSIIS エンコードされたファースト ネーム、誕生月、性別を使用して、社会保障死亡マスター ファイルを米国中西部の 2 つの病院登録簿にリンクできましたが、これらのルールは他の地理的地域のデータ セットや若い人口から収集されたデータではうまく機能しない可能性があります。 ^[11] そのため、新しいデータがシステムに入り、リンクする必要が生じたときに、これらのルールが期待どおりに機能し続けるようにするには、これらのルールの継続的なメンテナンス テストが必要です。当初の予想とは異なる特性を示す新しいデータには、レコード リンク ルール セットの完全な再構築が必要になる可能性があり、これは非常に時間と費用のかかる作業になる可能性があります。

確率的レコード リンクは、ファジー マッチング(データベースのマージのコンテキストでは確率的マージまたはファジー マージングとも呼ばれる) とも呼ばれ、レコード リンクの問題に対して異なるアプローチを採用します。つまり、より広範囲の潜在的な識別子を考慮し、一致または不一致を正しく識別する推定能力に基づいて各識別子の重みを計算し、これらの重みを使用して、2 つのレコードが同じエンティティを参照する確率を計算します。確率が特定のしきい値を超えるレコード ペアは一致と見なされ、確率が別のしきい値を下回るレコード ペアは不一致と見なされます。これらの 2 つのしきい値の間にあるペアは「可能性のある一致」と見なされ、それに応じて処理できます (要件に応じて、人間が確認、リンク、またはリンクしないなど)。決定論的レコード リンクでは、一連の潜在的に複雑なルールを事前にプログラムする必要がありますが、確率的レコード リンク メソッドは、人間の介入を大幅に減らして適切に機能するように「トレーニング」できます。

多くの確率的レコード リンク アルゴリズムは、およびと呼ばれる 2 つの確率を使用して、識別子に一致/不一致の重みを割り当てます。確率は、一致しない2 つのレコード内の識別子が偶然に一致する確率です。たとえば、誕生月 (ほぼ均一に分布している 12 個の値がある場合) の確率は です。均一に分布していない値を持つ識別子は、値 (欠損値を含む可能性あり) ごとに異なる確率を持ちます。確率は、一致するペア内の識別子が一致する (またはJaro-Winkler距離またはLevenshtein距離が低い文字列など、十分に類似している) 確率です。この値は完全なデータの場合ですが、これが当てはまることはまれ (まったくない) ため、代わりに推定することができます。この推定は、データ セットに関する事前の知識に基づいて行うか、一致するペアと一致しないペアを大量に手動で特定して確率的レコード リンク アルゴリズムを「トレーニング」するか、アルゴリズムを繰り返し実行して確率のより正確な推定値を取得することによって行うことができます。の値が確率として推定される場合、誕生月識別子の一致/不一致の重みは次のようになります。 ${\displaystyle u}$${\displaystyle m}$${\displaystyle u}$${\displaystyle u}$${\displaystyle 1/12\approx 0.083}$${\displaystyle u}$${\displaystyle m}$${\displaystyle 1.0}$${\displaystyle m}$${\displaystyle 0.95}$${\displaystyle m}$

検討中の他のすべての識別子についても、一致/不一致の重みを見つけるために同じ計算が行われる。次に、1 つのレコードのすべての識別子が別のレコードの対応する識別子と比較され、ペアの合計重みが計算される。識別子のペアが一致する場合は一致重みが累積合計に加算され、識別子のペアが一致しない場合は不一致重みが加算される（つまり累積合計が減少する）。結果として得られた合計重みは、前述のしきい値と比較され、ペアをリンクするか、リンクしないか、または特別な検討（手動検証など）のために取っておくかが決定される。^[12]

一致/不一致のしきい値をどこに設定するかを決定することは、許容できる感度(または再現率、アルゴリズムによってリンクされた真に一致するレコードの割合) と陽性予測値(または精度、アルゴリズムによってリンクされたレコードのうち真に一致するレコードの割合) のバランスを取る行為です。最適なしきい値を予測するためにさまざまな手動および自動の方法があり、一部のレコード リンク ソフトウェア パッケージには、ユーザーが最も許容できる値を見つけるのに役立つツールが組み込まれています。これは、特に大規模なデータ セットの場合、非常に計算量の多いタスクになる可能性があるため、効率を向上させるためにブロッキングと呼ばれる手法がよく使用されます。ブロッキングは、1 つ以上の特に識別力のある識別子が一致するレコードのみに比較を制限しようとするため、感度 (再現率) を犠牲にして陽性予測値 (精度) を高める効果があります。^[12] たとえば、音声コード化された姓と郵便番号に基づいてブロック化すると、必要な比較の総数が減り、リンクされたレコードが正しい可能性が高くなります (2 つの識別子が既に一致しているため)。ただし、姓または郵便番号が異なる (結婚や転居などにより) 同一人物を参照するレコードを見逃す可能性があります。誕生月に基づくブロック化は、データ エラーの場合にのみ変更されると予想される、より安定した識別子であり、陽性予測値の向上と感度の低下はより控えめですが、作成されるグループは 12 個のみで、非常に大規模なデータ セットの場合、計算速度の純粋な改善はあまり期待できません。したがって、堅牢なレコード リンク システムでは、多くの場合、複数のブロック化パスを使用してさまざまな方法でデータをグループ化し、互いに比較する必要があるレコードのグループを作成します。

近年、レコードリンクにはさまざまな機械学習技術が使用されています。上で概説した確率的レコードリンクのための古典的なFellegi-Sunterアルゴリズムは、機械学習の分野におけるNaive Bayesアルゴリズムと同等であることが認識されています^{[7]が、 [13]}、その特徴の独立性という同じ仮定（通常は正しくない仮定）に悩まされています。^{[14] [15]} 多くの場合、単層パーセプトロン、^[7]ランダムフォレスト、SVM ^{[16] など、さまざまな他の機械学習技術を使用することで、より高い精度を実現できます。[17]}分散^技術と組み合わせることで、レコードリンクの精度と規模をさらに向上させることができます。

高品質な記録リンクには、絶えず変化する混沌としたビッグデータの流れにおける不確実性を安全に管理するために、人間と機械のハイブリッドシステムが必要になることが多い。^{[18] [19]}リンクエラーがリンクされたデータとその分析に伝播することを認識し、インタラクティブな記録リンクシステムが提案されている。インタラクティブな記録リンクとは、自動化された方法の結果を人間が繰り返し微調整し、不確実性を管理し、その後の分析に伝播することと定義される。^[20]インタラクティブな記録リンクシステムの主な目的は、不確実なリンクを手動で解決し、結果を特定のアプリケーションで許容できるレベルになるまで検証することです。人間の相互作用ステップ中のプライバシーを強化するインタラクティブな記録リンクのバリエーションも提案されている。^{[21] [22]}

異なる組織が保有するデータベース間での記録のリンクの必要性が高まっており、これらの組織が保有する補完的なデータは、例えば、特定の薬物副作用の影響を受けやすい患者を特定するのに役立ちます（病院、医師、薬局のデータベースをリンク）。しかし、このようなアプリケーションの多くでは、リンクされるデータベースには、組織間で共有できない個人に関する機密情報が含まれています。^[23]

プライバシー保護レコードリンク（PPRL）方式は、リンクに参加する組織間で元の機密値を共有する必要なくデータベースをリンクすることを目的として開発されました。^{[24] [25]} PPRLでは、通常、比較するレコードの属性値は何らかの形でエンコードまたは暗号化されます。使用される一般的なエンコード手法はブルームフィルタです。^[26]これにより、対応する機密プレーンテキスト値を共有する必要なく、エンコードされた値間のおおよその類似性を計算できます。PPRLプロセスの最後に、一致として分類されたレコードペアに関する限られた情報のみが、リンクプロセスに参加する組織に公開されます。PPRLで使用される手法^[24]は、参加組織も外部の敵対者も、リンクされているデータベースのレコードによって表されるエンティティのプライバシーを侵害できないことを保証する必要があります。^[27]

2つのファイルAとBを持つアプリケーションでは、ファイルAの行（レコード）を で、ファイルBの行（レコード）を で表します。各レコードに特性を割り当てます。同一のエンティティを表すレコードのセットは、次のように定義されます。 ${\displaystyle \alpha (a)}$${\displaystyle \beta (b)}$${\displaystyle K}$

${\displaystyle M=\left\{(a,b);a=b;a\in A;b\in B\right\}}$

そして集合の補集合、すなわち異なる実体を表す集合は次のように定義される。 ${\displaystyle M}$${\displaystyle U}$

${\displaystyle U=\{(a,b);a\neq b;a\in A;b\in B\}}$。

各特性に関するコード化された同意と不同意を含む ベクトルが定義されます。${\displaystyle \gamma}$

${\displaystyle \gamma \left[\alpha (a),\beta (b)\right]=\{\gamma ^{1}\left[\alpha (a),\beta (b)\right],...,\gamma ^{K}\left[\alpha (a),\beta (b)\right]\}}$

ここで、はファイル内の特性（性別、年齢、婚姻状況など）の添え字です。が与えられた場合に特定のベクトルを観測する条件付き確率は次のように定義されます。 ${\displaystyle K}$${\displaystyle \gamma}$${\displaystyle (a,b)\in M}$${\displaystyle (a,b)\in U}$

${\displaystyle m(\gamma )=P\left\{\gamma \left[\alpha (a),\beta (b)\right]|(a,b)\in M\right\}=\sum _{(a,b)\in M}P\left\{\gamma \left[\alpha (a),\beta (b)\right]\right\}\cdot P\left[(a,b)|M\right]}$

そして

${\displaystyle u(\gamma )=P\left\{\gamma \left[\alpha (a),\beta (b)\right]|(a,b)\in U\right\}=\sum _{(a,b)\in U}P\left\{\gamma \left[\alpha (a),\beta (b)\right]\right\}\cdot P\left[(a,b)|U\right],}$ それぞれ^[6]

ほとんどのマスター データ管理(MDM) 製品は、レコード リンク プロセスを使用して、同じ実世界のエンティティを表すさまざまなソースからのレコードを識別します。このリンクは、エンティティに関するクリーンアップされ調整されたデータを含む「ゴールデン マスター レコード」を作成するために使用されます。MDM で使用される手法は、一般的にレコード リンクの場合と同じです。MDM は、このマッチングを拡張して「ゴールデン マスター レコード」を作成するだけでなく、関係を推測することもできます (つまり、ある人物が同じ/類似の姓と同じ/類似の住所を持っている場合、これはその人物が世帯関係を共有していることを意味する場合があります)。

レコード リンクは、データ ウェアハウスとビジネス インテリジェンスで重要な役割を果たします。データ ウェアハウスは、さまざまな運用ソース システムのデータを 1 つの論理データ モデルに統合し、その後、レポート作成と分析のためにビジネス インテリジェンス システムに取り込むことができます。各運用ソース システムには、論理データ モデルで使用される同じエンティティを識別する独自の方法があるため、1 つのソース システム内の特定のエンティティに関する情報を別のソース システムの同じエンティティに関する情報とシームレスに比較できるようにするには、異なるソース間のレコード リンクが必要になります。データの標準化とそれに続くレコード リンクは、多くの場合、抽出、変換、ロード(ETL) プロセスの「変換」部分で発生します。

国勢調査記録や教区登録簿などのほとんどのデータセットは国民識別番号が発明されるずっと前に記録されているため、記録のリンクは社会史研究にとって重要です。古い情報源をデジタル化する場合、データセットのリンクは縦断的研究の前提条件となります。このプロセスは、名前の標準的な綴りがないこと、居住地によって変わる姓、行政境界の変更、および他の情報源とのデータ照合の問題によってさらに複雑になることがよくあります。記録のリンクは、1980 年代の歴史とコンピューティングの分野で最も顕著なテーマの 1 つでしたが、それ以降の研究ではあまり注目されなくなりました。^{[引用が必要]}

記録のリンクは、公衆衛生および医療制度自体の健康を調査するために必要なデータを作成するための重要なツールです。これは、データの保持、データ収集、品質評価、および情報の普及を改善するために使用できます。データ ソースを調査することで、重複した記録を削除したり、報告不足や欠落しているケースを特定したり (国勢調査の人口数など)、個人指向の健康統計を作成したり、疾病登録簿や健康監視システムを作成したりできます。一部のがん登録簿では、さまざまなデータ ソース (入院、病理および臨床レポート、死亡登録など) をリンクして登録簿を作成しています。記録のリンクは、健康指標の作成にも使用されます。たとえば、胎児および乳児の死亡率は、国の社会経済発展、公衆衛生、母子サービスの一般的な指標です。乳児の死亡記録を出生記録と照合すると、出生体重や在胎期間などの出生変数を、死因などの死亡率データとともにデータ分析に使用できます。リンケージは、コホートやその他のグループの追跡調査で、生命状態、居住状況、健康状態などの要因を判断するのに役立ちます。産業コホート、臨床試験、および縦断調査の追跡調査では、死亡やがんの原因を知るために追跡調査が必要になることがよくあります。人口ベースの医療研究を可能にする成功した長年の記録リンケージシステムの例として、ミネソタ州ロチェスターに拠点を置くロチェスター疫学プロジェクトがあります。^[28]

挙げられる主な理由は次のとおりです。^[要出典]

• プロジェクト費用: 通常は数十万ドルの費用がかかります
• 時間: 大規模なデータクレンジングソフトウェアを扱う時間が足りない
• セキュリティ: 情報の共有、システム間でのアプリケーションのアクセス、レガシー システムへの影響に関する懸念
• スケーラビリティ：レコードに一意の識別子がないため、レコードのリンクは計算コストが高く、拡張が困難です。^[29]
• 正確性: ビジネスデータを変更し、リンクのすべてのルールを把握することは困難で広範囲にわたる作業です。

• 米国ペンシルベニア州立大学におけるデータ連携プロジェクト
• スタンフォードエンティティ解決フレームワーク
• Dedoop - Hadoop による重複排除
• テキサス A&M 大学におけるプライバシー強化インタラクティブ記録リンク
• データマッチングの概要