データ品質

データ品質とは、質的または量的な情報の状態を指します。データ品質には多くの定義がありますが、一般的には、データが「業務、意思決定、計画における意図された用途に適している」場合に高品質と見なされます。^{[1] [2] [3]}さらに、データは、それが参照する現実世界の構成を正しく表している場合に高品質と見なされます。さらに、これらの定義とは別に、データソースの数が増えると、特定の外部目的への使用への適合性に関係なく、内部データの一貫性の問題が重要になります。同じ目的で使用される同じデータセットについて議論している場合でも、データ品質に関する人々の見解はしばしば一致しません。このような場合、データガバナンスを使用して、データ品質の合意された定義と標準を形成します。このような場合、データ品質を確保するために、標準化を含むデータクレンジングが必要になる場合があります。 ^[4]

データの品質を定義することは、データが使用されるコンテキストが多様であること、また、エンドユーザー、データの作成者、データの管理者の視点が異なることから困難です。^[5]

消費者の観点から見ると、データの品質とは次のようなものである。^[5]

• 「データ消費者が使用するのに適したデータ」
• 「消費者の期待に応えるかそれを超える」データ
• 「意図された使用の要件を満たす」データ

ビジネスの観点から見ると、データ品質は次のようになります。

• 「意図された運用、意思決定、その他の役割において『使用に適している』」、または「使用に適していることが達成されるように設定された『標準への適合性』を示す」データ^[6]
• 「業務、意思決定、計画における意図された用途に適した」データ^[7]
• 「企業が定めたビジネス、システム、技術要件を満たすデータの能力」^[8]

標準ベースの観点から見ると、データ品質は次のようになります。

• 「オブジェクト（データ）の固有の特性（品質次元）のセットが要件を満たす度合い」^{[9] [5]}
• 「データの応用における有用性、正確性、正しさ」^[10]

おそらく、これらすべてのケースにおいて、「データ品質」とは、特定のデータセットの実際の状態と望ましい状態との比較であり、望ましい状態とは、通常、「使用に適している」、「仕様に準拠している」、「消費者の期待を満たしている」、「欠陥がない」、「要件を満たしている」などと呼ばれます。これらの期待、仕様、要件は通常、1 人以上の個人またはグループ、標準化団体、法律や規制、ビジネス ポリシー、またはソフトウェア開発ポリシーによって定義されます。^[5]

さらに掘り下げていくと、それらの期待、仕様、要件は、データの特性や次元の観点から次のように述べられています。^{[5] [6] [7] [8] [11]}

• アクセシビリティまたは可用性
• 正確さまたは正しさ
• 比較可能性
• 完全性または包括性
• 一貫性、一貫性、または明確さ
• 信頼性、信頼性、または評判
• 柔軟性
• 妥当性
• 関連性、適切性、有用性
• 適時性または遅延
• ユニークさ
• 妥当性または合理性

文献の体系的なスコープレビューによると、データ品質の次元と実世界のデータを用いた方法は文献内で一貫しておらず、その結果、これらのデータの複雑で異質な性質のために品質評価が困難であることが示唆されています。^[11]

安価なコンピュータ データ ストレージが登場する前は、大規模なメインフレームコンピュータが、配達サービスの名前と住所のデータを管理するために使用されていました。これは、郵便物が宛先に適切にルーティングできるようにするためです。メインフレームは、ビジネス ルールを使用して、名前と住所のデータによくあるスペルミスやタイプミスを修正するとともに、引っ越し、死亡、刑務所行き、結婚、離婚、その他の人生を変える出来事を経験した顧客を追跡しました。政府機関は、顧客データを National Change of Address Registry (NCOA)と相互参照するために、いくつかのサービス会社に郵便データを提供しました。このテクノロジにより、大企業は顧客データを手動で修正する場合に比べて数百万ドルを節約できました。請求書やダイレクト マーケティング資料がより正確に対象顧客に届くため、大企業は郵便料金を節約できました。当初はサービスとして販売されていましたが、低コストで強力なサーバー テクノロジが利用可能になると、データの品質は企業の内部に移りました。^[要出典]

マーケティングを重視する企業は、多くの場合、名前と住所の情報の品質向上に注力していましたが、データ品質は、すべてのタイプのデータの重要な特性として認識されています^{。データ品質}の原則は、サプライ チェーン データ、トランザクション データ、およびほぼすべての他のカテゴリのデータに適用できます。たとえば、サプライ チェーン データを特定の標準に準拠させることは、次の点で組織にとって価値があります。1) 類似しているがわずかに異なる在庫の過剰在庫を回避する。2) 誤った在庫切れを回避する。3) ベンダー購入の理解を深めて大量割引を交渉する。4) 大規模な組織全体で部品を保管および出荷する際の物流コストを回避する。^{[引用が必要]}

研究に多大な労力を費やしている企業の場合、データ品質には、研究方法のプロトコルの開発、測定誤差の削減、データの境界チェック、クロス集計、モデリングと外れ値の検出、データの整合性の検証などが含まれます。 ^[要出典]

データ品質を理解するための理論的枠組みは数多くあります。アメリカのプラグマティズムの影響を受けたシステム理論的アプローチでは、データ品質の定義を情報品質まで拡大し、科学理論に基づいて正確性と精度の基本的側面の包括性を強調しています (Ivanov、1972)。「ゼロ欠陥データ」と呼ばれるフレームワーク (Hansen、1991) では、統計的プロセス制御の原則をデータ品質に適用しています。別のフレームワークでは、製品の観点 (仕様への適合) とサービスの観点 (消費者の期待に応える) を統合しようとしています (Kahn 他、2002)。別のフレームワークでは、記号論に基づいて、データの形式、意味、使用の品質を評価しています (Price と Shanks、2004)。高度に理論的なアプローチの 1 つは、情報システムの存在論的性質を分析して、データ品質を厳密に定義します (Wand と Wang、1996)。

データ品質に関する研究のかなりの部分は、データの望ましい属性 (または次元) のさまざまなカテゴリの調査と説明に関係しています。そのような用語は 200 近く特定されていますが、その性質 (概念、目標、または基準)、定義、または測定方法に関して合意がほとんどありません (Wang 他、1993)。ソフトウェア エンジニアは、これを「ilities」と同様の問題として認識するかもしれません。

MIT には、リチャード・ワン教授が率いる情報品質 (MITIQ) プログラムがあり、この分野で多数の出版物を発行し、重要な国際会議 (国際情報品質会議、ICIQ) を主催しています。このプログラムは、ハンセンが「ゼロ欠陥データ」フレームワークについて行った研究から生まれました (ハンセン、1991)。

実際には、データ品質は、データウェアハウスやビジネスインテリジェンスから顧客関係管理やサプライチェーン管理に至るまで、幅広い情報システムに携わる専門家にとって懸念事項です。ある業界調査では、データ品質問題が米国経済に与える総コストは年間6,000億ドルを超えると推定されています（Eckerson、2002年）。無効な情報や古い情報を含む不正確なデータは、データ入力、データ移行、変換プロジェクトなど、さまざまなデータソースから発生する可能性があります。^[12]

2002年、USPSとプライスウォーターハウスクーパースは、米国で送られた郵便物の23.6%が誤った宛先に宛名が付けられているという報告書を発表しました。^[13]

平均的なデータベースで連絡先データが非常に早く古くなる理由の1つは、毎年4500万人以上のアメリカ人が住所を変えることです。^[14]

実際、この問題は大きな懸念事項であるため、企業では、社内でデータ品質の責任を唯一の役割とするデータ ガバナンスチームを設置し始めています。一部の^{[誰? ]}組織では、このデータ ガバナンス機能は、組織にとってデータ/情報品質が重要であることを認識し、より大規模な規制コンプライアンス機能の一部として確立されています。

データ品質の問題は、不正確なデータからのみ発生するわけではありません。データの不一致も問題となります。データ シャドウ システムを排除し、データをウェアハウスに集中させることは、企業がデータの一貫性を確保するために実行できる取り組みの 1 つです。

企業、科学者、研究者は、共通データの品質を向上させるために、データキュレーションコミュニティに参加し始めています。^[15]

市場は、データ品質保証の提供に向けてある程度の進歩を遂げています。多くのベンダーが、品質の悪いデータをその場で分析および修復するためのツールを製造しており、サービス プロバイダーは契約に基づいてデータをクリーニングでき、コンサルタントはプロセスやシステムを修正してデータ品質の問題を最初から回避するためのアドバイスを行うことができます。ほとんどのデータ品質ツールは、データを改善するための一連のツールを提供しており、これには次の一部またはすべてが含まれます。

1. データプロファイリング- 最初にデータを評価し、現在の状態を把握します。多くの場合、値の分布も含まれます。
2. データ標準化 -データが標準に準拠していることを保証するビジネスルールエンジン
3. ジオコーディング - 名前と住所データ用。米国および世界の地理標準に合わせてデータを修正します。
4. マッチングまたはリンク- 類似しているがわずかに異なるレコードを揃えることができるようにデータを比較する方法。マッチングでは、データ内の重複を見つけるために「ファジー ロジック」が使用される場合があります。多くの場合、「Bob」と「Bbo」は同一人物である可能性があると認識されます。たとえば、「世帯」を管理したり、同じ住所の配偶者間のリンクを見つけたりできる場合があります。最後に、多くの場合、「ベスト オブ ブリード」レコードを構築して、複数のデータ ソースから最適なコンポーネントを取得し、単一のスーパー レコードを構築できます。
5. 監視 - 時間の経過に伴うデータ品質を追跡し、データ品質の変動を報告します。ソフトウェアは、事前に定義されたビジネス ルールに基づいて変動を自動修正することもできます。
6. バッチとリアルタイム - データが最初にクリーンアップされると (バッチ)、企業は多くの場合、データをクリーンな状態に保つためにエンタープライズ アプリケーションにプロセスを組み込むことを望んでいます。

ISO 8000はデータ品質に関する国際規格です。^[16]

データ品質保証とは、データプロファイリングを行ってデータ内の不整合やその他の異常を発見するプロセスであり、また、データクレンジング^{[17] [18]}アクティビティ（外れ値の除去、欠損データの補間など）を実行してデータ品質を向上させるプロセスでもある。

これらの活動は、データウェアハウスの一部として、または既存のアプリケーションソフトウェアのデータベース管理の一部として実行することができます。^[19]

データ品質管理は、アプリケーションまたはプロセスにおけるデータの使用を制御するプロセスです。このプロセスは、データの不整合の検出と修正からなるデータ品質保証(QA) プロセスの前と後の両方で実行されます。

前に：

• 入力を制限する

QA プロセスの後、品質管理(QC) プロセス をガイドするために次の統計が収集されます。

• 不一致の深刻度
• 不完全さ
• 正確さ
• 精度
• 行方不明/不明

データ QC プロセスは、QA プロセスからの情報を使用して、データを分析に使用するか、アプリケーションまたはビジネス プロセスで使用するかを決定します。一般的な例: データ QC プロセスで、データにエラーや不整合が多すぎることが判明した場合、そのデータが意図したプロセスで使用されないようにします。これにより、混乱が生じる可能性があります。具体的な例: 航空機の自動操縦機能に複数のセンサーからの無効な測定値を提供すると、航空機が墜落する可能性があります。したがって、QC プロセスを確立すると、データ使用の保護が実現します。^{[引用が必要]}

データ品質 (DQ) は、データ問題のギャップを埋めることによってデータ管理の整合性を保つために必要なニッチな領域です。これは、データを監視して現在のデータ管理操作では発見できない例外を見つけることでデータ ガバナンスを支援する重要な機能の 1 つです。データ品質チェックは、属性レベルで定義して、修復手順を完全に制御できます。^{[引用が必要]}

組織が DQ の範囲に注意を払っていない場合、DQ チェックとビジネス ルールは簡単に重複する可能性があります。重複を避けるために、ビジネス チームは DQ の範囲を十分に理解する必要があります。ビジネス ロジックがDQ と同じ機能をカバーし、同じ目的を果たす場合、データ品質チェックは冗長です。組織の DQ の範囲は、DQ 戦略で定義され、適切に実装されている必要があります。過去に例外が繰り返された後、一部のデータ品質チェックはビジネス ルールに変換される場合があります。^{[引用が必要]}

以下は、永続的な DQ チェックが必要になる可能性があるデータ フローの領域の一部です。

すべてのデータに対する完全性と精度のDQ チェックは、各ソース システムからの各必須属性のエントリ ポイントで実行できます。トランザクションの最初の作成後、属性値が作成されることはほとんどないため、このような場合、これらのチェックの管理は難しくなり、その属性のソースの定義済みイベントとトランザクションのその他のコア属性条件が満たされた直後に実行する必要があります。

組織内の参照データを参照する属性を持つすべてのデータは、参照データの明確に定義された有効な値のセットに対して検証され、有効性DQ チェックを通じて新しい値または矛盾する値が検出されます。結果は、マスター データ管理 (MDM)で管理される参照データの更新に使用できます。

サードパーティから組織の内部チームに提供されるすべてのデータは、サードパーティのデータに対する精度(DQ) チェックを受ける可能性があります。これらの DQ チェックの結果は、そのデータのエントリ ポイントの後、そのデータがエンタープライズ インテリジェンス用に承認または保存される前に、複数のホップを経たデータに対して管理される場合に有用です。

マスター データを参照するすべてのデータ列は、整合性チェックのために検証される場合があります。エントリ ポイントでデータに対して実行される DQ チェックでは、MDM プロセスの新しいデータが検出されますが、エントリ ポイントの後に実行される DQ チェックでは、一貫性の失敗 (例外ではない) が検出されます。

データが変換されると、複数のタイムスタンプとそのタイムスタンプの位置がキャプチャされ、相互に比較され、その余裕が定義済みの SLA (サービス レベル契約) に対する値、減衰、運用上の重要性を検証できます。このタイムリーさDQ チェックは、データ値の減衰率を下げ、データ移動タイムラインのポリシーを最適化するために使用できます。

組織では、複雑なロジックは通常、複数のプロセスにわたるより単純なロジックに分離されます。特定の値の範囲内または静的な相互関係 (集約されたビジネス ルール) 内で論理的な結果をもたらすこのような複雑なロジックに対する合理性 DQ チェックを検証すると、複雑だが重要なビジネス プロセスやデータの外れ値、BAU (通常業務) の期待からの逸脱が発見され、最終的にデータの問題につながる可能性のある例外が提供される場合があります。このチェックは、大量のデータに取り込まれた単純な汎用集約ルールの場合もあれば、組織のコア ビジネスに関連するトランザクションの属性のグループに関する複雑なロジックの場合もあります。この DQ チェックには、高度なビジネス知識と洞察力が必要です。合理性の問題の発見は、ビジネス ガバナンスまたはデータ ガバナンスのいずれか、あるいはその両方によるポリシーや戦略の変更に役立つ場合があります。

適合性チェックと整合性チェックは、すべてのビジネス ニーズをカバーする必要はなく、データベース アーキテクチャの裁量に厳密に従います。

データの移動には、DQ チェックが必要ない場所が数多くあります。たとえば、非 NULL 列の完全性と精度の DQ チェックは、データベースから取得されたデータには不要です。同様に、データがさまざまなソース間で結合される場合は、時間に関するデータの正確性を検証する必要があります。ただし、これはビジネス ルールであり、DQ の範囲には含めないでください。^{[引用が必要]}

残念ながら、ソフトウェア開発の観点からは、DQ は非機能要件と見なされることが多いです。そのため、主要なデータ品質チェック/プロセスは、最終的なソフトウェアソリューションには組み込まれていません。ヘルスケアでは、ウェアラブル技術やボディエリアネットワークが大量のデータを生成します。^[20]データ品質を確保するために必要な詳細レベルは非常に高く、過小評価されることがよくあります。これは、 mHealthアプリ、EHR、その他の健康関連ソフトウェアソリューションの大部分にも当てはまります。ただし、データ品質を検査するオープンソースツールもいくつか存在します。^[21]その主な理由は、ソフトウェアアーキテクチャ内に高い厳密さを追加することで追加コストがかかるためです。

医療におけるモバイルデバイスの使用、すなわちmHealthは、データの品質に直接影響を与える形で、医療データのセキュリティとプライバシーに対する新たな課題を生み出します。 ^[2] mHealthは、低所得国および中所得国における医療サービスの提供においてますます重要な戦略となっています。^[22]携帯電話やタブレットは、ほぼリアルタイムでのデータの収集、報告、分析に使用されます。しかし、これらのモバイルデバイスは個人的な活動にも一般的に使用されているため、データ侵害につながる可能性のあるセキュリティリスクに対してより脆弱になっています。適切なセキュリティ保護がなければ、このような個人的な使用は医療データの品質、セキュリティ、機密性を危険にさらす可能性があります。^[23]

データ品質は近年、特に説明責任の要求が高まるにつれて、公衆衛生プログラムの主要な焦点となっている。^[24]エイズ、結核、マラリアなどの病気との闘いに関連する野心的な目標に向けた取り組みは、プログラムの実施に関連する質の高いデータを生成する強力な監視および評価システムを前提とする必要がある。^[25]これらのプログラムとプログラム監査人は、データ品質の決定プロセスを標準化および合理化し、^[26]報告されたデータの品質を検証し、指標の基礎となるデータ管理および報告システムを評価するツールをますます求めている。^[27]一例として、WHOとMEASURE Evaluationのデータ品質レビューツールがある。 ^[28] WHO、世界基金、GAVI、およびMEASURE Evaluationは、さまざまな病気やプログラムにわたるデータ品質保証に対する調和のとれたアプローチを生み出すために協力してきた。^[29]

Wikipedia、Wikidata、DBpediaなどのオープンデータソースのデータ品質の分析に特化した科学的研究は数多くあります。Wikipediaの場合、品質分析は記事全体に関係することがあります^[30]。そこでの品質のモデリングはさまざまな方法で行われます。その中には、ランダムフォレスト[31]、サポートベクターマシン[32]などの機械学習アルゴリズムを使用するものもあります。Wikidata 、^DBpedia、その他^のLODソースのデータ品質を評価する方法は異なります。^[33]

電子商取引コード管理協会 (ECCMA) は、国際標準の実装を通じてデータ品質の向上に取り組んでいる、会員制の国際的な非営利団体です。ECCMA は現在、データ品質と材料およびサービス マスター データの交換に関する国際標準である ISO 8000 と ISO 22745 の開発プロジェクト リーダーです。ECCMA は、世界中のデータ品質とデータ ガバナンスの専門家が協力して、情報を明確にラベル付けするために使用されるグローバルなオープン標準辞書を構築および維持するためのプラットフォームを提供します。これらのラベル辞書の存在により、意味を失うことなく情報を 1 つのコンピューター システムから別のコンピューター システムに渡すことができます。^[34]

• データ品質ファイアウォール
• データ検証
• レコードのリンク
• 情報の質
• マスターデータ管理
• データガバナンス
• データベースの正規化
• データの視覚化
• データ分析
• データサイエンス
• 真空
• 臨床データ管理

• Bronselaer, Antoon (2021年9月16日).データ品質管理：方法と課題の概要. Springer.
• セバスチャン・コールマン、ローラ（2012 年 12 月 12 日）。継続的な改善のためのデータ品質の測定：データ品質評価フレームワーク（第 1 版）。モーガン カウフマン。ISBN 0123970334。
• ロシン、デビッド（2010年10月29日）。データ品質改善実践ガイド（第1版）。モーガン・カウフマン。ISBN 0123737176。
• McGilvray, Danette (2008 年 7 月 25 日)。データ品質プロジェクトの実行: 品質データと信頼できる情報への 10 ステップ。Morgan Kaufmann。ISBN 0123743699。
• レッドマン、トーマス C. (2008)。データ駆動：最も重要なビジネス資産から利益を得る。ハーバードビジネスプレス。ISBN 9781422119129。
• オルソン、ジャック E. (2003)。データ品質: 正確性の次元。モーガン カウフマン。ISBN 9781558608917。
• Baškarada, S; Koronios, A (2014). 「情報品質管理のための重要な成功要因フレームワーク」.情報システム管理. 31 (4): 1–20. doi :10.1080/10580530.2014.958023. S2CID  33018618.
• Baamann, Katharina、「収益保証におけるデータ品質の側面」、記事
• Eckerson, W. (2002)「データウェアハウス特別レポート: データ品質と収益」、記事
• Ivanov, K. (1972)「情報の品質管理: データバンクと経営情報システムにおける情報の正確さの概念について」ストックホルム大学および王立工科大学。博士論文。
• ハンセン、M.（1991）ゼロ欠陥データ、MIT修士論文[1]
• Kahn, B.、Strong, D.、Wang, R. (2002)「情報品質ベンチマーク: 製品とサービスのパフォーマンス」、Communications of the ACM、2002 年 4 月、pp. 184–192。記事
• Price, R. および Shanks, G. (2004) 記号論的情報品質フレームワーク、議事録。IFIP 国際意思決定支援システム会議 (DSS2004): 不確実で複雑な世界における意思決定支援、プラート。記事
• Wand, Y. および Wang, R. (1996)「オントロジー基盤におけるデータ品質ディメンションの固定」Communications of the ACM、1996 年 11 月、pp. 86–95。記事
• Wang, R.、Kon, H.、Madnick, S. (1993)、「データ品質要件分析とモデリング」、第 9 回国際データ エンジニアリング会議、オーストリア、ウィーン。記事
• Fournel Michel、Accroitre la qualité et la valeur des données de vos client、éditions Publibook、2007。ISBN 978-2-7483-3847-8。 
• Daniel F.、Casati F.、Palpanas T.、Chayka O.、Cappiello C. (2008)「品質を考慮したレポートによるより良い意思決定の実現」、国際情報品質会議 (ICIQ)、MIT。記事
• Woodall, P; Oberhofer, M; Borek, A (2014). 「データ品質評価および改善方法の分類」International Journal of Information Quality . 3 (4): 298–321. doi :10.1504/IJIQ.2014.068656.
• Woodall, P.; Borek, A.; Parlikad, A. (2013). 「データ品質評価: ハイブリッドアプローチ」.情報と管理. 50 (7): 369–382.

• グローバルヘルスラーニングセンターによるデータ品質コース