非構造化データ

非構造化データ(または非構造化情報) とは、事前に定義されたデータ モデルを持たないか、事前に定義された方法で整理されていない情報です。非構造化情報は通常、テキストが中心ですが、日付、数値、事実などのデータも含まれる場合があります。このため、データベースにフィールド形式で保存されたデータや、ドキュメントに注釈(意味的にタグ付け) されたデータと比較して、不規則性や曖昧さが生じ、従来のプログラムを使用して理解することが困難になります。

1998年、メリルリンチは「非構造化データは組織内のデータの大部分を占めており、80%にも達すると推定される」と述べた。^[1]この数字の出典は不明だが、一部の人はこれを受け入れている。^[2]他の出典も、非構造化データの割合は同程度かそれ以上であると報告している。^{[3] [4] [5]}

2012年現在^{[アップデート]}、IDCとDell EMCは、2020年までにデータが40ゼタバイトに増加し、2010年初頭から50倍の増加になると予測しています。 ^[6]最近では、IDCとSeagateは、世界のデータ圏が2025年までに163ゼタバイトに増加し、その大部分が非構造化データになると予測しています。Computer World誌は、非構造^化情報が組織内のすべてのデータの70～80%以上を占める可能性があると述べています。^[1]

ビジネスインテリジェンスに関する最も初期の研究は、数値データではなく、非構造化テキストデータに焦点を当てていました。^[8] 1958年には、HP Luhnなどのコンピュータサイエンスの研究者が、非構造化テキストの抽出と分類に特に関心を持っていました。 ^[8]しかし、20世紀に入ってからようやく、技術が研究の関心に追いつきました。2004年、SAS Instituteは、特異値分解（SVD）を使用して超次元のテキスト空間をより小さな次元に縮小し、大幅に効率的な機械分析を実現するSAS Text Minerを開発しました。 ^[9]機械テキスト分析によって引き起こされた数学的および技術的な進歩により、多くの企業がアプリケーションの研究を始め、感情分析、顧客の声のマイニング、コールセンターの最適化などの分野が発展しました。 ^{[10] 2000年代後半の}ビッグデータの出現により、予測分析や根本原因分析などの現代分野における非構造化データ分析のアプリケーションへの関心が高まりました。^[11]

この用語はいくつかの理由から不正確です。

1. 構造は正式に定義されていませんが、暗示することはできます。
2. 何らかの構造を持つデータであっても、その構造が現在の処理タスクに役立たない場合は、非構造化データとして分類されることがあります。
3. 非構造化情報は、ある程度の構造（半構造化）を持っている場合もあれば、予期しない、または予告されていない方法で高度に構造化されている場合もあります。

データ マイニング、自然言語処理(NLP)、テキスト分析などの技術は、この情報からパターンを見つけたり、解釈したりするためのさまざまな方法を提供します。テキストを構造化する一般的な技術では、通常、メタデータによる手動タグ付けや、さらなるテキスト マイニングベースの構造化のための品詞タグ付けが行われます。非構造化情報管理アーキテクチャ(UIMA) 標準は、この情報を処理して意味を抽出し、情報に関する構造化データを作成するための共通フレームワークを提供しました。

機械で処理可能な構造を作成するソフトウェアは、人間のコミュニケーションのあらゆる形態に存在する言語的、聴覚的、視覚的構造を利用できます。^[12]アルゴリズムは、たとえば単語の形態、文の構文、その他の小規模および大規模パターンを調べることによって、テキストからこの固有の構造を推測できます。その後、非構造化情報を拡充してタグ付けし、あいまいさに対処し、関連性に基づく手法を使用して検索と発見を容易にすることができます。「非構造化データ」の例には、書籍、ジャーナル、文書、メタデータ、健康記録、オーディオ、ビデオ、アナログデータ、画像、ファイル、および電子メールメッセージの本文、Webページ、またはワードプロセッサ文書などの非構造化テキストが含まれます。伝達される主要なコンテンツには定義された構造はありませんが、通常はオブジェクト（ファイルや文書など）にパッケージ化されており、それ自体が構造を持っているため、構造化データと非構造化データが混在していますが、総称して「非構造化データ」と呼ばれます。^[13]たとえば、HTMLウェブページはタグ付けされていますが、HTMLマークアップは通常、レンダリングのみを目的としています。ページの情報コンテンツの自動処理をサポートする方法で、タグ付けされた要素の意味や機能をキャプチャすることはできません。XHTMLタグ付けは要素の機械処理を可能にしますが、通常、タグ付けされた用語の意味をキャプチャしたり伝えたりすることはできません。

電子文書には構造化されていないデータが多く含まれるため、文書内のデータ転送や操作よりも、文書全体を分類できるコンテンツまたは文書管理システムの使用が好まれることが多いです。文書管理は、このように文書コレクションに構造を伝える手段を提供します。

検索エンジンは、このようなデータ、特にテキストをインデックスして検索するための一般的なツールになっています。

テキスト文書に含まれる非構造化データに構造を課すために、特定の計算ワークフローが開発されている。これらのワークフローは、一般的に数千、あるいは数百万の文書セット、あるいは手動の注釈付けアプローチが許容できる量をはるかに超える文書セットを処理するように設計されている。これらのアプローチのいくつかは、オンライン分析処理（OLAP）の概念に基づいており、テキストキューブなどのデータモデルによってサポートされている場合がある。 ^[14]データモデルを通じて文書メタデータが利用可能になると、文書のサブセット（つまり、テキストキューブ内のセル）の要約の生成は、フレーズベースのアプローチで実行できる。^[15]

生物医学研究は、研究者が学術雑誌に研究結果を発表することが多いため、非構造化データの主要なソースの 1 つを生み出します。これらの文書の言語から構造要素を導き出すのは困難ですが (たとえば、文書に含まれる複雑な専門用語や、観察を完全に文脈化するために必要なドメイン知識のため)、これらの活動の結果から、技術研究と医学研究のリンク^[16]や新しい疾患治療法に関する手がかりが得られる可能性があります。^[17]生物医学文書に構造を適用するための最近の取り組みには、文書間でトピックを識別するための自己組織化マップアプローチ^[18]、汎用の教師なしアルゴリズム^[19] 、および文献内のタンパク質名と心血管疾患トピックとの関連性を判断するための CaseOLAP ワークフロー^{[15]の適用などがあります。 [20]} CaseOLAP は、フレーズとカテゴリの関係を正確 (関係を識別)、一貫性 (再現性が高い)、効率的な方法で定義します。このプラットフォームは、アクセシビリティを強化し、生物医学コミュニティに、広範な生物医学研究アプリケーション用のフレーズ マイニング ツールを提供します。^[20]

スウェーデン（EU）では、2018年以前は、問題のデータが「非構造化」されていることが確認された場合、一部のデータプライバシー規制は適用されませんでした。^{[21]この用語「非構造化データ」は、2018年に}GDPRが施行されて以来、EUではほとんど使用されていません。GDPRでは「非構造化データ」について言及も定義もされていません。ただし、「構造化」という言葉は次のように使用されています（定義なし）。

• GDPR 序文 15 の一部、「個人データがファイリング システムに含まれている場合、個人データの処理には自然人の保護が適用される必要がある。」
• GDPR 第 4 条、「「ファイリング システム」とは、特定の基準に従ってアクセス可能な構造化された個人データ セットを意味します...」

GDPR の「ファイリング システム」の定義に関する判例: 「説教に従事する各メンバーによって収集された個人データ セットが実際に構成されている特定の基準と特定の形式は、そのデータ セットによって、連絡を受けた特定の人物に関するデータを簡単に取得できる限り、無関係です。ただし、これは、主たる訴訟手続きにおける事件のすべての状況を考慮して、提訴裁判所が確認することになります。」( CJEU、Todistajat v. Tietosuojavaltuutettu、Jehovan、パラグラフ 61)。

個人データが簡単に取得できる場合、それはファイリング システムであり、「構造化」されているか「非構造化」されているかに関係なく、GDPR の対象となります。今日のほとんどの電子システムは、^{アクセスと適用されたソフトウェア}に応じて、データの簡単な取得が可能です。

• クラスタリング
• パターン認識
• テキストマイニングソフトウェアの一覧
• 半構造化データ
• 構造化データ

1. ^ 今日の政府における課題: 非構造化情報をどう扱うか、そしてなぜ何もしないことが選択肢ではないのか、Noel Yuhanna、 Forrester Research主席アナリスト、2010 年 11 月

• 非構造化データと構造化データのマッチング
• 構造化データの簡単な説明
• 非構造化データの定義、例、利点と課題