テキストマイニング

多くのテキストマイニングソフトウェアパッケージは、セキュリティアプリケーション、特に国家安全保障目的でのインターネットニュース、ブログなどのオンラインプレーンテキストソースの監視と分析のために販売されています。^{[ 18 ]}また、テキストの暗号化/復号化の研究にも関わっています。

生物医学文献におけるテキストマイニングのさまざまな応用例が報告されており、^{[ 20 ]}これにはタンパク質ドッキングの研究を支援する計算アプローチ、^{[ 21 ]}タンパク質相互作用、^{[ 22 ] [ 23 ]}およびタンパク質と疾患の関連性の研究が含まれます。^{[ 24 ]}さらに、臨床分野における大規模な患者テキストデータセット、集団研究における人口統計情報データセット、および有害事象報告では、テキストマイニングは臨床研究および精密医療を促進することができます。テキストマイニングアルゴリズムは、電子カルテ、イベントレポート、および特定の診断テストからのレポートからの症状、副作用、および併存疾患の大規模な患者テキストデータセットにおける特定の臨床イベントの層別化とインデックス作成を促進することができます。^{[ 25 ]}生物医学文献におけるオンラインテキストマイニングアプリケーションの 1 つは、生物医学テキストマイニングとネットワーク可視化を組み合わせた公開検索エンジンであるPubGeneです。 ^{[ 26 ] [ 27 ]} GoPubMed は、生物医学テキストの知識ベース検索エンジンです。テキストマイニング技術は、臨床領域の非構造化文書から未知の知識を抽出することも可能にする^{[ 28 ]。}

テキストマイニングの手法とソフトウェアは、 IBMやMicrosoftなどの大手企業によっても研究・開発されており、マイニングと分析プロセスをさらに自動化し、また、一般的に検索とインデックス作成の分野で活動するさまざまな企業によって、結果を改善する方法として研究・開発されています。公共部門では、テロ活動の追跡と監視のためのソフトウェアの作成に多くの努力が集中しています。^{[ 29 ]}研究目的の場合、Wekaソフトウェアは科学界で最も人気のあるオプションの1つであり、初心者にとって優れた入門点となっています。Pythonプログラマー向けには、より一般的な目的のためのNLTKと呼ばれる優れたツールキットがあります。より高度なプログラマー向けには、単語埋め込みベースのテキスト表現に焦点を当てたGensimライブラリもあります。

テキストマイニングは、トリビューン社などの大手メディア企業によって、情報の明確化や読者の検索体験の向上に活用されており、結果としてサイトの滞在時間と収益の増加につながっています。さらに、バックエンドでは、編集者が複数の媒体間でニュースを共有、関連付け、パッケージ化できるようになり、コンテンツの収益化機会が大幅に増加しています。

テキスト分析は、特にマーケティング、例えば顧客関係管理などのビジネスで使用されています。^{[ 30 ]} Coussement と Van den Poel (2008) ^{[ 31 ] [ 32 ]}は、顧客離脱 (顧客離脱) の予測分析モデルを改善するためにこれを使用しています。^{[ 31 ]}テキストマイニングは、株式リターン予測にも使用されています。^{[ 33 ]}

感情分析では、映画、書籍、ホテルレビューなどの製品を分析し、レビューが製品に対してどれほど好意的かを推定することがあります。^{[ 34 ]} このような分析には、ラベル付きデータセットまたは単語の感情性のラベル付けが必要になる場合があります。単語と概念の感情性に関するリソースは^、それぞれWordNet ^{[ 35 ]}とConceptNet [ ^{36 ]}用に作成されています。

感情コンピューティングの関連分野では、テキストが感情の検出に使用されてきました。^{[ 37 ]}感情コンピューティングへのテキストベースのアプローチは、学生の評価、子供の物語、ニュース記事などの複数のコーパスで使用されています。

テキストマイニングの問題は、検索のためにインデックス付けが必要な膨大な情報データベースを保有する出版社にとって重要です。これは特に科学分野において顕著であり、科学分野では、非常に専門的な情報が文章中に含まれていることがよくあります。そのため、出版社が一般公開の障壁を取り除くことなく、テキスト内に含まれる特定のクエリに機械が答えるための意味的な手がかりを提供する取り組みとして、Nature誌が提案したオープンテキストマイニングインターフェース（OTMI）や、米国国立衛生研究所（NIH）が提案した共通ジャーナル出版文書型定義（DTD）などのイニシアチブが取られています。

学術機関もテキストマイニングの取り組みに参加している。

• 国立テキストマイニングセンター（NaCTeM）は、世界で初めて公的資金で設立されたテキストマイニングセンターです。NaCTeMは、マンチェスター大学^{[ 38 ]}が東京大学の辻井研究室^{[ 39 ]} と緊密に連携して運営しています。^{[ 40 ]} NaCTeMは、カスタマイズされたツール、研究施設を提供し、学術コミュニティにアドバイスを提供しています。同センターは、合同情報システム委員会（JISC）と英国の2つの研究評議会（EPSRCおよびBBSRC ）から資金提供を受けています。当初は生物学および生物医学分野のテキストマイニングに重点を置いていましたが、その後、研究は社会科学の分野にまで拡大しました。
• 米国では、カリフォルニア大学バークレー校の情報学部が、生物学研究者によるテキストマイニングと分析を支援する「BioText」と呼ばれるプログラムを開発している。
• 現在アルバータ大学に設置されているテキスト分析研究ポータル（TAPoR）は、テキスト分析アプリケーションをカタログ化し、この分野に不慣れな研究者にとってのゲートウェイとなることを目的とした学術プロジェクトである。

膨大なテキストコーパスの自動分析により、研究者は最小限の手作業で数百万もの文書を多言語で分析することが可能になった。その実現を支える主要な技術は、構文解析、機械翻訳、トピック分類、そして機械学習である。

テキストコーパスの自動解析により、アクターとその関係ネットワークを大規模に抽出することが可能になり、テキストデータがネットワークデータに変換されました。結果として得られるネットワークは、数千のノードを含む可能性があり、ネットワーク理論のツールを使用して分析され、主要なアクター、主要なコミュニティまたはパーティ、ネットワーク全体の堅牢性や構造的安定性、特定のノードの中心性などの一般的な特性が特定されます。^{[ 45 ]}これは、定量的物語分析によって導入されたアプローチを自動化するものであり、 ^{[ 46 ]}主語-動詞-目的語のトリプレットが、アクションによってリンクされたアクターのペア、またはアクター-オブジェクトによって形成されるペアと識別されます。^{[ 44 ]}

コンテンツ分析は、長い間、社会科学やメディア研究の伝統的な分野でした。コンテンツ分析の自動化により、この分野で「ビッグデータ」革命が起こり、数百万のニュース記事を含むソーシャルメディアや新聞コンテンツの研究が行われました。数百万の文書に対するテキストマイニング手法に基づいて、ジェンダーバイアス、可読性、コンテンツの類似性、読者の好み、さらには気分までが分析されました。^{[ 47 ] [ 48 ] [ 49 ] [ 50 ] [ 51 ]}可読性、ジェンダーバイアス、トピックバイアスの分析は、Flaounas ら^{[ 52 ]によって実証され、異なるトピックがジェンダーバイアスと可読性のレベルが}異なることが示されました。また、Twitter コンテンツを分析することで、膨大な人口における気分のパターンを検出できる可能性も実証されました。^{[ 53 ] [ 54 ]}

欧州の著作権法およびデータベース法の下では、著作権者の許可なしに著作権保護対象作品（ウェブマイニングなど）をマイニングすることは、デジタル単一市場における著作権に関する2019年指令の第3条および第4条で認められています。第3条では科学研究のための特定のTDM例外が規定されていますが、第4条で規定されているより一般的な例外は、著作権者がオプトアウトしていない場合にのみ適用されます。^{[ 55 ]}

欧州委員会は2013年に「欧州のためのライセンス」というタイトルでテキストおよびデータマイニングに関する利害関係者の議論を促進した。 ^{[ 56 ]}この法的問題の解決策の焦点が著作権法の制限や例外ではなくライセンスであったため、大学、研究者、図書館、市民社会団体、オープンアクセス出版社の代表者は2013年5月に利害関係者対話から離脱した。^{[ 57 ]}

米国の著作権法、特にそのフェアユース規定により、米国におけるテキストマイニングは、イスラエル、台湾、韓国などのフェアユースが認められている他の国々と同様に、合法とみなされています。テキストマイニングは変容的であり、元の著作物を置き換えるものではないため、フェアユースの下で合法とみなされます。例えば、Google Bookの和解の一環として、この訴訟を担当した裁判官は、著作権保護期間中の書籍のGoogleのデジタル化プロジェクトは、デジタル化プロジェクトが示した変容的な利用（テキストマイニングやデータマイニングなど）を理由の一つとして、合法であると判決を下しました。^{[ 58 ]}

オーストラリアの著作権法には、 1968 年著作権法におけるテキストマイニングやデータマイニングに関する例外規定はありません。オーストラリア法改革委員会は、「研究および調査」の公正利用の例外規定が、このようなトピックにまで及ぶ可能性は低いと指摘しています。なぜなら、それは「合理的な部分」の要件を超えるからです。^{[ 59 ]}

2014年、英国では、ハーグリーブス報告書の勧告に基づき、政府が著作権法^{[ 60 ]}を改正し、テキストマイニングを制限および例外として認めた。これは、2009年にマイニング専用の例外を導入した日本に次いで、世界で2番目の事例となった。しかし、情報社会指令（2001年）の制限により、英国の例外は非営利目的でのコンテンツマイニングのみを認めている。英国の著作権法では、この規定を契約条件で覆すことはできない。

• Ananiadou, S. および McNaught, J. (編) (2006).生物学および生物医学のためのテキストマイニング. Artech House Books. ISBN 978-1-58053-984-5
• Bilisoly, R. (2008). Practical Text Mining with Perl . New York: John Wiley & Sons. ISBN 978-0-470-17643-6
• フェルドマン、R.、サンガー、J. (2006). 『テキストマイニングハンドブック』. ニューヨーク：ケンブリッジ大学出版局. ISBN 978-0-521-83657-9
• Hotho, A.、Nürnberger, A.、Paaß, G. (2005)「テキストマイニングの簡単な概観」Ldv Forum、第20巻(1)、 19-62ページ
• Indurkhya, N.、および Damerau, F. (2010).自然言語処理ハンドブック、第2版。フロリダ州ボカラトン：CRC Press。ISBN 978-1-4200-8592-1
• Kao, A.、および Poteet, S. (編)。自然言語処理とテキストマイニング。Springer。ISBN 1-84628-175-X
• Konchady, M.テキストマイニングアプリケーションプログラミング（プログラミングシリーズ） . Charles River Media. ISBN 1-58450-460-9
• マニング、C.、シュッツェ、H. (1999).統計的自然言語処理の基礎. マサチューセッツ州ケンブリッジ: MIT Press. ISBN 978-0-262-13360-9
• Miner, G.、Elder, J.、Hill, T.、Nisbet, R.、Delen, D.、Fast, A. (2012). 『非構造化テキストデータアプリケーションのための実践的テキストマイニングと統計分析』 Elsevier Academic Press. ISBN 978-0-12-386979-1
• McKnight, W. (2005). 「ビジネスインテリジェンスの構築：ビジネスインテリジェンスにおけるテキストデータマイニング」DM Review、21–22。
• Srivastava, A.、および Sahami, M. (2009).テキストマイニング：分類、クラスタリング、および応用. フロリダ州ボカラトン：CRC Press. ISBN 978-1-4200-5940-3
• ザナシ、A.（編）（2007）。テキストマイニングとそのインテリジェンス、CRM、知識管理への応用。WIT Press。ISBN 978-1-84564-131-3