テキストマイニング

多くのテキストマイニングソフトウェアパッケージは、セキュリティアプリケーション、特に国家安全保障目的でのインターネットニュース、ブログなどのオンラインプレーンテキストソースの監視と分析のために販売されています。^{[ 18 ]}また、テキストの暗号化/復号化の研究にも関わっています。

生物医学文献におけるテキストマイニングのさまざまな応用例が報告されており、^{[ 20 ]}これにはタンパク質ドッキングの研究を支援する計算アプローチ、^{[ 21 ]}タンパク質相互作用、^{[ 22 ] [ 23 ]}およびタンパク質と疾患の関連性の研究が含まれます。^{[ 24 ]}さらに、臨床分野における大規模な患者テキストデータセット、集団研究における人口統計情報データセット、および有害事象報告では、テキストマイニングは臨床研究および精密医療を促進することができます。テキストマイニングアルゴリズムは、電子カルテ、イベントレポート、および特定の診断テストからのレポートからの症状、副作用、および併存疾患の大規模な患者テキストデータセットにおける特定の臨床イベントの層別化とインデックス作成を促進することができます。^{[ 25 ]}生物医学文献におけるオンラインテキストマイニングアプリケーションの 1 つは、生物医学テキストマイニングとネットワーク可視化を組み合わせた公開検索エンジンであるPubGeneです。 ^{[ 26 ] [ 27 ]} GoPubMed は、生物医学テキストの知識ベース検索エンジンです。テキストマイニング技術は、臨床領域の非構造化文書から未知の知識を抽出することも可能にする^{[ 28 ]。}

テキストマイニングの手法とソフトウェアは、 IBMやMicrosoftなどの大手企業によっても研究・開発されており、マイニングと分析プロセスをさらに自動化し、また、一般的に検索とインデックス作成の分野で活動するさまざまな企業によって、結果を改善する方法として開発されています。公共部門では、テロ活動の追跡と監視のためのソフトウェアの作成に多くの努力が集中しています。^{[ 29 ]}研究目的の場合、Wekaソフトウェアは科学の世界で最も人気のあるオプションの1つであり、初心者にとって優れた入門点となっています。Pythonプログラマー向けには、より一般的な目的のためのNLTKと呼ばれる優れたツールキットがあります。より高度なプログラマー向けには、単語埋め込みベースのテキスト表現に焦点を当てたGensimライブラリもあります。

テキストマイニングは、トリビューン社などの大手メディア企業によって、情報の明確化や読者の検索体験の向上に活用されており、結果としてサイトの滞在時間と収益の増加につながっています。さらに、バックエンドでは、編集者が複数の媒体間でニュースを共有、関連付け、パッケージ化できるようになり、コンテンツの収益化機会が大幅に増加しています。

テキスト分析は、特にマーケティング、例えば顧客関係管理などのビジネスで使用されています。^{[ 30 ]} Coussement と Van den Poel (2008) ^{[ 31 ] [ 32 ]}は、顧客離脱 (顧客離脱) の予測分析モデルを改善するためにこれを使用しています。^{[ 31 ]}テキストマイニングは、株式リターン予測にも使用されています。^{[ 33 ]}

感情分析では、映画、書籍、ホテルレビューなどの製品を分析し、レビューが製品に対してどれほど好意的かを推定することがあります。^{[ 34 ]} このような分析には、ラベル付きデータセットまたは単語の感情性のラベル付けが必要になる場合があります。単語と概念の感情性に関するリソースは^、それぞれWordNet ^{[ 35 ]}とConceptNet [ ^{36 ]}用に作成されています。

感情コンピューティングの関連分野では、テキストが感情の検出に使用されてきました。^{[ 37 ]}感情コンピューティングへのテキストベースのアプローチは、学生の評価、子供の物語、ニュース記事などの複数のコーパスで使用されています。

テキストマイニングの問題は、検索のためにインデックス付けが必要な膨大な情報データベースを保有する出版社にとって重要です。これは特に科学分野において顕著であり、科学分野では、非常に専門的な情報が文章中に含まれていることがよくあります。そのため、出版社が一般公開の障壁を取り除くことなく、テキスト内に含まれる特定のクエリに機械が答えるための意味的な手がかりを提供する取り組みとして、Nature誌が提案したオープンテキストマイニングインターフェース（OTMI）や、米国国立衛生研究所（NIH）が提案した共通ジャーナル出版文書型定義（DTD）などのイニシアチブが取られています。

学術機関もテキストマイニングの取り組みに参加している。

• The National Centre for Text Mining (NaCTeM), is the first publicly funded text mining centre in the world. NaCTeM is operated by the University of Manchester^[38] in close collaboration with the Tsujii Lab,^[39]University of Tokyo.^[40] NaCTeM provides customised tools, research facilities and offers advice to the academic community. They are funded by the Joint Information Systems Committee (JISC) and two of the UK research councils (EPSRC & BBSRC). With an initial focus on text mining in the biological and biomedical sciences, research has since expanded into the areas of social sciences.
• In the United States, the School of Information at University of California, Berkeley is developing a program called BioText to assist biology researchers in text mining and analysis.
• The Text Analysis Portal for Research (TAPoR), currently housed at the University of Alberta, is a scholarly project to catalogue text analysis applications and create a gateway for researchers new to the practice.

The automatic analysis of vast textual corpora has created the possibility for scholars to analyze millions of documents in multiple languages with very limited manual intervention. Key enabling technologies have been parsing, machine translation, topic categorization, and machine learning.

The automatic parsing of textual corpora has enabled the extraction of actors and their relational networks on a vast scale, turning textual data into network data. The resulting networks, which can contain thousands of nodes, are then analyzed by using tools from network theory to identify the key actors, the key communities or parties, and general properties such as robustness or structural stability of the overall network, or centrality of certain nodes.^[45] This automates the approach introduced by quantitative narrative analysis,^[46] whereby subject-verb-object triplets are identified with pairs of actors linked by an action, or pairs formed by actor-object.^[44]

Content analysis has been a traditional part of social sciences and media studies for a long time. The automation of content analysis has allowed a "big data" revolution to take place in that field, with studies in social media and newspaper content that include millions of news items. Gender bias, readability, content similarity, reader preferences, and even mood have been analyzed based on text mining methods over millions of documents.^{[47][48][49][50][51]} The analysis of readability, gender bias and topic bias was demonstrated in Flaounas et al.^[52] showing how different topics have different gender biases and levels of readability; the possibility to detect mood patterns in a vast population by analyzing Twitter content was demonstrated as well.^[53][54]

Under European copyright and database laws, the mining of in-copyright works (such as by web mining) without the permission of the copyright owner is permitted under Articles 3 and 4 of the 2019 Directive on Copyright in the Digital Single Market. A specific TDM exception for scientific research is described in article 3, whereas a more general exception described in article 4 only applies if the copyright holder has not opted out.^[55]

欧州委員会は2013年に「欧州のためのライセンス」というタイトルでテキストおよびデータマイニングに関する利害関係者の議論を促進した。 ^{[ 56 ]}この法的問題の解決策の焦点が著作権法の制限や例外ではなくライセンスであったため、大学、研究者、図書館、市民社会団体、オープンアクセス出版社の代表者は2013年5月に利害関係者の対話から離脱した。^{[ 57 ]}

米国の著作権法、特にそのフェアユース規定により、米国におけるテキストマイニングは、イスラエル、台湾、韓国などのフェアユースが認められている他の国々と同様に、合法とみなされています。テキストマイニングは変容的であり、元の著作物を置き換えるものではないため、フェアユースの下で合法とみなされます。例えば、Google Bookの和解の一環として、この訴訟を担当した裁判官は、著作権保護期間中の書籍のGoogleのデジタル化プロジェクトは、デジタル化プロジェクトが示した変容的な利用（テキストマイニングやデータマイニングなど）を理由の一つとして、合法であると判決を下しました。^{[ 58 ]}

オーストラリアの著作権法には、 1968 年著作権法におけるテキストマイニングやデータマイニングに関する例外規定はありません。オーストラリア法改革委員会は、「研究および調査」の公正利用の例外規定が、このようなトピックにまで及ぶ可能性は低いと指摘しています。なぜなら、それは「合理的な部分」の要件を超えるからです。^{[ 59 ]}

2014年、英国では、ハーグリーブス報告書の勧告に基づき、政府が著作権法^{[ 60 ]}を改正し、テキストマイニングを制限および例外として認めた。これは、2009年にマイニング専用の例外を導入した日本に次いで、世界で2番目の事例となった。しかし、情報社会指令（2001年）の制限により、英国の例外は非営利目的でのコンテンツマイニングのみを認めている。英国の著作権法では、この規定を契約条件で覆すことはできない。

• Ananiadou, S. および McNaught, J. (編) (2006).生物学および生物医学のためのテキストマイニング. Artech House Books. ISBN 978-1-58053-984-5
• Bilisoly, R. (2008). Practical Text Mining with Perl . New York: John Wiley & Sons. ISBN 978-0-470-17643-6
• フェルドマン、R.、サンガー、J. (2006). 『テキストマイニングハンドブック』. ニューヨーク：ケンブリッジ大学出版局. ISBN 978-0-521-83657-9
• Hotho, A.、Nürnberger, A.、Paaß, G. (2005)「テキストマイニングの簡単な概説」Ldv Forum、第20巻(1)、 19-62ページ
• Indurkhya, N.、および Damerau, F. (2010).自然言語処理ハンドブック、第2版。フロリダ州ボカラトン：CRC Press。ISBN 978-1-4200-8592-1
• Kao, A.、および Poteet, S. (編)。自然言語処理とテキストマイニング。Springer。ISBN 1-84628-175-X
• Konchady, M.テキストマイニングアプリケーションプログラミング（プログラミングシリーズ） . Charles River Media. ISBN 1-58450-460-9
• マニング、C.、シュッツェ、H. (1999).統計的自然言語処理の基礎. マサチューセッツ州ケンブリッジ: MIT Press. ISBN 978-0-262-13360-9
• Miner, G.、Elder, J.、Hill, T.、Nisbet, R.、Delen, D.、Fast, A. (2012). 『非構造化テキストデータアプリケーションのための実践的テキストマイニングと統計分析』 Elsevier Academic Press. ISBN 978-0-12-386979-1
• McKnight, W. (2005). 「ビジネスインテリジェンスの構築：ビジネスインテリジェンスにおけるテキストデータマイニング」DM Review、21–22。
• Srivastava, A.、および Sahami, M. (2009).テキストマイニング：分類、クラスタリング、および応用. フロリダ州ボカラトン：CRC Press. ISBN 978-1-4200-5940-3
• ザナシ、A.（編）（2007）。テキストマイニングとそのインテリジェンス、CRM、知識管理への応用。WIT Press。ISBN 978-1-84564-131-3