文書分類

文書分類または文書カテゴリ化は、図書館学、情報科学、およびコンピュータサイエンスにおける問題です。タスクは、文書を1 つ以上のクラスまたはカテゴリに割り当てることです。これは、「手動で」(または「知的に」) またはアルゴリズムで行うことができます。文書の知的分類は主に図書館学の領域であり、文書のアルゴリズムによる分類は主に情報科学とコンピュータサイエンスの領域です。ただし、問題は重複しているため、文書分類に関する学際的な研究が行われています。

分類するドキュメントは、テキスト、画像、音楽などです。ドキュメントの種類ごとに、特別な分類の問題があります。特に指定がない場合は、テキスト分類が暗黙的に使用されます。

文書は、主題または他の属性 (文書の種類、作成者、印刷年など)に従って分類できます。この記事の残りの部分では、主題の分類についてのみ説明します。文書の主題の分類には、コンテンツベースのアプローチとリクエストベースのアプローチという 2 つの主要な考え方があります。

「コンテンツベース」と「リクエストベース」の分類

内容に基づく分類とは、文書内の特定の主題に与えられた重みによって、その文書が割り当てられるクラスが決定される分類です。たとえば、図書館での分類の一般的なルールでは、本のコンテンツの少なくとも 20% は、その本が割り当てられるクラスに関するものでなければなりません。^[1]自動分類では、特定の単語が文書に出現する回数が基準になる場合があります。

要求指向分類（または -索引付け）は、ユーザーからの予想される要求が文書の分類方法に影響を与える分類です。分類者は自分自身に「このエンティティはどの記述子の下で見つけられるべきか？」と尋ね、「考えられるすべてのクエリを考え、手元のエンティティがどのクエリに関連するかを決定します」（Soergel、1985、p. 230 ^[2]）。

リクエスト指向の分類は、特定の対象者またはユーザーグループを対象とした分類である場合があります。たとえば、フェミニスト研究用のライブラリまたはデータベースは、歴史ライブラリと比較して、ドキュメントを異なる方法で分類/索引付けする場合があります。ただし、リクエスト指向の分類は、ポリシーベースの分類として理解する方が適切です。分類は、いくつかの理想に従って行われ、分類を行うライブラリまたはデータベースの目的を反映します。このように、これは必ずしもユーザー研究に基づく分類または索引付けの一種ではありません。使用またはユーザーに関する経験的データが適用される場合にのみ、リクエスト指向の分類はユーザーベースのアプローチと見なされます。

分類と索引付け

文書をクラスに割り当てること（「分類」）と、文書に主題を割り当てること（「主題索引付け」）を区別する場合もありますが、フレデリック・ウィルフリッド・ランカスターが主張したように、この区別は有益ではありません。「これらの用語上の区別は全く意味がなく、混乱を招くだけだ」と彼は書いている（Lancaster、2003、p. 21 ^[3]）。この区別が純粋に表面的なものであるという考えは、分類システムがシソーラスに変換され、その逆も成り立つという事実によっても裏付けられている（cf.、Aitchison、1986、^[4] 2004; ^[5] Broughton、2008; ^[6] Riesthuis & Bliedung、1991 ^{[7] ）。したがって、文書にラベルを付ける行為（たとえば、}統制語彙の用語を文書に割り当てる）は、同時に、その用語によって索引付けされた文書のクラスにその文書を割り当てることでもある（Xとして索引付けまたは分類されたすべての文書は、同じ文書のクラスに属する）。言い換えれば、文書にラベルを付けるということは、そのラベルで索引付けされた文書のクラスにその文書を割り当てることと同じである。

自動文書分類（ADC）

自動文書分類タスクは、3つの種類に分けられます。教師あり文書分類では、何らかの外部メカニズム（人間によるフィードバックなど）が文書の正しい分類に関する情報を提供します。教師なし文書分類（文書クラスタリングとも呼ばれます）では、分類は外部情報を参照せずに完全に行う必要があります。半教師あり文書分類^[8]では、文書の一部が外部メカニズムによってラベル付けされます。さまざまなライセンスモデルのソフトウェア製品がいくつか利用可能です。^[9]^[10]^[11]^[12]^[13]^[14]

テクニック

自動ドキュメント分類技術には次のものがあります。

アプリケーション

分類技術は、

スパムフィルタリング、電子メールのスパムメッセージを正当な電子メールから識別しようとするプロセス
電子メールルーティング、一般的なアドレスに送信された電子メールをトピックに応じて特定のアドレスまたはメールボックスに送信すること^[15]
言語識別、テキストの言語を自動的に判別する
ジャンル分類、テキストのジャンルを自動的に判定する^[16]
読みやすさの評価、テキストの読みやすさの度合いを自動的に判定し、さまざまな年齢層や読者タイプに適した資料を見つけるため、またはより大規模なテキスト簡素化システムの一部として使用する。
感情分析は、ある話題に対する話者や筆者の態度や、文書全体の文脈上の極性を判断します。
公衆衛生監視におけるソーシャルメディアを利用した健康関連の分類^[17]
論文トリアージ、例えば生物学における手動でキュレーションされた注釈データベースを生成するための最初のステップとして行われているように、手動での文献キュレーションに関連する論文を選択すること^[18]

参照

参考文献

^ 米国議会図書館 (2008)。件名標目マニュアル。ワシントン D.C.: 米国議会図書館、政策および標準部。(シート H 180:「作品の少なくとも 20% を占めるトピックにのみ見出しを割り当てます。」)
^ Soergel, Dagobert (1985). 情報の整理: データベースと検索システムの原理. フロリダ州オーランド: Academic Press.
^ ランカスター、FW (2003)。索引作成と抄録の理論と実践。図書館協会、ロンドン。
^ Aitchison, J. (1986). 「シソーラスのソースとしての分類: シソーラスの用語と構造のソースとしての HE Bliss の書誌分類」Journal of Documentation、第 42 巻第 3 号、160-181 ページ。
^ Aitchison, J. (2004)。「BC2 のシソーラス: Bliss Music スケジュールから派生した実験的なシソーラスで明らかになった問題と可能性」Bliss Classification Bulletin、第 46 巻、20-26 ページ。
^ Broughton, V. (2008). 「ファセット分類をファセット用語の基礎とする: Bliss 書誌分類 (第 2 版) における分類構造のシソーラス形式への変換」Axiomathes、第 18 巻第 2 号、193-210 ページ。
^ Riesthuis, GJA、Bliedung, St. (1991)。「UDC のシソーラス化」。知識組織化とヒューマンインターフェイスのためのツール、第 2 巻、pp. 109-117。Index Verlag、フランクフルト。
^ Rossi, RG, Lopes, A. d. A., Rezende, SO (2016). テキストのトランスダクティブ分類を改善するための二部異種ネットワークの最適化とラベル伝播。Information Processing & Management, 52(2):217–257.
^ 「対話型自動文書分類プロトタイプ」(PDF) 。 2017年11月15日時点のオリジナル(PDF)からアーカイブ。2017年11月14日閲覧。
^ インタラクティブ自動文書分類プロトタイプ 2015年4月24日アーカイブ、Wayback Machine
^ 文書分類 - Artsyl
^ ABBYY FineReader Engine 11 Windows 版
^ 分類子 - Antidot
^ 「困難なプロジェクトのための3つの文書分類方法」www.bisok.com 。 2021年8月4日閲覧。
^ ステファン・ブーゼマン、スヴェン・シュマイヤー、ローマン・G・アレンス (2000)。コールセンターでのメッセージの分類。 Sergei Nirenburg、Douglas Appelt、Fabio Ciravegna、Robert Dale 編、Proc.第6回応用自然言語処理研究会(ANLP'00)、158 ～ 165 ページ、ACL。
^ サンティーニ、マリーナ、ロッソ、マーク（2008）、ジャンル対応アプリケーションのテスト：予備評価（PDF）、BCS IRSGシンポジウム：情報アクセスの将来の方向性、ロンドン、英国、pp. 54–63、2019-11-15のオリジナル（PDF）からアーカイブ、 2011-10-21に取得{{citation}}: CS1 メンテナンス: 場所が見つかりません発行者 (リンク)
^ X. Dai、M. Bikdash、B. Meyer、「ソーシャルメディアから公衆衛生監視へ: Twitter分類のための単語埋め込みベースのクラスタリング手法」、SoutheastCon 2017、ノースカロライナ州シャーロット、2017年、pp. 1-7。doi :10.1109/ SECON.2017.7925400
^ Krallinger, M; Leitner, F; Rodriguez-Penagos, C; Valencia, A (2008). 「Bio Creative II のタンパク質間相互作用注釈抽出タスクの概要」.ゲノム生物学. 9 (Suppl 2): S4. doi : 10.1186/gb-2008-9-s2-s4 . PMC 2559988. PMID 18834495 .

さらに読む

Fabrizio Sebastiani. 自動テキスト分類における機械学習。ACM Computing Surveys、34(1):1–47、2002年。
Stefan Büttcher、Charles LA Clarke、Gordon V. Cormack。情報検索：検索エンジンの実装と評価。Wayback Machineに 2020-10-05 にアーカイブ。MIT Press、2010 年。

外部リンク

文書分類の概要
自動テキスト分類に関する参考文献 2019-09-26 にWayback Machineでアーカイブ
クエリ分類に関する参考文献 2019-10-02 にWayback Machineでアーカイブされました
テキスト分類分析ページ
テキストの分類を学ぶ - Python による自然言語処理の第 6 章 (オンラインで入手可能)
TechTC - Technion テキスト分類データセットのリポジトリ 2020-02-14 にWayback Machineにアーカイブされました
David D. Lewis のデータセット
BioCreative III ACT (記事分類タスク) データセット

[1] 米国議会図書館 (2008)。件名標目マニュアル。ワシントン D.C.: 米国議会図書館、政策および標準部。(シート H 180:「作品の少なくとも 20% を占めるトピックにのみ見出しを割り当てます。」)

[2] Soergel, Dagobert (1985). 情報の整理: データベースと検索システムの原理. フロリダ州オーランド: Academic Press.

[3] ランカスター、FW (2003)。索引作成と抄録の理論と実践。図書館協会、ロンドン。

[4] Aitchison, J. (1986). 「シソーラスのソースとしての分類: シソーラスの用語と構造のソースとしての HE Bliss の書誌分類」Journal of Documentation、第 42 巻第 3 号、160-181 ページ。

[5] Aitchison, J. (2004)。「BC2 のシソーラス: Bliss Music スケジュールから派生した実験的なシソーラスで明らかになった問題と可能性」Bliss Classification Bulletin、第 46 巻、20-26 ページ。

[6] Broughton, V. (2008). 「ファセット分類をファセット用語の基礎とする: Bliss 書誌分類 (第 2 版) における分類構造のシソーラス形式への変換」Axiomathes、第 18 巻第 2 号、193-210 ページ。

[7] Riesthuis, GJA、Bliedung, St. (1991)。「UDC のシソーラス化」。知識組織化とヒューマンインターフェイスのためのツール、第 2 巻、pp. 109-117。Index Verlag、フランクフルト。

[8] Rossi, RG, Lopes, A. d. A., Rezende, SO (2016). テキストのトランスダクティブ分類を改善するための二部異種ネットワークの最適化とラベル伝播。Information Processing & Management, 52(2):217–257.

[9] 「対話型自動文書分類プロトタイプ」(PDF) 。 2017年11月15日時点のオリジナル(PDF)からアーカイブ。2017年11月14日閲覧。

[10] インタラクティブ自動文書分類プロトタイプ 2015年4月24日アーカイブ、Wayback Machine

[11] 文書分類 - Artsyl

[12] ABBYY FineReader Engine 11 Windows 版

[13] 分類子 - Antidot

[14] 「困難なプロジェクトのための3つの文書分類方法」www.bisok.com 。 2021年8月4日閲覧。

[15] ステファン・ブーゼマン、スヴェン・シュマイヤー、ローマン・G・アレンス (2000)。コールセンターでのメッセージの分類。 Sergei Nirenburg、Douglas Appelt、Fabio Ciravegna、Robert Dale 編、Proc.第6回応用自然言語処理研究会(ANLP'00)、158 ～ 165 ページ、ACL。

[16] サンティーニ、マリーナ、ロッソ、マーク（2008）、ジャンル対応アプリケーションのテスト：予備評価（PDF）、BCS IRSGシンポジウム：情報アクセスの将来の方向性、ロンドン、英国、pp. 54–63、2019-11-15のオリジナル（PDF）からアーカイブ、 2011-10-21に取得{{citation}}: CS1 メンテナンス: 場所が見つかりません発行者 (リンク)

[17] X. Dai、M. Bikdash、B. Meyer、「ソーシャルメディアから公衆衛生監視へ: Twitter分類のための単語埋め込みベースのクラスタリング手法」、SoutheastCon 2017、ノースカロライナ州シャーロット、2017年、pp. 1-7。doi :10.1109/ SECON.2017.7925400

[:0-18] Krallinger, M; Leitner, F; Rodriguez-Penagos, C; Valencia, A (2008). 「Bio Creative II のタンパク質間相互作用注釈抽出タスクの概要」.ゲノム生物学. 9 (Suppl 2): S4. doi : 10.1186/gb-2008-9-s2-s4 . PMC 2559988. PMID 18834495 .