Loading article…
Google Books Ngram Viewer は、1500 年～ 2022 年の間に発行された印刷物に含まれるnグラムの年間カウントを使用して、任意の検索文字列の頻度をグラフ化するオンライン検索エンジンです[ 1 ] [ 2 ] [ 3 ] [ 4 ]。これは、 Googleの英語、中国語 (簡体字)、フランス語、ドイツ語、ヘブライ語、イタリア語、ロシア語、スペイン語のテキスト コーパスに基づいています[ 1 ] [ 2 ] [ 5 ]。 アメリカ英語、イギリス英語、英語のフィクションなど、英語に特化したコーパスもいくつかあります[ 6 ] 。
このプログラムは単語またはフレーズを検索できます。[ 5 ] n - gramは選択されたコーパス内のテキストと照合され、40冊以上の書籍で見つかった場合はグラフとして表示されます。[ 6 ]このプログラムは品詞とワイルドカードの検索をサポートしています。[ 6 ]これは研究で日常的に使用されています。[ 7 ] [ 8 ]
Ngram Viewer は、Google のソフトウェア エンジニアである Will Brockman と Jon Orwant [ 9 ]が、ハーバード大学の研究者 Jean-Baptiste Michel とErez Lieberman Aiden と共同で作成しました。このサービスは 2010 年 12 月 16 日にリリースされました。[ 2 ] [ 10 ] リリース前は、この目的のために設計されたデータベースがなかったため、言語の変化率を定量化することは困難でした、と、同日に発表されたScienceの論文 の共著者の 1 人である著名な言語学者Steven Pinker [ 11 ]は述べています。Google Books Ngram Viewer は、人文科学分野の定量的研究に新たな窓を開くことを期待して開発され、データベースには最初から公開されている 520 万冊の本から 5000 億語が含まれていました。[ 2 ] [ 3 ] [ 10 ]
想定対象は学者であったが、Google Books Ngram Viewer により、コンピューターさえあれば誰でも、単語やフレーズの使用の通時的変化を表すグラフを簡単に見ることができるようになった。リーバーマンはニューヨーク・タイムズ紙の取材に対し、開発者たちは子供でも歴史上の文化動向を閲覧できるようにすることを目指したと語った。[ 10 ]サイエンス誌の論文で、リーバーマンと共同研究者たちは、デジタル化されたテキストにおける大量データ分析の手法を「カルチュロミクス」と呼んだ。[ 1 ] [ 10 ]
ユーザーが入力した検索語はカンマで区切られ、カンマで区切られた各語はデータベース内でn- gramとして検索されます（たとえば、「nursery school」は2-gramまたはバイグラムです）。[ 6 ] Ngram Viewerは、プロットされた折れ線グラフを返します。Ngramデータベースのサイズに制限があるため、少なくとも40冊の本で見つかった一致のみがインデックス化されます。[ 6 ]
Ngram Viewer のデータセットは、不正確な光学文字認識 (OCR) に依存していること、および日付や分類が誤っているテキストが多数含まれていることで批判されています。 [ 12 ]これらの エラー、およびバイアス (例えば、科学文献の増加により他の用語の人気が低下しているように見えるなど) が制御されていないため、言語 の研究や理論の検証にコーパスを使用する際には注意が必要です。[ 14 ]さらに、データセットは一般的な言語的または文化的変化を反映していない可能性があり、著作権侵害の可能性を避けるために、発行日、著者、長さ、ジャンルなどのメタデータ が含まれていないため、そのような影響を示唆するにとどまります。[ 15 ]
19 世紀以前のテキストにおけるsとfの混同( fと見た目が似ている長い s であるſの使用による) のような体系的なエラーは、体系的なバイアスを引き起こす可能性があります。[ 14 ] Google Books チームは、1800 年以降は結果が信頼できると主張していますが、OCR の精度が低く、データが不十分なため、中国語などの言語で示されている頻度は 1970 年以降のみ正確である可能性があり、コーパスのそれ以前の部分では一般的な用語の結果がまったく表示されず、一部の年のデータには 50% 以上ノイズが含まれています。[ 16 ] [ 17 ]
Google Ngramのデータを用いた研究を行うためのガイドラインが提案されており、上記で議論したいくつかの問題に対処しようとしている。[ 18 ]
Google Books Ngram Corpus 2012年版を紹介する
ホワイトペーパー