Google ブックス Ngram ビューア

Google Books Ngram Viewerは、1500年から2022年の間に出版された印刷資料に含まれるnグラムの年間カウントを使用して、任意の検索文字列セットの頻度をグラフ化するオンライン検索エンジンです。[ ^{1] [2] [ 3] [4]} Googleの英語、中国語（簡体字）、フランス語、ドイツ語、ヘブライ語、イタリア語、ロシア語、スペイン語のテキストコーパスで見つかりました。 ^{[1] [2] [5]} アメリカ英語、イギリス英語、英語フィクションなどの特殊な英語コーパスもあります。^[6]

このプログラムは、スペルミスや意味不明な単語も含め、単語やフレーズを検索することができます。^[5] nグラムは選択されたコーパス内のテキストと照合され、40冊以上の書籍で見つかった場合はグラフとして表示されます。^[6] Google Books Ngram Viewerは、品詞やワイルドカードの検索をサポートしています。^[6]研究で日常的に使用されています。^{[7] [8]}

開発の過程で、Googleはハーバード大学の研究者2人、ジャン＝バティスト・ミシェルとエレズ・リーバーマン・エイデンとチームを組み、2010年12月16日にひっそりとプログラムをリリースした。^{[2] [ 9]} リリース前は、この目的のために設計されたデータベースが存在しなかったため、言語の変化率を定量化することは困難だったと、同日発表されたサイエンス論文 の共著者の1人である著名な言語学者スティーブン・ピンカー^{[10]は述べている。 [1]} Google Books Ngram Viewerは、人文科学分野の定量的研究への新たな窓を開くことを目的として開発され、データベースには当初から公開されていた520万冊の書籍から5000億語が含まれていた。^{[2] [3] [9]}

対象読者は学者だったが、Google Books Ngram Viewer により、コンピューターを持っている人なら誰でも、単語やフレーズの使用の通時的変化を表すグラフを簡単に見ることができるようになった。リーバーマンはニューヨークタイムズ紙の取材に対し、開発者は子供たちにも歴史を通じて文化の傾向を閲覧する機能を提供することを目指していたと述べた。^[9]サイエンス誌の論文で、リーバーマンと彼の共同研究者は、デジタル化されたテキストの大量データ分析の手法を「カルチュロミクス」と呼んだ。^{[1] [9]}

ユーザーが入力した検索語句はカンマで区切られ、カンマで区切られた各語句はデータベース内でnグラムとして検索されます (たとえば、「保育園」は 2 グラムまたはバイグラムです)。^[6]次に、Ngram Viewer はプロットされた 折れ線グラフを返します。Ngram データベースのサイズの制限により、少なくとも 40 冊の本で見つかった一致のみがインデックス化されることに注意してください。^[6]

Ngram Viewerのデータセットは、不正確な光学式文字認識（OCR）に依存していること、日付や分類が誤っているテキストが大量に含まれていることが批判されている。^[11] これらのエラーや、バイアスが制御されていないこと （科学文献の増加により、他の用語の人気が低下しているように見えるなど）のため、^{[12]コーパスを言語の研究や理論のテストに使用する際には注意が必要である。 [13]さらに、データセットは一般的な言語的または文化的変化を反映していない可能性があり、}著作権侵害の可能性を回避するために、出版日、^{[疑わしい–議論する]著者、長さ、ジャンルなどの}メタデータ を含まないため、そのような影響をほのめかすことしかできない。^[14]

19世紀以前のテキストにおけるsとfの混同（外見がfに似ている長いsであるſの使用による）などの体系的なエラーは、体系的なバイアスを引き起こす可能性があります。^[13] Googleブックスチームは、1800年以降の結果は信頼できると主張していますが、OCRが不十分でデータが不十分なため、中国語などの言語の頻度は1970年以降にしか正確ではない可能性があり、コーパスの以前の部分では一般的な用語の結果がまったく表示されず、一部の年のデータには50％以上のノイズが含まれています。^{[15] [16] [より良いソースが必要]}

Google Ngramのデータを用いた研究を行うためのガイドラインが提案されており、上で議論した問題のいくつかに対処しようとしている。^[17]

• Google トレンド
• 語彙解析

• Lin, Yuri; et al. (2012 年 7 月)。「Google Books Ngram コーパスの構文注釈」(PDF)。第 50 回年次会議の議事録。デモ ペーパー。2 。済州島、大韓民国: 計算言語学協会: 169–174。2390499。2012年版の Google Books Ngram コーパスを紹介するホワイト ペーパー

• 公式サイト