Googlebot

Googlebot

原作者	グーグル
タイプ	ウェブクローラー
Webサイト	Googlebot に関するよくある質問

Googlebotは、Googleが使用するウェブ クローラーソフトウェアで、ウェブからドキュメントを収集して、 Google 検索エンジンの検索可能なインデックスを作成します。この名前は、実際には 2 種類のウェブ クローラーを指すために使用されます。デスクトップ クローラー (デスクトップ ユーザーをシミュレート) とモバイル クローラー (モバイル ユーザーをシミュレート) です。^[1]

ウェブサイトはおそらくGooglebotデスクトップとGooglebotモバイルの両方によってクロールされるでしょう。しかし、2020年9月から、すべてのサイトがモバイルファーストインデックスに切り替えられ、GoogleはスマートフォンのGooglebotを使用してウェブをクロールするようになりました。^[2] Googlebotのサブタイプは、リクエスト内のユーザーエージェント文字列を見ることで識別できます。ただし、両方のクローラータイプはrobots.txt内の同じ製品トークン（useentトークン）に従うため、開発者はrobots.txtを使用してGooglebotモバイルまたはGooglebotデスクトップのいずれかを選択的にターゲットにすることはできません。

Google は、ウェブサイト所有者が Google の検索結果に表示されるコンテンツを管理できるように、さまざまな方法を提供しています。ウェブマスターがGooglebot または別のスパイダーが利用できるサイト上の情報を制限したい場合は、 robots.txtファイルに適切な指示を追加するか、 ^[3]ウェブページにメタタグ を追加することで制限できます。 ^{[4] Googlebot の}Web サーバーへのリクエストは、ユーザーエージェント文字列に「Googlebot」と含まれ、ホストアドレスに「googlebot.com」が含まれることで識別できます。 ^[5]<meta name="Googlebot" content="nofollow" />

現在、Googlebot はHREFリンクと SRC リンクをたどります。^[3] Googlebot が JavaScript を実行し、Ajax呼び出しによって生成されたコンテンツを解析できることの証拠が増えています。 ^[6] Googlebot の JavaScript 処理能力がどれほど優れているかについては多くの理論があり、カスタム インタープリターから派生した最小限の能力であるという意見から、カスタム インタープリターから派生した最小限の能力であるという意見まであります。^[7]現在、Googlebot は Chromium レンダリング エンジン (2019 年 5 月 7 日時点でバージョン 74) に基づくウェブ レンダリング サービス (WRS) を使用しています。^[8] Googlebot は、見つけられるすべてのページのすべてのリンクを収集してページを検出します。nofollowタグで禁止されていない限り、これらのリンクをたどって他のウェブページに移動します。新しいウェブページをクロールしてインデックスに登録するには、ウェブ上の他の既知のページからリンクするか、ウェブマスターが手動で送信する必要があります。

低帯域幅のウェブホスティングプラン^[要出典]を契約しているウェブマスターがGooglebot に関してよく指摘する問題は、膨大な量の帯域幅を消費することです。^{[要出典]これにより、ウェブサイトが帯域幅の制限を超え、一時的にダウンする可能性があります。これは、数}ギガバイトのデータをホストするミラーサイト にとって特に厄介です。Google は、ウェブサイト所有者がクロール速度を調整できる「 Search Console 」を提供しています。^[9]

Googlebot がサイトをクロールする頻度は、クロール バジェットによって異なります。クロール バジェットとは、ウェブサイトが通常どのくらい更新されるかを推定したものです。^[要出典]技術的には、Googlebot の開発チーム (クロールおよびインデックス作成チーム) は、内部でいくつかの定義された用語を使用して、「クロール バジェット」の意味を引き継いでいます。^{[10] 2019 年 5 月以降、Googlebot は}ECMAScript 6 の機能をサポートする最新のChromiumレンダリング エンジンを使用しています。これにより、ボットはより「エバーグリーン」になり、ブラウザの機能と比較して時代遅れのレンダリング エンジンに依存しなくなります。^[8]

Mediabot は、Google がコンテンツを分析して、Google AdSense がWeb ページにコンテキスト関連広告を配信できるようにするために使用するWeb クローラーです。Mediabot は、ユーザー エージェント文字列「Mediapartners-Google/2.1」で自身を識別します。

他のクローラーとは異なり、Mediabot はリンクをたどって新しいクロール可能な URL を発見するのではなく、AdSense コードが含まれている URL のみにアクセスします。^[11]コンテンツがログインの背後にある場合、クローラーにログイン情報を与えて保護されたコンテンツをクロールできるようにします。^[12]

InspectionToolは、 Google Search ConsoleのリッチリザルトテストやURL検査などの検索テストツールで使用されるクローラーです。ユーザーエージェントとユーザーエージェントトークンを除けば、Googlebotを模倣しています。^[13]

クローラーに関するガイドが独自に公開されました。^{[14]このガイドでは、} Webサーバーのディレクトリインデックスデータに基づく4つの異なるクローラーエージェント（非Chromeクローラー1つとChromeクローラー3つ）について詳しく説明しています。

• Google の公式 Googlebot FAQ