Loading article…
サイトマップは、ウェブマスターがウェブ クロールに使用できるウェブサイト上のURL を検索エンジンに通知するためのXML形式のプロトコルです。これにより、ウェブマスターは各 URL に関する追加情報 (最終更新日時、変更頻度、サイトの他の URL との関連における重要度など) を含めることができます。これにより、検索エンジンはサイトをより効率的にクロールし、サイトの他のコンテンツから分離されている可能性のある URL を見つけることができます。サイトマップ プロトコルは URL 包含プロトコルであり、URL 除外プロトコルである を補完します。
robots.txt
歴史
Google は 2005 年 6 月に初めて Sitemaps 0.84 を導入し、Web 開発者がサイト全体からのリンクのリストを公開できるようにしました。[1] Google、Yahoo!、Microsoft は 2006 年 11 月に Sitemaps プロトコルの共同サポートを発表しました。[2]スキーマ バージョンは「Sitemap 0.90」に変更されましたが、その他の変更は行われませんでした。
2007 年 4 月、Ask.com と IBM がサイトマップのサポートを発表しました。[3]また、Google、Yahoo、MSN は、を通じてサイトマップの自動検出を発表しましたrobots.txt。2007 年 5 月、アリゾナ州、カリフォルニア州、ユタ州、バージニア州の各州政府は、ウェブサイトでサイトマップを使用することを発表しました。[4]
サイトマッププロトコルは、「クローラーフレンドリーなWebサーバー」[6]のアイデア[5]に基づいており、自動検出やページの優先度と変更頻度を指定する機能などの改良が加えられています。
robots.txt
目的
サイトマップは、次のような Web サイトで特に役立ちます。
- ウェブサイトの一部のエリアは、ブラウズ可能なインターフェースでは利用できません[7]
- Web マスターは、通常は検索エンジンでは処理されないリッチなAjax、Silverlight、またはFlashコンテンツを使用します。
- サイトは非常に大きく、ウェブクローラーが新しいコンテンツや最近更新されたコンテンツを見逃してしまう可能性があります[7]
- ウェブサイトに孤立したページやリンクがうまく張られていないページが多数ある場合、または[7]
- ウェブサイトに外部リンクが少ない場合[7]
ファイル形式
サイトマップ プロトコル形式は XML タグで構成されます。ファイル自体はUTF-8でエンコードされている必要があります。サイトマップは URL のプレーン テキスト リストにすることもできます。また、.gz 形式で圧縮することもできます。
1 つの URL のみを含み、すべてのオプション タグを使用するサンプル サイトマップを以下に示します。
<?xml version='1.0' encoding='UTF-8'?>
<urlset xmlns:xsi= "http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation= "http://www.sitemaps.org/schemas/sitemap/0.9 http://www.sitemaps.org/schemas/sitemap/0.9/sitemap.xsd" xmlns= "http://www.sitemaps.org/schemas/sitemap/0.9" > <url> <loc> https://example.com/ </loc> <lastmod> 2006-11-18 </lastmod> <changefreq>毎日</changefreq> <priority> 0.8 </priority> </url> </urlset>
サイトマップXMLプロトコルは、複数のサイトマップを「サイトマップインデックス」ファイルにリストする方法も提供するように拡張されています。サイトマップの最大サイズは50MiB または50,000URL [8]であるため、大規模なサイトではこれが必要になります。
1 つの個別のサイトマップを参照するサイトマップ インデックスの例を次に示します。
<?xml version="1.0" encoding="UTF-8"?>
<sitemapindex xmlns:xsi= "http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation= "http://www.sitemaps.org/schemas/sitemap/0.9 http://www.sitemaps.org/schemas/sitemap/0.9/siteindex.xsd" xmlns= "http://www.sitemaps.org/schemas/sitemap/0.9" > <サイトマップ> <loc> https://www.example.com/sitemap1.xml.gz </loc> <lastmod> 2014-10-01T18:23:17+00:00 </lastmod> </sitemap> </sitemapindex>
要素の定義
要素の定義は以下の通りである。[8]
必須ではない要素のサポートは検索エンジンによって異なります。[8]
その他の形式
テキストファイル
サイトマップ プロトコルでは、サイトマップをテキスト ファイル内の URL の単純なリストにすることができます。XML サイトマップのファイル仕様はテキスト サイトマップにも適用されます。ファイルは UTF-8 でエンコードされている必要があり、50MiB (非圧縮) を超えることはできず、50,000 を超える URL を含めることもできません。これらの制限を超えるサイトマップは、サイトマップ インデックス ファイル (複数のサイトマップを指すファイル) を使用して複数のサイトマップに分割する必要があります。[9]
シンジケーションフィード
シンジケーションフィードは、クローラーに URL を送信するための許可された方法です。これは主に、シンジケーションフィードをすでに持っているサイトに推奨されます。1 つの欠点として、この方法ではクローラーに最近作成された URL のみが提供される可能性があり、通常のクロール中に他の URL が引き続き検出される可能性があることが挙げられます。[8]
完全なサイトマップを補足するために、デルタ更新（最新のコンテンツのみを含む）としてシンジケーション フィードを使用すると便利です。
検索エンジンへの送信
サイトマップが検索エンジンに直接送信された場合 ( ping された場合)、ステータス情報と処理エラーが返されます。送信に関する詳細は、検索エンジンによって異なります。次の行を追加することで、サイトマップの場所をrobots.txtファイルに含めることもできます。
Sitemap: <sitemap_location>
<sitemap_location>次のようなサイトマップの完全な URL である必要があります
。
https://www.example.org/sitemap.xml
このディレクティブは、ユーザー エージェント行とは独立しているため、ファイル内のどこに配置するかは関係ありません。Web サイトに複数のサイトマップがある場合は、複数の「Sitemap:」レコードを に含めることrobots.txtも、URL でメインのサイトマップ インデックス ファイルを指定するだけで済みます。
次の表に、いくつかの主要な検索エンジンのサイトマップ送信 URL を示します。
サイトマップ送信URLを使用して送信されたサイトマップのURLはURLエンコードされる必要があります。たとえば、:(コロン)を に置き換え%3A、/(スラッシュ)を に置き換えます%2F。[8]
検索エンジンのインデックス作成の制限
サイトマップは、検索エンジンが URL を検出するために既に使用している既存のクロールベースのメカニズムを補完するものであり、置き換えるものではありません。このプロトコルを使用しても、Web ページが検索インデックスに含まれることは保証されません。また、検索結果でのページのランク付け方法にも影響しません。具体的な例を以下に示します。
- Google - サイトマップに関するウェブマスター サポート: 「サイトマップを使用しても、サイトマップ内のすべての項目がクロールされ、インデックスに登録されることは保証されません。Google のプロセスは、クロールのスケジュール設定に複雑なアルゴリズムに依存しているためです。ただし、ほとんどの場合、サイトマップがあることでサイトは恩恵を受け、サイトマップがあることでペナルティを受けることはありません。」[10]
- Bing - Bing は標準の sitemaps.org プロトコルを使用しており、以下で説明するものと非常によく似ています。
- Yahoo! - Yahoo! Inc. と Microsoft の間で検索取引が開始された後、Yahoo! Site Explorer は Bing Webmaster Tools と統合されました。
サイトマップの制限
サイトマップファイルには、50,000 個の URL と 1 サイトマップあたり 50 MiB (52,428,800 バイト)の制限があります。サイトマップはgzip を使用して圧縮できるため、帯域幅の消費を抑えることができます。複数のサイトマップファイルがサポートされており、サイトマップインデックスファイルがエントリポイントとして機能します。サイトマップインデックスファイルには 50,000 個を超えるサイトマップをリストすることはできず、サイズは 50MiB 以下で、圧縮できます。サイトマップインデックスファイルは複数作成できます。[8]
すべての XML ファイルと同様に、すべてのデータ値 (URL を含む) では、アンパサンド (&)、一重引用符 (')、二重引用符 (")、小なり (<)、大なり (>) の文字に対してエンティティ エスケープ コードを使用する必要があります。
検索エンジンのクロール可能性のためにサイトマップインデックスを最適化するためのベストプラクティスは、インデックスが他のサイトマップインデックスではなくサイトマップのみを参照するようにすることです。Googleによると、サイトマップインデックス内にサイトマップインデックスをネストすることは無効です。[11]
追加のサイトマップの種類
Googleは、サイトマッププロトコルの範囲外にあるいくつかの追加のXMLサイトマップタイプをサポートしており、ウェブマスターがウェブサイトのコンテンツに関する追加データを提供できるようにしています。ビデオサイトマップと画像サイトマップは、画像検索とビデオ検索でのウェブサイトのランク付け能力を向上させることを目的としています。[12] [13]
動画サイトマップ
動画サイトマップには、埋め込みや自動再生、検索結果に表示する優先サムネイル、公開日、動画の長さ、その他のメタデータに関するデータが表示されます。[13]動画サイトマップは、ウェブサイトに埋め込まれているが、 VimeoやYouTubeなどの外部でホストされている動画を検索エンジンがインデックスできるようにするためにも使用されます。
画像サイトマップ
画像サイトマップは、ライセンス情報、地理的位置、画像のキャプションなどの画像メタデータを示すために使用されます。[12]
Google ニュース サイトマップ
Googleは、時間的制約のあるニュースの迅速なインデックス作成を容易にするために、Googleニュースサイトマップタイプをサポートしています。[14] [15]
多言語・多国籍サイトマップ
2011 年 12 月、Google は、多くの言語、オプションで国をターゲットとするサイト向けのアノテーションを発表しました。数か月後、Google は公式ブログ[16]で、サイトマップでrel="alternate" およびhreflangアノテーションを指定するためのサポートを追加することを発表しました。(それまで唯一のオプションだった) HTML リンク要素の代わりにサイトマップ オプションを使用すると、ページ サイズが小さくなり、一部の Web サイトでの展開が容易になるなど、多くの利点があります。
多言語サイトマップの例は次のようになります。
たとえば、 の英語ユーザーhttps://www.example.com/enと のギリシャ語ユーザーをターゲットにしたサイトがある場合https://www.example.com/gr、それまでは、次のように、HTTPヘッダーまたはHTML要素として両方のURLにhreflangアノテーションを追加するしか選択肢がありませんでした。
<link rel= "alternate" hreflang= "en" href= "https://www.example.com/en" /> <link rel= "alternate" hreflang= "gr" href= "https://www.example.com/gr" />
しかし今では、サイトマップで次の同等のマークアップを使用することもできます。
<URL>
<loc> https://www.example.com/ja </loc>
<xhtml:リンク
rel= "代替"
hreflang= "gr"
href= "https://www.example.com/gr" />
<xhtml:リンク
rel= "代替"
hreflang= "ja"
href= "https://www.example.com/en" />
</url>
<URL>
<loc> https://www.example.com/gr </loc>
<xhtml:リンク
rel= "代替"
hreflang= "gr"
href= "https://www.example.com/gr" />
<xhtml:リンク
rel= "代替"
hreflang= "ja"
href= "https://www.example.com/en" />
</url>
参照
参考文献
- ^ Shivakumar, Shiva (2005-06-02). 「Google ブログ: ウェブマスターに優しい」。2005-06-08 時点のオリジナルよりアーカイブ。2021-12-31閲覧。
- ^ 「主要検索エンジンが団結し、ウェブサイト送信の共通メカニズムをサポート」 。Googleからのニュース。2006年 11 月 16 日。2021年 12 月 31 日閲覧。
- ^ Pathak, Vivek (2007-05-11). 「The Ask.com Blog: Sitemaps Autodiscovery」。Askの公式ブログ。2007-05-18 のオリジナルからアーカイブ。2021-12-31に取得。
- ^ 「公共部門組織向け情報」。2007年4月30日時点のオリジナルよりアーカイブ。
- ^ ML Nelson、JA Smith、del Campo、H. Van de Sompel、X. Liu (2006)。「効率的で自動化された Web リソース収集」( PDF) 。WIDM'06。
- ^ O. Brandman、J. Cho、Hector Garcia-Molina、およびNarayanan Shivakumar (2000)。「クローラーフレンドリーな Web サーバー」。ACM SIGMETRICS パフォーマンス評価レビューの議事録、第 28 巻、第 2 号。doi :10.1145 / 362883.362894。
{{cite conference}}: CS1 maint: 複数の名前: 著者リスト (リンク) - ^ abcd 「サイトマップの詳細 | 検索セントラル」。Google Developers 。2021 年 6 月 1 日閲覧。
- ^ abcdef 「サイトマップ XML 形式」。Sitemaps.org。2016 年 11 月 21 日。2016 年 12 月 1 日閲覧。
- ^ 「サイトマップを作成して送信する - Search Console ヘルプ」。Support.google.com。2020年11 月 30 日閲覧。
- ^ 「Google サイトマップについて」 2016 年 12 月 1 日. 2016 年 12 月 1 日閲覧。
- ^ 「サイトマップ レポート - Search Console ヘルプ」。support.google.com。2020年 4 月 15 日閲覧。
- ^ ab 「画像サイトマップ」。Google Search Console 。 2018年12月28日閲覧。
- ^ ab 「動画サイトマップ」。Google Search Console 。 2018年12月28日閲覧。
- ^ Bigby, Garenne. 「Google ニュース サイトマップを使用すべき理由」Dyno Mapper . 2018 年12 月 28 日閲覧。
- ^ 「Google ニュース サイトマップ」。Google Search Console。2018年12 月 28 日閲覧。
- ^ 「サイトマップの多言語および多国籍サイトの注釈」。Googleウェブマスター セントラル ブログ。Pierre Far。2012 年 5 月 24 日。
外部リンク
- 公式サイト
- Google ニュース グループ
- サイトマップ
- ウェブマスターヘルプ - サイトマップ 2006-12-21 にWayback Machineでアーカイブされました