Googleクロール頻度とは？チェック方法と頻度を上げるリクエスト設定

出典：Googlebot のクロール頻度の変更

原文に合わせつつ、意訳したものが、以下となる。

出典：Googlebot のクロール頻度の変更

少々ややこしく感じたかもしれない。ここまでの話をまとめておこう。

▼ 「クロール頻度」の2つの意味：

詳しく知っておきたいのは、SEOにとって重要な意味がある「クロール巡回頻度」のほうだ。次章では、クロール巡回頻度を確認する方法を解説する。

2. Googleのクロール頻度を確認する方法

SEO対策として適切なGoogleのクロール巡回頻度を確保するファーストステップは、「現状のクロール頻度を確認すること」である。

確認方法は大きく分けて3つある。

それぞれ見ていこう。

2-1. Search Console URL検査ツール

1つめの方法は、特定のURLのみ、さっと確認したいときに適した方法で、Google Search Console（サーチコンソール）の「URL検査ツール」を使う。

※サーチコンソールがわからない方は先に「Google Search Consoleとは？初心者向けにキャプチャ付で解説」を参照してほしい。

サーチコンソール画面上部の入力欄に、調べたいURLを入力すると、URL検査が実行される。

以下が検査結果ページだ。［ページのインデックス登録］をクリックして、詳細を開こう。

以下のとおり、前回のクロール日時が表示される。

2-2. Search Console URL Inspection API

2つめの方法はAPIを使う方法だ。

たくさんのURLを確認したいときは、前述のURL検査ツールでは手間がかかりすぎるので、APIを使って効率化する。

2022年1月に公開された「URL Inspection API」を使えば、複数のURLの検査結果を一括で取得できる。

▼ API利用法のGoogle公式解説

実務現場では URL Inspection API とGoogle スプレッドシートを連携させて、取得データをGoogle スプレッドシートにリスト表示するやり方が、よく使われている。

以下にユーザーによるレクチャー記事をリンクしておく。

▼ ユーザーによるレクチャー記事

この方法の難点は、「そもそもAPIを使ったことがない」という人にとって、ハードルが高いことである。

APIの使い方の学習や、使えるようにするための下準備から始める必要がある。

▼ 下準備の流れ

前述のレクチャー記事の「GASでSearch Console APIを叩いてインデックス状態を確認する」では、上記手順も親切に解説されている。

APIを扱うことやコードを書くことが苦手な方は、次に紹介するWebツールを検討してほしい。

2-3. Google Bulk Inspect URLs

知識がなくてもURL Inspection APIのデータを取得できる無料のWebツールとして、「Google Bulk Inspect URLs」が公開されている（英語版のみ）。

使い方はシンプルで、サーチコンソールのGoogleアカウント認証後、検証したいURLをペーストするだけだ。

説明文の日本語訳は以下のとおりである。

URL調査の手順は、以下の4ステップである。

調査結果は、以下のように表示される。

2-4. 補足：「クロール統計レポート」では巡回頻度はわからない

補足として、サーチコンソールには「クロール統計情報レポート」というレポートが存在する。

このレポートには、Googlebotの巡回という意味でのクロール頻度に関する情報は、含まれない。

▼ クロール統計情報レポートの説明文：

出典：Search Console ヘルプ

クロール統計情報レポートは、サーチコンソールで［設定］→［レポートを開く］とアクセスすると、表示できる。

▼ クロール統計レポートのイメージ

このレポートは、「こういうモノもあるんだな」と知識として知っておき、必要なときにアクセスできるようにしておこう。

ちなみにGoogleは、以下のとおり述べている。

出典：Search Console ヘルプ

3. Googleのクローラーの巡回頻度を上げる方法

クロールしてほしいURLがクロールされていない状況だったら、どんな対処をすべきだろうか。

3つの方法を紹介しよう。

3-1. URL検査ツールでクロールをリクエストする

1つめの方法は「URL検査ツールでクロールをリクエストする」である。

「2-1. Search Console URL検査ツール」にて、URL検査ツールの使い方を紹介したが、検査結果画面から再クロールのリクエストが可能だ。

▼ クロール済みページの場合：

▼ クロールされていないページの場合：

［インデックス登録をリクエスト］をクリックすると、以下の画面に切り替わる。

1〜2分待って、以下の画面が表示されたら、再クロールのリクエストは完了だ。

3-2. XMLサイトマップを送信する

2つめの方法は「XMLサイトマップを送信する」である。

こちらは、多くのURLのクロールリクエストを1度に行いたいときに適した方法だ。

XMLサイトマップとは、検索エンジンのクローラーの読み取り用に、XMLという言語を用いて作成するサイトマップのことである。

▼ XMLサイトマップの例

XMLサイトマップは、WordPressプラグインやサイトマップ生成ツールを利用して作成する。

▼ XMLサイトマップを作成するWordPressプラグインの例

•  All in One SEO
• Yoast SEO
• XML Sitemaps
  

具体的な手順は「XMLサイトマップとは？SEO効果や作成方法を分かりやすく解説」にて解説しているので、参考にしてほしい。

3-3. クロールバジェットを高める

3つめの方法は「クロールバジェットを高める」である。

クロールバジェット（Crawl Budget）とは、直訳すると「クロール予算」という意味で、Googlebotがサイトのクロールに割く時間とリソースの量を表す概念だ。

クロール予算をたくさんかけてもらえるサイトは、クロール巡回頻度が高くなる。

Googleのジョン・ミューラーは、2021年7月16日のハングアウトで、

「クロールバジェットについて、アドバイスをもらえませんか？
改善しようとしているのに、1日あたりのクロールページ数が伸びないのです」

というユーザーからの質問に、2つの原因を挙げている。

原因1：サーバーの応答速度

1つめは「サーバーの応答速度が著しく遅いケース」だ。遅いサーバーを使っていると、ユーザーがアクセスするのに時間がかかるように、Googlebotのクロールにも時間がかかる。

目安としてジョン・ミューラーが挙げているのが「平均応答時間が300〜400ミリ秒くらい」という数字だ。

この数字は「2-4. 補足：「クロール統計レポート」では巡回頻度はわからない」で紹介した「クロール統計レポート」で確認できる。

サーチコンソールで［設定］→［クロールの統計情報］にアクセスしよう。

平均応答時間が著しく遅い（例：1000ミリ秒以上）場合は、この遅さのせいで、Googlebotが十分にクロールできていない可能性がある。

この応答時間はページ速度とは違い、たとえば「重い画像を配置しているから遅くなる」というものではない。

▼ 応答が遅くなる要因の例

参考：Google Developers 

Googleの「サーバーの応答時間を改善する」を参考に、解決を試みてほしい。

原因2：サイトの品質

2つめの原因は「サイトの品質の問題」である。ジョン・ミューラーの言葉を引用しよう。

Googleは、「このサイトは品質がよい」と確信が持てるようになるまでは、そのサイトにクロールバジェットを割くことに慎重になる。

別の言い方をすれば、Googleから品質がよいと信用されたサイトは、Googlebotが頻繁に巡回するようになる。再クロールのリクエストやサイトマップの送信で催促しなくても、だ。

では「サイトの品質を高めるために、何をすればよいか？」は、非常に大きなテーマである。

ここでは詳しく触れないが、「コンテンツとは？良質なコンテンツを作りたい人への重要ヒント」に目を通して、良質なコンテンツづくりに取り組んでいただければと思う。

4. まとめ

本記事では「Googleのクロール頻度」をテーマに解説した。要点を簡単にまとめておこう。

Googleクロール頻度には、2つの意味がある。

Googleのクロール巡回頻度を確認する方法として、以下を紹介した。

Googleのクローラーの巡回頻度を上げる対処法は次のとおりだ。

Googlebotが頻繁に訪れるサイトは、それだけGoogleによって品質が評価されているサイト、といえる。

良質なサイトづくりと適切なリクエスト処理によって、Googlebotを呼び寄せ、更新ページをスピーディに検索結果へ登場させていこう。

SEOをより深く理解したい方へ。バズ部のノウハウを全て詰め込みました。