Googleクロール頻度とは？チェック方法と頻度を上げるリクエスト設定

「Googleのクロール頻度を高めて、早く検索結果に反映されるようにしたい」

サイト運営者なら、そう考えているだろう。

ただ、Googleのクロール頻度について情報収集する際には、注意したいポイントがある。「クロール頻度」という用語には、2つの意味があるのだ。

サイトへ巡回してクロールする頻度（how often） クロール実行時の速度（crawl rate）

これらはまったく別の意味なのだが、英文を日本語訳するとき、どちらも「クロール頻度」の言葉が当てられ、混乱の原因となっている。

あなたが知りたい「クロール頻度」は、どちらだろうか。本記事では、2つの意味を明確に分けて解説する。

この記事のポイントは以下のとおりだ。

「クロール頻度」とは何か（2つの意味を明確に解説） クロール巡回頻度の確認方法（API、ツール） クローラーが頻繁にやってくるサイトづくりのコツ

基礎知識として用語の意味をインプットしたうえで、“SEO効果を高める、クロール頻度との向き合い方”が身につく構成になっている。

戦略的にクロール頻度を扱い、SEO成果に直結させていこう。

また、私たちバズ部は12年で400社以上のメディア支援を行い、

• 立ち上げから10ヶ月で14.6億円の売上を産んだ不動産メディア
• 8ヶ月で月間140万PVを実現したアプリメディア

など大きな成果を挙げ続けている。

各サイトの成功要因をインタビューしているので、
あなたのサイトに役立てて欲しい⇒25サイトの成功事例インタビューはこちら

1. Googleクロール頻度とは？基本の知識

最初にGoogle クロール 頻度とは何か、基本の知識から解説する。

1-1. 2つの意味がある

冒頭でも触れたとおり、「Googleのクロール頻度」といったとき、2つの意味がある。

一般的な意味 Googlebotが、サイトに巡回してきて、クロールを実行する頻度＝クロール巡回頻度 Google Search Consoleで使われる意味 Googlebotが、クロール実行時にリクエストを送信する1秒あたりの回数＝クロール速度

まずは、意味が2つあることを明確に認識してほしい。そうしないと、解釈が混在して、誤解や大きな失敗の原因となるからだ。

続けて、それぞれの詳細を説明しよう。

1-2. 1つめの意味「クロール巡回頻度」

1つめの意味は、Googleのクローラーである「Googlebot」が、あなたのサイトにやってくる頻度のことだ。

一般的に「クロール頻度」といえば、こちらの情報を求めていることが多いだろう。

クロールとは？

そもそもの話からすると、クローラーは、プログラムによって自動的に「クロール」を行うボットを指す。

クロールは、検索エンジンが検索結果を生成するために必要な、最初のステップである。

まずは、自サイトにGooglebotがやってきて、サイト内を巡回してくれないことには、Googleの検索結果に表示されない。

よって、適切な頻度でクローラーがサイトにやってくることは、SEO的に重要な意味がある。

Googlebotの訪問頻度はURLによって大きく異なる

「Googlebotがどれくらいの頻度でサイトをクロールするか？」は、アクティブ度（更新の頻繁さなど）やページの重要性など、さまざまな要因によって異なる。

Googleのスポークスパーソンであるジョン・ミューラーは、

と述べている（出典：English Google Webmaster Central office-hours hangout）。

インターネットは巨大な場所だから、Googlebotがクロールできる量には、限りがある。くわえて、Googleには「クロールのしすぎで、クロール先サイトのサーバーに負担をかけることを避けたい」という視点もある。

Googlebotは、できるだけ効率的に、最小限の労力で必要な情報収集（クロール）を行いたいのだ。

目安は3日〜1ヶ月に1回

ジョン・ミューラーは「毎日かもしれないし、半年に一度かもしれない」というが、平均値が知りたいところだろう。

たとえば、SEO会社のSafari Digitalは〈平均的なクロール頻度は、3日〜4週間に1回〉と述べている。あるいは、SEOツールベンダーのPageOptimizerProの見解では〈Googleは4日〜30日に1回はクロールする〉という。

こういった業界内でよくいわれる情報をまとめると「3日〜1ヶ月に1回はクロールされる」と捉えるのが妥当だ。40日以上が経過しているなら、問題が起きている可能性がある。

自サイトのクロール頻度の確認方法は、後ほど「2. Googleのクロール頻度を確認する方法」にて紹介する。

1-3. 2つめの意味「クロール速度」

ここから話は切り替わって、Googleクロール頻度の、もうひとつの意味についてだ。

Google Search Console（サーチコンソール）の［クロール頻度設定ページ］で「クロール頻度」の設定ができるようになっている。

「この設定を変えれば、自サイトに、Googlebotが頻繁に来てくれるようになるのではないか？」

と勘違いする人がいるのだが、そうではない。

こちらのクロール頻度は、先に解説した「Googlebotがサイトに巡回に来てくれる頻度」とは意味がまったく異なる。

サーチコンソールに出てくる「クロール頻度」の意味は、

「サイトにやってきたGooglebotが、クロール時に行う1秒間あたりのリクエスト数」

のことである。

英語では“crawl rate（クロールレート）”で、「クロール頻度」の訳語が当てられているが、「クロール“速度”」と考えたほうが理解しやすいだろう。

任意で設定できるが基本的にデフォルト設定のままで問題ない

こちらのクロール頻度は、一般的なサイトであれば、特別な設定をする必要はない。デフォルト設定の［サイトに合わせて自動的に最適化する （推奨）］のままにしておこう。

補足すると、Googlebotがクロールを実行するときの、1秒間あたりのリクエスト数が多いほど、クロール先サイトのサーバーに負担をかける。

よって、サイト運営者が任意で設定できるようになっているのだ。

［Googleの最大クロール頻度を制限する］を選択して制限すると、簡単にいえばクロールの実行が制限されるので、クロールできる量が減る（たくさんクロールしてほしいと思っているのなら、逆効果となる）。

注意：日本語訳に問題があり混乱の原因になっている

ここで混乱しやすい注意点があるので、整理しておきたい。

まず、Googleで「Google クロール頻度」と検索したとき、検索結果の上位に表示される「Googlebot のクロール頻度の変更 – Search Console ヘルプ」が解説しているのは、後者の1秒間あたりのリクエスト数の意味である。

さらにそのページ内の日本語訳（以下）には、問題がある。

▼ Googleによるクロール頻度の解説出典：Googlebot のクロール頻度の変更

クロール頻度をユーザーは変更できるのか変更できないのか、意味不明な文になっている。

原因は、赤下線の「クロール頻度 / クロールする頻度」の訳語で、原文では、これら2つは別の意味なのだ。

▼ 原文

出典：Googlebot のクロール頻度の変更

原文に合わせつつ、意訳したものが、以下となる。

出典：Googlebot のクロール頻度の変更

少々ややこしく感じたかもしれない。ここまでの話をまとめておこう。

▼ 「クロール頻度」の2つの意味：

英語	意味	重要性
crawl rate	クロール速度：クロール実行時の1秒間あたりのリクエスト数	［低］通常はデフォルト設定のままで問題なし
how often Google crawls	クロール巡回頻度：サイトにGooglebotが巡回してクロールされる頻度	［高］SEOにとって重要な意味がある

詳しく知っておきたいのは、SEOにとって重要な意味がある「クロール巡回頻度」のほうだ。次章では、クロール巡回頻度を確認する方法を解説する。

成功したオウンドメディアの要因を学ぶ

• 

  累計106億円の売上を叩き出した不動産会社のコンテンツマーケティング事例

  1

• 

  わずか8ヶ月で月間140万PVを実現したアプリ企業メディア成功事例

  2

• 

  問い合わせが月4,400件以上！自社メディアで驚異的なCV数を生み出した弁護士事務所

  3

2. Googleのクロール頻度を確認する方法

SEO対策として適切なGoogleのクロール巡回頻度を確保するファーストステップは、「現状のクロール頻度を確認すること」である。

確認方法は大きく分けて3つある。

Search Console URL検査ツール Search Console URL Inspection API Google Bulk Inspect URLs

それぞれ見ていこう。

2-1. Search Console URL検査ツール

1つめの方法は、特定のURLのみ、さっと確認したいときに適した方法で、Google Search Console（サーチコンソール）の「URL検査ツール」を使う。

※サーチコンソールがわからない方は先に「Google Search Consoleとは？初心者向けにキャプチャ付で解説」を参照してほしい。

サーチコンソール画面上部の入力欄に、調べたいURLを入力すると、URL検査が実行される。

以下が検査結果ページだ。［ページのインデックス登録］をクリックして、詳細を開こう。

以下のとおり、前回のクロール日時が表示される。

2-2. Search Console URL Inspection API

2つめの方法はAPIを使う方法だ。

たくさんのURLを確認したいときは、前述のURL検査ツールでは手間がかかりすぎるので、APIを使って効率化する。

2022年1月に公開された「URL Inspection API」を使えば、複数のURLの検査結果を一括で取得できる。

▼ API利用法のGoogle公式解説

Search Console の新たな API、URL Inspection API のご紹介

実務現場では URL Inspection API とGoogle スプレッドシートを連携させて、取得データをGoogle スプレッドシートにリスト表示するやり方が、よく使われている。

以下にユーザーによるレクチャー記事をリンクしておく。

▼ ユーザーによるレクチャー記事

GASでSearch Console APIを叩いてインデックス状態を確認する | ろいログ ブログ記事のGoogle検索インデックス登録状況を一覧で確認する方法（Search Console URL Inspection API） – Naifix  Search Analytics for Sheetsの使い方とサーチコンソールでのデータ取得方法を解説！スプレッドシートでアドオンを使いこなそう！ ヒトノート -Hito note-

この方法の難点は、「そもそもAPIを使ったことがない」という人にとって、ハードルが高いことである。

APIの使い方の学習や、使えるようにするための下準備から始める必要がある。

▼ 下準備の流れ

Google Developer Console で新規プロジェクトを作成する 使いたいAPIを有効化する OAuthの認証画面を作成する

前述のレクチャー記事の「GASでSearch Console APIを叩いてインデックス状態を確認する」では、上記手順も親切に解説されている。

APIを扱うことやコードを書くことが苦手な方は、次に紹介するWebツールを検討してほしい。

2-3. Google Bulk Inspect URLs

知識がなくてもURL Inspection APIのデータを取得できる無料のWebツールとして、「Google Bulk Inspect URLs」が公開されている（英語版のみ）。

使い方はシンプルで、サーチコンソールのGoogleアカウント認証後、検証したいURLをペーストするだけだ。

説明文の日本語訳は以下のとおりである。

URL調査の手順は、以下の4ステップである。

調査結果は、以下のように表示される。

2-4. 補足：「クロール統計レポート」では巡回頻度はわからない

補足として、サーチコンソールには「クロール統計情報レポート」というレポートが存在する。

このレポートには、Googlebotの巡回という意味でのクロール頻度に関する情報は、含まれない。

▼ クロール統計情報レポートの説明文：

出典：Search Console ヘルプ

クロール統計情報レポートは、サーチコンソールで［設定］→［レポートを開く］とアクセスすると、表示できる。

▼ クロール統計レポートのイメージ

このレポートは、「こういうモノもあるんだな」と知識として知っておき、必要なときにアクセスできるようにしておこう。

ちなみにGoogleは、以下のとおり述べている。

出典：Search Console ヘルプ

3. Googleのクローラーの巡回頻度を上げる方法

クロールしてほしいURLがクロールされていない状況だったら、どんな対処をすべきだろうか。

3つの方法を紹介しよう。

URL検査ツールでクロールをリクエストする XMLサイトマップを送信する クロールバジェットを高める

3-1. URL検査ツールでクロールをリクエストする

1つめの方法は「URL検査ツールでクロールをリクエストする」である。

「2-1. Search Console URL検査ツール」にて、URL検査ツールの使い方を紹介したが、検査結果画面から再クロールのリクエストが可能だ。

▼ クロール済みページの場合：

▼ クロールされていないページの場合：

［インデックス登録をリクエスト］をクリックすると、以下の画面に切り替わる。

1〜2分待って、以下の画面が表示されたら、再クロールのリクエストは完了だ。

3-2. XMLサイトマップを送信する

2つめの方法は「XMLサイトマップを送信する」である。

こちらは、多くのURLのクロールリクエストを1度に行いたいときに適した方法だ。

XMLサイトマップとは、検索エンジンのクローラーの読み取り用に、XMLという言語を用いて作成するサイトマップのことである。

▼ XMLサイトマップの例

XMLサイトマップは、WordPressプラグインやサイトマップ生成ツールを利用して作成する。

▼ XMLサイトマップを作成するWordPressプラグインの例

•  All in One SEO
• Yoast SEO
• XML Sitemaps
  

具体的な手順は「XMLサイトマップとは？SEO効果や作成方法を分かりやすく解説」にて解説しているので、参考にしてほしい。

3-3. クロールバジェットを高める

3つめの方法は「クロールバジェットを高める」である。

クロールバジェット（Crawl Budget）とは、直訳すると「クロール予算」という意味で、Googlebotがサイトのクロールに割く時間とリソースの量を表す概念だ。

クロール予算をたくさんかけてもらえるサイトは、クロール巡回頻度が高くなる。

Googleのジョン・ミューラーは、2021年7月16日のハングアウトで、

「クロールバジェットについて、アドバイスをもらえませんか？
改善しようとしているのに、1日あたりのクロールページ数が伸びないのです」

というユーザーからの質問に、2つの原因を挙げている。

原因1：サーバーの応答速度

1つめは「サーバーの応答速度が著しく遅いケース」だ。遅いサーバーを使っていると、ユーザーがアクセスするのに時間がかかるように、Googlebotのクロールにも時間がかかる。

目安としてジョン・ミューラーが挙げているのが「平均応答時間が300〜400ミリ秒くらい」という数字だ。

この数字は「2-4. 補足：「クロール統計レポート」では巡回頻度はわからない」で紹介した「クロール統計レポート」で確認できる。

サーチコンソールで［設定］→［クロールの統計情報］にアクセスしよう。

平均応答時間が著しく遅い（例：1000ミリ秒以上）場合は、この遅さのせいで、Googlebotが十分にクロールできていない可能性がある。

この応答時間はページ速度とは違い、たとえば「重い画像を配置しているから遅くなる」というものではない。

▼ 応答が遅くなる要因の例

参考：Google Developers 

Googleの「サーバーの応答時間を改善する」を参考に、解決を試みてほしい。

原因2：サイトの品質

2つめの原因は「サイトの品質の問題」である。ジョン・ミューラーの言葉を引用しよう。

Googleは、「このサイトは品質がよい」と確信が持てるようになるまでは、そのサイトにクロールバジェットを割くことに慎重になる。

別の言い方をすれば、Googleから品質がよいと信用されたサイトは、Googlebotが頻繁に巡回するようになる。再クロールのリクエストやサイトマップの送信で催促しなくても、だ。

では「サイトの品質を高めるために、何をすればよいか？」は、非常に大きなテーマである。

ここでは詳しく触れないが、「コンテンツとは？良質なコンテンツを作りたい人への重要ヒント」に目を通して、良質なコンテンツづくりに取り組んでいただければと思う。

4. まとめ

本記事では「Googleのクロール頻度」をテーマに解説した。要点を簡単にまとめておこう。

Googleクロール頻度には、2つの意味がある。

1つめの意味「クロール巡回頻度」 Googlebotの訪問頻度はURLによって大きく異なる。目安は3日〜1ヶ月に1回 2つめの意味「クロール速度」 サーチコンソールから任意で設定できるが、基本デフォルト設定のままで問題ない

Googleのクロール巡回頻度を確認する方法として、以下を紹介した。

Search Console URL検査ツール Search Console URL Inspection API Google Bulk Inspect URLs

Googleのクローラーの巡回頻度を上げる対処法は次のとおりだ。

URL検査ツールでクロールをリクエストする XMLサイトマップを送信する クロールバジェットを高める

Googlebotが頻繁に訪れるサイトは、それだけGoogleによって品質が評価されているサイト、といえる。

良質なサイトづくりと適切なリクエスト処理によって、Googlebotを呼び寄せ、更新ページをスピーディに検索結果へ登場させていこう。