「Googleのクロール頻度を高めて、早く検索結果に反映されるようにしたい」
サイト運営者なら、そう考えているだろう。
ただ、Googleのクロール頻度について情報収集する際には、注意したいポイントがある。「クロール頻度」という用語には、2つの意味があるのだ。
|
これらはまったく別の意味なのだが、英文を日本語訳するとき、どちらも「クロール頻度」の言葉が当てられ、混乱の原因となっている。
あなたが知りたい「クロール頻度」は、どちらだろうか。本記事では、2つの意味を明確に分けて解説する。
この記事のポイントは以下のとおりだ。
|
基礎知識として用語の意味をインプットしたうえで、“SEO効果を高める、クロール頻度との向き合い方”が身につく構成になっている。
戦略的にクロール頻度を扱い、SEO成果に直結させていこう。
1. Googleクロール頻度とは？基本の知識
最初にGoogle クロール 頻度とは何か、基本の知識から解説する。
1-1. 2つの意味がある
冒頭でも触れたとおり、「Googleのクロール頻度」といったとき、2つの意味がある。
|
まずは、意味が2つあることを明確に認識してほしい。そうしないと、解釈が混在して、誤解や大きな失敗の原因となるからだ。
続けて、それぞれの詳細を説明しよう。
1-2. 1つめの意味「クロール巡回頻度」
1つめの意味は、Googleのクローラーである「Googlebot」が、あなたのサイトにやってくる頻度のことだ。
一般的に「クロール頻度」といえば、こちらの情報を求めていることが多いだろう。
クロールとは？
そもそもの話からすると、クローラーは、プログラムによって自動的に「クロール」を行うボットを指す。
クロールは、検索エンジンが検索結果を生成するために必要な、最初のステップである。
まずは、自サイトにGooglebotがやってきて、サイト内を巡回してくれないことには、Googleの検索結果に表示されない。
よって、適切な頻度でクローラーがサイトにやってくることは、SEO的に重要な意味がある。
Googlebotの訪問頻度はURLによって大きく異なる
「Googlebotがどれくらいの頻度でサイトをクロールするか？」は、アクティブ度（更新の頻繁さなど）やページの重要性など、さまざまな要因によって異なる。
Googleのスポークスパーソンであるジョン・ミューラーは、
「あるURLは毎日クロールし、あるURLは毎週クロールする。
その他のURLは数ヶ月に一度、もしかしたら半年に一度くらいかもしれない」
“Some URLs we will crawl daily. Some URLs maybe weekly. Other URLs every couple of months, maybe even once every half year or so.”
と述べている（出典：English Google Webmaster Central office-hours hangout）。
インターネットは巨大な場所だから、Googlebotがクロールできる量には、限りがある。くわえて、Googleには「クロールのしすぎで、クロール先サイトのサーバーに負担をかけることを避けたい」という視点もある。
Googlebotは、できるだけ効率的に、最小限の労力で必要な情報収集（クロール）を行いたいのだ。
目安は3日〜1ヶ月に1回
ジョン・ミューラーは「毎日かもしれないし、半年に一度かもしれない」というが、平均値が知りたいところだろう。
たとえば、SEO会社のSafari Digitalは〈平均的なクロール頻度は、3日〜4週間に1回〉と述べている。あるいは、SEOツールベンダーのPageOptimizerProの見解では〈Googleは4日〜30日に1回はクロールする〉という。
こういった業界内でよくいわれる情報をまとめると「3日〜1ヶ月に1回はクロールされる」と捉えるのが妥当だ。40日以上が経過しているなら、問題が起きている可能性がある。
自サイトのクロール頻度の確認方法は、後ほど「2. Googleのクロール頻度を確認する方法」にて紹介する。
1-3. 2つめの意味「クロール速度」
ここから話は切り替わって、Googleクロール頻度の、もうひとつの意味についてだ。
Google Search Console（サーチコンソール）の［クロール頻度設定ページ］で「クロール頻度」の設定ができるようになっている。
「この設定を変えれば、自サイトに、Googlebotが頻繁に来てくれるようになるのではないか？」
と勘違いする人がいるのだが、そうではない。
こちらのクロール頻度は、先に解説した「Googlebotがサイトに巡回に来てくれる頻度」とは意味がまったく異なる。
サーチコンソールに出てくる「クロール頻度」の意味は、
「サイトにやってきたGooglebotが、クロール時に行う1秒間あたりのリクエスト数」
のことである。
英語では“crawl rate（クロールレート）”で、「クロール頻度」の訳語が当てられているが、「クロール“速度”」と考えたほうが理解しやすいだろう。
任意で設定できるが基本的にデフォルト設定のままで問題ない
こちらのクロール頻度は、一般的なサイトであれば、特別な設定をする必要はない。デフォルト設定の［サイトに合わせて自動的に最適化する （推奨）］のままにしておこう。
補足すると、Googlebotがクロールを実行するときの、1秒間あたりのリクエスト数が多いほど、クロール先サイトのサーバーに負担をかける。
よって、サイト運営者が任意で設定できるようになっているのだ。
［Googleの最大クロール頻度を制限する］を選択して制限すると、簡単にいえばクロールの実行が制限されるので、クロールできる量が減る（たくさんクロールしてほしいと思っているのなら、逆効果となる）。
注意：日本語訳に問題があり混乱の原因になっている
ここで混乱しやすい注意点があるので、整理しておきたい。
まず、Googleで「Google クロール頻度」と検索したとき、検索結果の上位に表示される「Googlebot のクロール頻度の変更 – Search Console ヘルプ」が解説しているのは、後者の1秒間あたりのリクエスト数の意味である。
さらにそのページ内の日本語訳（以下）には、問題がある。
▼ Googleによるクロール頻度の解説
出典：Googlebot のクロール頻度の変更
クロール頻度をユーザーは変更できるのか変更できないのか、意味不明な文になっている。
原因は、赤下線の「クロール頻度 / クロールする頻度」の訳語で、原文では、これら2つは別の意味なのだ。
▼ 原文
The term crawl rate means how many requests per second Googlebot makes to your site when it is crawling it: for example, 5 requests per second.
You cannot change how often Google crawls your site, but if you want Google to crawl new or updated content on your site, you can request a recrawl.
原文に合わせつつ、意訳したものが、以下となる。
クロールレート（クロール速度）とは、Googlebot がサイトのクロール時に行う 1 秒間あたりのリクエスト数のことであり、たとえば 1 秒間あたり 5 リクエストとなります。
一方、Googlebotがあなたのサイトをクロールするために巡回する間隔や回数は、ユーザー側で変更することはできませんが、サイト上の新しいコンテンツや更新したコンテンツを Google にクロールさせたい場合は、再クロールをリクエストすることができます。
少々ややこしく感じたかもしれない。ここまでの話をまとめておこう。
▼ 「クロール頻度」の2つの意味：
英語 | 意味 | 重要性 |
crawl rate | クロール速度：クロール実行時の1秒間あたりのリクエスト数 | ［低］通常はデフォルト設定のままで問題なし |
how often Google crawls | クロール巡回頻度：サイトにGooglebotが巡回してクロールされる頻度 | ［高］SEOにとって重要な意味がある |
詳しく知っておきたいのは、SEOにとって重要な意味がある「クロール巡回頻度」のほうだ。次章では、クロール巡回頻度を確認する方法を解説する。
2. Googleのクロール頻度を確認する方法
SEO対策として適切なGoogleのクロール巡回頻度を確保するファーストステップは、「現状のクロール頻度を確認すること」である。
確認方法は大きく分けて3つある。
|
それぞれ見ていこう。
2-1. Search Console URL検査ツール
1つめの方法は、特定のURLのみ、さっと確認したいときに適した方法で、Google Search Console（サーチコンソール）の「URL検査ツール」を使う。
※サーチコンソールがわからない方は先に「Google Search Consoleとは？初心者向けにキャプチャ付で解説」を参照してほしい。
サーチコンソール画面上部の入力欄に、調べたいURLを入力すると、URL検査が実行される。
以下が検査結果ページだ。［ページのインデックス登録］をクリックして、詳細を開こう。
以下のとおり、前回のクロール日時が表示される。
2-2. Search Console URL Inspection API
2つめの方法はAPIを使う方法だ。
たくさんのURLを確認したいときは、前述のURL検査ツールでは手間がかかりすぎるので、APIを使って効率化する。
APIとは？
異なるソフトウェア間の通信を仲介する仕組み。たとえば、サーチコンソールのAPIを使うと、サーチコンソールの管理画面にアクセスしなくても、サーチコンソールのデータを抜き出せるようになる。
2022年1月に公開された「URL Inspection API」を使えば、複数のURLの検査結果を一括で取得できる。
▼ API利用法のGoogle公式解説
実務現場では URL Inspection API とGoogle スプレッドシートを連携させて、取得データをGoogle スプレッドシートにリスト表示するやり方が、よく使われている。
以下にユーザーによるレクチャー記事をリンクしておく。
▼ ユーザーによるレクチャー記事
この方法の難点は、「そもそもAPIを使ったことがない」という人にとって、ハードルが高いことである。
APIの使い方の学習や、使えるようにするための下準備から始める必要がある。
▼ 下準備の流れ
|
前述のレクチャー記事の「GASでSearch Console APIを叩いてインデックス状態を確認する」では、上記手順も親切に解説されている。
APIを扱うことやコードを書くことが苦手な方は、次に紹介するWebツールを検討してほしい。
2-3. Google Bulk Inspect URLs
知識がなくてもURL Inspection APIのデータを取得できる無料のWebツールとして、「Google Bulk Inspect URLs」が公開されている（英語版のみ）。
使い方はシンプルで、サーチコンソールのGoogleアカウント認証後、検証したいURLをペーストするだけだ。
説明文の日本語訳は以下のとおりである。
URL調査の手順は、以下の4ステップである。
調査結果は、以下のように表示される。
2-4. 補足：「クロール統計レポート」では巡回頻度はわからない
補足として、サーチコンソールには「クロール統計情報レポート」というレポートが存在する。
このレポートには、Googlebotの巡回という意味でのクロール頻度に関する情報は、含まれない。
▼ クロール統計情報レポートの説明文：
クロールの統計情報レポートには、ウェブサイトの Google のクロール履歴に関する統計情報が表示されます。たとえば、リクエストの数、サーバーからのレスポンスのタイミングや内容、可用性に関する問題の有無などです。このレポートを使用すると、Google がサイトをクロールした際に配信に関する問題が検出されたかどうかを確認できます。
クロール統計情報レポートは、サーチコンソールで［設定］→［レポートを開く］とアクセスすると、表示できる。
▼ クロール統計レポートのイメージ
このレポートは、「こういうモノもあるんだな」と知識として知っておき、必要なときにアクセスできるようにしておこう。
ちなみにGoogleは、以下のとおり述べている。
このレポートは上級ユーザー向けです。サイトのページ数が 1,000 未満の場合、このレポートを使用する必要はありません。また、このレベルのクロールに関する詳細情報についてご心配いただく必要もありません。
3. Googleのクローラーの巡回頻度を上げる方法
クロールしてほしいURLがクロールされていない状況だったら、どんな対処をすべきだろうか。
3つの方法を紹介しよう。
|
3-1. URL検査ツールでクロールをリクエストする
1つめの方法は「URL検査ツールでクロールをリクエストする」である。
「2-1. Search Console URL検査ツール」にて、URL検査ツールの使い方を紹介したが、検査結果画面から再クロールのリクエストが可能だ。
▼ クロール済みページの場合：
▼ クロールされていないページの場合：
［インデックス登録をリクエスト］をクリックすると、以下の画面に切り替わる。
1〜2分待って、以下の画面が表示されたら、再クロールのリクエストは完了だ。
3-2. XMLサイトマップを送信する
2つめの方法は「XMLサイトマップを送信する」である。
こちらは、多くのURLのクロールリクエストを1度に行いたいときに適した方法だ。
XMLサイトマップとは、検索エンジンのクローラーの読み取り用に、XMLという言語を用いて作成するサイトマップのことである。
▼ XMLサイトマップの例
XMLサイトマップは、WordPressプラグインやサイトマップ生成ツールを利用して作成する。
▼ XMLサイトマップを作成するWordPressプラグインの例
具体的な手順は「XMLサイトマップとは？SEO効果や作成方法を分かりやすく解説」にて解説しているので、参考にしてほしい。
3-3. クロールバジェットを高める
3つめの方法は「クロールバジェットを高める」である。
クロールバジェット（Crawl Budget）とは、直訳すると「クロール予算」という意味で、Googlebotがサイトのクロールに割く時間とリソースの量を表す概念だ。
クロール予算をたくさんかけてもらえるサイトは、クロール巡回頻度が高くなる。
Googleのジョン・ミューラーは、2021年7月16日のハングアウトで、
「クロールバジェットについて、アドバイスをもらえませんか？
改善しようとしているのに、1日あたりのクロールページ数が伸びないのです」
というユーザーからの質問に、2つの原因を挙げている。
原因1：サーバーの応答速度
1つめは「サーバーの応答速度が著しく遅いケース」だ。遅いサーバーを使っていると、ユーザーがアクセスするのに時間がかかるように、Googlebotのクロールにも時間がかかる。
目安としてジョン・ミューラーが挙げているのが「平均応答時間が300〜400ミリ秒くらい」という数字だ。
この数字は「2-4. 補足：「クロール統計レポート」では巡回頻度はわからない」で紹介した「クロール統計レポート」で確認できる。
サーチコンソールで［設定］→［クロールの統計情報］にアクセスしよう。
平均応答時間が著しく遅い（例：1000ミリ秒以上）場合は、この遅さのせいで、Googlebotが十分にクロールできていない可能性がある。
この応答時間はページ速度とは違い、たとえば「重い画像を配置しているから遅くなる」というものではない。
▼ 応答が遅くなる要因の例
- 速度の遅いアプリケーション ロジック
- 遅いデータベース クエリ
- 遅いルーティング、フレームワーク、ライブラリ
- リソースによる CPU の消費
- メモリ不足 など
Googleの「サーバーの応答時間を改善する」を参考に、解決を試みてほしい。
原因2：サイトの品質
2つめの原因は「サイトの品質の問題」である。ジョン・ミューラーの言葉を引用しよう。
Googleがたくさんクロールしないのはなぜか、もうひとつの大きな理由は、そのWebサイトの全体的な品質に、納得していないからだ。
とくに、新しいサイトでは、この点で苦労することがある。
The other big reason why we don’t crawl a lot from websites is because we’re not convinced
about the quality overall.
So that’s something where, especially with newer sites, I see us sometimes struggle with that.
Googleは、「このサイトは品質がよい」と確信が持てるようになるまでは、そのサイトにクロールバジェットを割くことに慎重になる。
別の言い方をすれば、Googleから品質がよいと信用されたサイトは、Googlebotが頻繁に巡回するようになる。再クロールのリクエストやサイトマップの送信で催促しなくても、だ。
では「サイトの品質を高めるために、何をすればよいか？」は、非常に大きなテーマである。
ここでは詳しく触れないが、「コンテンツとは？良質なコンテンツを作りたい人への重要ヒント」に目を通して、良質なコンテンツづくりに取り組んでいただければと思う。
4. まとめ
本記事では「Googleのクロール頻度」をテーマに解説した。要点を簡単にまとめておこう。
Googleクロール頻度には、2つの意味がある。
|
Googleのクロール巡回頻度を確認する方法として、以下を紹介した。
|
Googleのクローラーの巡回頻度を上げる対処法は次のとおりだ。
|
Googlebotが頻繁に訪れるサイトは、それだけGoogleによって品質が評価されているサイト、といえる。
良質なサイトづくりと適切なリクエスト処理によって、Googlebotを呼び寄せ、更新ページをスピーディに検索結果へ登場させていこう。
