ユーザーに届ける価値を徹底的に追求する
マーケティングを提供します

© Copyright 2022 バズ部. All rights reserved.

×
閉じる

    皆様からのご意見をお聞かせください

    このページに対する意見

    このページの気になる部分について
    ご意見をお聞かせください

    バズ部に対する意見

    バズ部の気になる部分について
    ご意見をお聞かせください

    このページに対する意見をお寄せください

    Q. このページについて感想やご意見があれば教えてください。
    Q. 今後増やして欲しい内容の記事があれば教えて下さい。
    Q. ご意見を頂けた方には今後特別なオファーの提供を予定しています。
    ぜひご連絡先をお知らせください。
    ※ご入力頂いた個人情報や意見が公表されることは一切ありません。安心してご記入ください。

    お名前

    メールアドレス

    プライバシーポリシー

    バズ部に対する意見をお寄せください

    Q. 私たちバズ部について感想やご意見があれば教えてください。
    Q. ご意見を頂けた方には今後特別なオファーの提供を予定しています。
    ぜひご連絡先をお知らせください。
    ※ご入力頂いた個人情報や意見が公表されることは一切ありません。安心してご記入ください。

    お名前

    メールアドレス

    プライバシーポリシー

    ご協力ありがとうございました!

    皆様からいただきましたご意見につきましては、
    今後のより良い商品開発・サービス改善に
    活かしていきたいと考えております。

    今後もお気付きの点がございましたら、お聞かせいただけますと幸いです。

    ×ウィンドウを閉じる

    Googleクロール頻度とは?チェック方法と頻度を上げるリクエスト設定

    「Googleのクロール頻度を高めて、早く検索結果に反映されるようにしたい」

    サイト運営者なら、そう考えているだろう。

    ただ、Googleのクロール頻度について情報収集する際には、注意したいポイントがある。「クロール頻度」という用語には、2つの意味があるのだ。

    1. サイトへ巡回してクロールする頻度(how often)
    2. クロール実行時の速度(crawl rate)

      これらはまったく別の意味なのだが、英文を日本語訳するとき、どちらも「クロール頻度」の言葉が当てられ、混乱の原因となっている。

      あなたが知りたい「クロール頻度」は、どちらだろうか。本記事では、2つの意味を明確に分けて解説する。

      この記事のポイントは以下のとおりだ。

      • 「クロール頻度」とは何か(2つの意味を明確に解説)
      • クロール巡回頻度の確認方法(API、ツール)
      • クローラーが頻繁にやってくるサイトづくりのコツ

        基礎知識として用語の意味をインプットしたうえで、“SEO効果を高める、クロール頻度との向き合い方”が身につく構成になっている。

        戦略的にクロール頻度を扱い、SEO成果に直結させていこう。


        1. Googleクロール頻度とは?基本の知識

        最初にGoogle クロール 頻度とは何か、基本の知識から解説する。

        1-1. 2つの意味がある

        冒頭でも触れたとおり、「Googleのクロール頻度」といったとき、2つの意味がある。

        1. 一般的な意味
          Googlebotが、サイトに巡回してきて、クロールを実行する頻度=クロール巡回頻度

        2. Google Search Consoleで使われる意味
          Googlebotが、クロール実行時にリクエストを送信する1秒あたりの回数=クロール速度

          まずは、意味が2つあることを明確に認識してほしい。そうしないと、解釈が混在して、誤解や大きな失敗の原因となるからだ。

          続けて、それぞれの詳細を説明しよう。

          1-2. 1つめの意味「クロール巡回頻度」

          1つめの意味は、Googleのクローラーである「Googlebot」が、あなたのサイトにやってくる頻度のことだ。

          一般的に「クロール頻度」といえば、こちらの情報を求めていることが多いだろう。

          クロールとは?

          そもそもの話からすると、クローラーは、プログラムによって自動的に「クロール」を行うボットを指す。

          クロールは、検索エンジンが検索結果を生成するために必要な、最初のステップである。

          まずは、自サイトにGooglebotがやってきて、サイト内を巡回してくれないことには、Googleの検索結果に表示されない。

          よって、適切な頻度でクローラーがサイトにやってくることは、SEO的に重要な意味がある。

          Googlebotの訪問頻度はURLによって大きく異なる

          「Googlebotがどれくらいの頻度でサイトをクロールするか?」は、アクティブ度(更新の頻繁さなど)やページの重要性など、さまざまな要因によって異なる。

          Googleのスポークスパーソンであるジョン・ミューラーは、

          「あるURLは毎日クロールし、あるURLは毎週クロールする。
          その他のURLは数ヶ月に一度、もしかしたら半年に一度くらいかもしれない」
          “Some URLs we will crawl daily. Some URLs maybe weekly. Other URLs every couple of months, maybe even once every half year or so.”

          と述べている(出典:English Google Webmaster Central office-hours hangout)。

          インターネットは巨大な場所だから、Googlebotがクロールできる量には、限りがある。くわえて、Googleには「クロールのしすぎで、クロール先サイトのサーバーに負担をかけることを避けたい」という視点もある。

          Googlebotは、できるだけ効率的に、最小限の労力で必要な情報収集(クロール)を行いたいのだ。

          目安は3日〜1ヶ月に1回

          ジョン・ミューラーは「毎日かもしれないし、半年に一度かもしれない」というが、平均値が知りたいところだろう。

          たとえば、SEO会社のSafari Digital〈平均的なクロール頻度は、3日〜4週間に1回〉と述べている。あるいは、SEOツールベンダーのPageOptimizerProの見解では〈Googleは4日〜30日に1回はクロールする〉という。

          こういった業界内でよくいわれる情報をまとめると「3日〜1ヶ月に1回はクロールされる」と捉えるのが妥当だ。40日以上が経過しているなら、問題が起きている可能性がある。

          自サイトのクロール頻度の確認方法は、後ほど「2. Googleのクロール頻度を確認する方法」にて紹介する。

          1-3. 2つめの意味「クロール速度」

          ここから話は切り替わって、Googleクロール頻度の、もうひとつの意味についてだ。

          Google Search Console(サーチコンソール)の[クロール頻度設定ページ]で「クロール頻度」の設定ができるようになっている。

          「この設定を変えれば、自サイトに、Googlebotが頻繁に来てくれるようになるのではないか?」

          と勘違いする人がいるのだが、そうではない。

          こちらのクロール頻度は、先に解説した「Googlebotがサイトに巡回に来てくれる頻度」とは意味がまったく異なる。

          サーチコンソールに出てくる「クロール頻度」の意味は、

          「サイトにやってきたGooglebotが、クロール時に行う1秒間あたりのリクエスト数」

          のことである。

          英語では“crawl rate(クロールレート)”で、「クロール頻度」の訳語が当てられているが、「クロール“速度”」と考えたほうが理解しやすいだろう。

          任意で設定できるが基本的にデフォルト設定のままで問題ない

          こちらのクロール頻度は、一般的なサイトであれば、特別な設定をする必要はない。デフォルト設定の[サイトに合わせて自動的に最適化する (推奨)]のままにしておこう。

          補足すると、Googlebotがクロールを実行するときの、1秒間あたりのリクエスト数が多いほど、クロール先サイトのサーバーに負担をかける。

          よって、サイト運営者が任意で設定できるようになっているのだ。

          [Googleの最大クロール頻度を制限する]を選択して制限すると、簡単にいえばクロールの実行が制限されるので、クロールできる量が減る(たくさんクロールしてほしいと思っているのなら、逆効果となる)。

          注意:日本語訳に問題があり混乱の原因になっている

          ここで混乱しやすい注意点があるので、整理しておきたい。

          まず、Googleで「Google クロール頻度」と検索したとき、検索結果の上位に表示される「Googlebot のクロール頻度の変更 – Search Console ヘルプ」が解説しているのは、後者の1秒間あたりのリクエスト数の意味である。

          さらにそのページ内の日本語訳(以下)には、問題がある。

          ▼ Googleによるクロール頻度の解説出典:Googlebot のクロール頻度の変更

          クロール頻度をユーザーは変更できるのか変更できないのか、意味不明な文になっている。

          原因は、赤下線の「クロール頻度 / クロールする頻度」の訳語で、原文では、これら2つは別の意味なのだ。

          ▼ 原文

          The term crawl rate means how many requests per second Googlebot makes to your site when it is crawling it: for example, 5 requests per second.

          You cannot change how often Google crawls your site, but if you want Google to crawl new or updated content on your site, you can request a recrawl.

          出典:Googlebot のクロール頻度の変更

          原文に合わせつつ、意訳したものが、以下となる。

          クロールレート(クロール速度)とは、Googlebot がサイトのクロール時に行う 1 秒間あたりのリクエスト数のことであり、たとえば 1 秒間あたり 5 リクエストとなります。

          一方、Googlebotがあなたのサイトをクロールするために巡回する間隔や回数は、ユーザー側で変更することはできませんが、サイト上の新しいコンテンツや更新したコンテンツを Google にクロールさせたい場合は、再クロールをリクエストすることができます。

          出典:Googlebot のクロール頻度の変更

          少々ややこしく感じたかもしれない。ここまでの話をまとめておこう。

          ▼ 「クロール頻度」の2つの意味:

          英語

          意味

          重要性

          crawl rate

          クロール速度:クロール実行時の1秒間あたりのリクエスト数

          [低]通常はデフォルト設定のままで問題なし

          how often Google crawls

          クロール巡回頻度:サイトにGooglebotが巡回してクロールされる頻度

          [高]SEOにとって重要な意味がある

          詳しく知っておきたいのは、SEOにとって重要な意味がある「クロール巡回頻度」のほうだ。次章では、クロール巡回頻度を確認する方法を解説する。


          2. Googleのクロール頻度を確認する方法

          SEO対策として適切なGoogleのクロール巡回頻度を確保するファーストステップは、「現状のクロール頻度を確認すること」である。

          確認方法は大きく分けて3つある。

          • Search Console URL検査ツール
          • Search Console URL Inspection API
          • Google Bulk Inspect URLs

            それぞれ見ていこう。

            2-1. Search Console URL検査ツール

            1つめの方法は、特定のURLのみ、さっと確認したいときに適した方法で、Google Search Console(サーチコンソール)の「URL検査ツール」を使う。

            ※サーチコンソールがわからない方は先に「Google Search Consoleとは?初心者向けにキャプチャ付で解説」を参照してほしい。

            サーチコンソール画面上部の入力欄に、調べたいURLを入力すると、URL検査が実行される。

            以下が検査結果ページだ。[ページのインデックス登録]をクリックして、詳細を開こう。

            以下のとおり、前回のクロール日時が表示される。

            2-2. Search Console URL Inspection API

            2つめの方法はAPIを使う方法だ。

            たくさんのURLを確認したいときは、前述のURL検査ツールでは手間がかかりすぎるので、APIを使って効率化する。

            APIとは?
            異なるソフトウェア間の通信を仲介する仕組み。たとえば、サーチコンソールのAPIを使うと、サーチコンソールの管理画面にアクセスしなくても、サーチコンソールのデータを抜き出せるようになる。

            2022年1月に公開された「URL Inspection API」を使えば、複数のURLの検査結果を一括で取得できる。

            ▼ API利用法のGoogle公式解説

              実務現場では URL Inspection API とGoogle スプレッドシートを連携させて、取得データをGoogle スプレッドシートにリスト表示するやり方が、よく使われている。

              以下にユーザーによるレクチャー記事をリンクしておく。

              ▼ ユーザーによるレクチャー記事

                この方法の難点は、「そもそもAPIを使ったことがない」という人にとって、ハードルが高いことである。

                APIの使い方の学習や、使えるようにするための下準備から始める必要がある。

                ▼ 下準備の流れ

                • Google Developer Console で新規プロジェクトを作成する
                • 使いたいAPIを有効化する
                • OAuthの認証画面を作成する

                前述のレクチャー記事の「GASでSearch Console APIを叩いてインデックス状態を確認する」では、上記手順も親切に解説されている。

                APIを扱うことやコードを書くことが苦手な方は、次に紹介するWebツールを検討してほしい。

                2-3. Google Bulk Inspect URLs

                知識がなくてもURL Inspection APIのデータを取得できる無料のWebツールとして、「Google Bulk Inspect URLs」が公開されている(英語版のみ)。

                使い方はシンプルで、サーチコンソールのGoogleアカウント認証後、検証したいURLをペーストするだけだ。

                説明文の日本語訳は以下のとおりである。

                URL調査の手順は、以下の4ステップである。

                調査結果は、以下のように表示される。

                2-4. 補足:「クロール統計レポート」では巡回頻度はわからない

                補足として、サーチコンソールには「クロール統計情報レポート」というレポートが存在する。

                このレポートには、Googlebotの巡回という意味でのクロール頻度に関する情報は、含まれない。

                ▼ クロール統計情報レポートの説明文:

                クロールの統計情報レポートには、ウェブサイトの Google のクロール履歴に関する統計情報が表示されます。たとえば、リクエストの数、サーバーからのレスポンスのタイミングや内容、可用性に関する問題の有無などです。このレポートを使用すると、Google がサイトをクロールした際に配信に関する問題が検出されたかどうかを確認できます。

                出典:Search Console ヘルプ

                クロール統計情報レポートは、サーチコンソールで[設定]→[レポートを開く]とアクセスすると、表示できる。

                ▼ クロール統計レポートのイメージ

                このレポートは、「こういうモノもあるんだな」と知識として知っておき、必要なときにアクセスできるようにしておこう。

                ちなみにGoogleは、以下のとおり述べている。

                このレポートは上級ユーザー向けです。サイトのページ数が 1,000 未満の場合、このレポートを使用する必要はありません。また、このレベルのクロールに関する詳細情報についてご心配いただく必要もありません。

                出典:Search Console ヘルプ


                3. Googleのクローラーの巡回頻度を上げる方法

                クロールしてほしいURLがクロールされていない状況だったら、どんな対処をすべきだろうか。

                3つの方法を紹介しよう。

                • URL検査ツールでクロールをリクエストする
                • XMLサイトマップを送信する
                • クロールバジェットを高める

                  3-1. URL検査ツールでクロールをリクエストする

                  1つめの方法は「URL検査ツールでクロールをリクエストする」である。

                  2-1. Search Console URL検査ツール」にて、URL検査ツールの使い方を紹介したが、検査結果画面から再クロールのリクエストが可能だ。

                  ▼ クロール済みページの場合:

                  ▼ クロールされていないページの場合:

                  [インデックス登録をリクエスト]をクリックすると、以下の画面に切り替わる。

                  1〜2分待って、以下の画面が表示されたら、再クロールのリクエストは完了だ。

                  3-2. XMLサイトマップを送信する

                  2つめの方法は「XMLサイトマップを送信する」である。

                  こちらは、多くのURLのクロールリクエストを1度に行いたいときに適した方法だ。

                  XMLサイトマップとは、検索エンジンのクローラーの読み取り用に、XMLという言語を用いて作成するサイトマップのことである。

                  ▼ XMLサイトマップの例

                  XMLサイトマップは、WordPressプラグインやサイトマップ生成ツールを利用して作成する。

                  ▼ XMLサイトマップを作成するWordPressプラグインの例

                  具体的な手順は「XMLサイトマップとは?SEO効果や作成方法を分かりやすく解説」にて解説しているので、参考にしてほしい。

                  3-3. クロールバジェットを高める

                  3つめの方法は「クロールバジェットを高める」である。

                  クロールバジェット(Crawl Budget)とは、直訳すると「クロール予算」という意味で、Googlebotがサイトのクロールに割く時間とリソースの量を表す概念だ。

                  クロール予算をたくさんかけてもらえるサイトは、クロール巡回頻度が高くなる。

                  Googleのジョン・ミューラーは、2021年7月16日のハングアウトで、

                  「クロールバジェットについて、アドバイスをもらえませんか?
                  改善しようとしているのに、1日あたりのクロールページ数が伸びないのです」

                  というユーザーからの質問に、2つの原因を挙げている。

                  原因1:サーバーの応答速度

                  1つめは「サーバーの応答速度が著しく遅いケース」だ。遅いサーバーを使っていると、ユーザーがアクセスするのに時間がかかるように、Googlebotのクロールにも時間がかかる。

                  目安としてジョン・ミューラーが挙げているのが「平均応答時間が300〜400ミリ秒くらい」という数字だ。

                  この数字は「2-4. 補足:「クロール統計レポート」では巡回頻度はわからない」で紹介した「クロール統計レポート」で確認できる。

                  サーチコンソールで[設定]→[クロールの統計情報]にアクセスしよう。

                  平均応答時間が著しく遅い(例:1000ミリ秒以上)場合は、この遅さのせいで、Googlebotが十分にクロールできていない可能性がある。

                  この応答時間はページ速度とは違い、たとえば「重い画像を配置しているから遅くなる」というものではない。

                  ▼ 応答が遅くなる要因の例

                  • 速度の遅いアプリケーション ロジック
                  • 遅いデータベース クエリ
                  • 遅いルーティング、フレームワーク、ライブラリ
                  • リソースによる CPU の消費
                  • メモリ不足 など

                  参考:Google Developers 

                  Googleの「サーバーの応答時間を改善する」を参考に、解決を試みてほしい。

                  原因2:サイトの品質

                  2つめの原因は「サイトの品質の問題」である。ジョン・ミューラーの言葉を引用しよう。

                  Googleがたくさんクロールしないのはなぜか、もうひとつの大きな理由は、そのWebサイトの全体的な品質に、納得していないからだ。

                  とくに、新しいサイトでは、この点で苦労することがある。

                  The other big reason why we don’t crawl a lot from websites is because we’re not convinced

                  about the quality overall.

                  So that’s something where, especially with newer sites, I see us sometimes struggle with that.

                  Googleは、「このサイトは品質がよい」と確信が持てるようになるまでは、そのサイトにクロールバジェットを割くことに慎重になる。

                  別の言い方をすれば、Googleから品質がよいと信用されたサイトは、Googlebotが頻繁に巡回するようになる。再クロールのリクエストやサイトマップの送信で催促しなくても、だ。

                  では「サイトの品質を高めるために、何をすればよいか?」は、非常に大きなテーマである。

                  ここでは詳しく触れないが、「コンテンツとは?良質なコンテンツを作りたい人への重要ヒント」に目を通して、良質なコンテンツづくりに取り組んでいただければと思う。


                  4. まとめ

                  本記事では「Googleのクロール頻度」をテーマに解説した。要点を簡単にまとめておこう。

                  Googleクロール頻度には、2つの意味がある。

                  • 1つめの意味「クロール巡回頻度」
                    Googlebotの訪問頻度はURLによって大きく異なる。目安は3日〜1ヶ月に1回

                  • 2つめの意味「クロール速度」
                    サーチコンソールから任意で設定できるが、基本デフォルト設定のままで問題ない

                    Googleのクロール巡回頻度を確認する方法として、以下を紹介した。

                    • Search Console URL検査ツール
                    • Search Console URL Inspection API
                    • Google Bulk Inspect URLs

                      Googleのクローラーの巡回頻度を上げる対処法は次のとおりだ。

                      • URL検査ツールでクロールをリクエストする
                      • XMLサイトマップを送信する
                      • クロールバジェットを高める

                        Googlebotが頻繁に訪れるサイトは、それだけGoogleによって品質が評価されているサイト、といえる。

                        良質なサイトづくりと適切なリクエスト処理によって、Googlebotを呼び寄せ、更新ページをスピーディに検索結果へ登場させていこう。

                        SEOをより深く理解したい方へ。バズ部のノウハウを全て詰め込みました。

                        カテゴリー SEO

                        記事をシェアする

                        • B!

                        無料eBook:バズ部式マーケティング
                        広告費を1/10にして売上を倍増させる全手法

                        広告に頼り切ったマーケティングの打開策としてコンテンツマーケティングについて調べているけれど、よく分からないと悩んでいませんか?

                        本書は弊社やクライアント様がコンテンツマーケティングに取り組み

                        • ・SEOのみで月間100万PV集めた方法
                        • ・平均6.92%のコンバージョン率が出た新規顧客獲得法
                        • ・CPLやCPAを大幅に改善した方法とそのからくり

                        など、コンテンツマーケティングの効果と、具体的な施策内容を全94ページに渡って詳細に解説しているものです。

                        ぜひ、貴社のWEBマーケティングにもご活用ください。

                        eBookをダウンロード

                        • 記事まとめ
                        • 成功事例
                        • バズ部とは

                        CASE STUDY

                        大企業・中小企業問わず。 真剣に行えば必ず結果は付いてくる。

                        コンテンツを正しく理解すること。成果を出すはじめの一歩です。

                        成功事例一覧へ