クロールバジェットとは？Googleの見解と影響する要因を解説

WEBサイトを運営していると、「クロールバジェットが足りなくなる」といった言葉を耳にすることがあるだろう。

クロールバジェットとは、​​ひと言でいうと『クロールの割り当て』のこと。

Googleのクローラーが、1回の訪問でどれくらいの情報量をGoogleのデータベースに格納することができるのかを表す際に使われる。

しかしながら、当のGoogleには、「クロールバジェット」として巷で使われている用語や考え方は存在しない。

この記事では、分かりづらい「クロールバジェット」について、Googleの見解を元に、その影響や注意点を探っていく。

この記事でわかること

・クロールバジェットとは ・クロールバジェットに対するGoogleの見解 ・クロールバジェットに影響を及ぼす要素・影響を受けるサイト ・クロールを最適化する4つの方法

記事後半では、日々のWEB施策として重要なクロールの最適化についても触れていくので、クロールバジェットの影響が気になる人は試してみてほしい。

まずは、「クロールバジェットをどう捉えればいいのか？」というところから理解を深めていこう。

また、私たちバズ部は12年で400社以上のメディア支援を行い、

• 立ち上げから10ヶ月で14.6億円の売上を産んだ不動産メディア
• 8ヶ月で月間140万PVを実現したアプリメディア

など大きな成果を挙げ続けている。

各サイトの成功要因をインタビューしているので、
あなたのサイトに役立てて欲しい⇒25サイトの成功事例インタビューはこちら

1.クロールバジェットとは

クロールバジェットとは、1つのサイトに対してGoogleのクローラーが巡回できる上限枠（割り当て枠）のことを指す。

チェック！ クロールバジェットの「クロール」とは「Googlebot（クローラーボット）」のことであり、「予算」と訳されるバジェットはここでは「上限」といった意味あいで使われる。

Googleの検索エンジンには、登録されているWebサイトを随時巡回するクローラー（Googlebot）が存在している。 

検索エンジン内部を絶え間なく巡回するクローラーが集めてきた1サイトごとの情報を、検索エンジンが内部のアルゴリズム（検索キーワードに対する検索順位を決定するためのルール）と照らし合わせ、最終的にサイトの評価を行っていくシステムだ。

しかしながら、インターネットが普及した現在、日々数え切れないほど多くのWebサイト（ページ）が生まれており、それは、クローラーがWebページを巡回する能力の限界を超えるほどである。

こうしたことから、「クロールバジェット」＝「クロールの割り当て枠」という考え方が生まれた。

実際、クローラーにはサイトで見られるページ数の上限が設定されており、可能性として、ページ数が上限を超えてしまうと一部の内容を認識することができなくなることもあり得る。

冒頭で例に挙げた『クロールバジェットが足りなくなる』、といった事態が起こり得るのだ。

ただ、クロールバジェットは基本的に大きめの数値に設定してあり、よほど大きなサイトで無い限りほとんど影響はないと見られている。

さらに着目すべきは、Googleでは「クロールバジェット」という用語や概念を採用していないことだ。

成功したオウンドメディアの要因を学ぶ

• 

  累計106億円の売上を叩き出した不動産会社のコンテンツマーケティング事例

  1

• 

  わずか8ヶ月で月間140万PVを実現したアプリ企業メディア成功事例

  2

• 

  問い合わせが月4,400件以上！自社メディアで驚異的なCV数を生み出した弁護士事務所

  3

2.Googleの見解｜「クロールの割り当て」が表すものを一言で説明できるような言葉はない

実は、いわゆる「クロールバジェット」という巷で使われている用語、及び考え方は、Googleには存在していない。

2017年1月17日にGoogleは公式ブログで「Googlebot のクロール バジェットとは？」という記事を公開した。

冒頭に書かれた文章を紹介しよう。

“昨今、「クロールの割り当て」についてさまざまな定義を耳にします。しかし、Googleの外部で「クロールの割り当て」が表すあらゆるものを一言で説明できるような言葉はありません。” Google公式ブログ｜Googleotのクロールバジェットとは？

このように、クロールバジェットの存在を否定するような発言がされているのだ。

さらに、発言は以下のように続く。

サイトに価値の低い URLが多数ある場合、そのサイトのクロールやインデックス登録に悪影響が及ぶ可能性があります。まず重要なのは、以下で述べるように、クロールの割り当てとは、ほとんどのパブリッシャーの方々にとって気にすべきものではない、ということです。新しいページが公開された当日にクロールされることが多い場合、ウェブマスターの方がクロールの割り当てを重視する必要はありません。同様に、サイトのURLが数千もない場合、そのサイトのクロールはたいてい効率的に行われます。” Google公式ブログ｜Googleotのクロールバジェットとは？

つまり、大規模なWebサイトを運営していない限り（サイトのURLが数千もない場合）、クロールバジェット（と一般にいわれる「クロールの割り当て」）を、意識する必要はないということだ。

3.クロールバジェットに影響を及ぼす要因・影響を受けるサイト

意識する必要はないといっても、あなたが大規模サイトの運営者なら、あるいは将来、中規模以上のサイト運営をめざすなら、クロールバジェットに影響を及ぼす要因について把握しておいた方がいいだろう。

ここでは、クロールバジェット（Googleのいう「クロールの割り当て」）に影響を及ぼす要素と、影響を受けるサイトについて解説していく。

SEOの知識のひとつとして、頭の片隅にとどめておいてほしい。

3-1.クロールバジェットに影響を及ぼす要素

Googleは、クロールバジェットの存在について先述のように否定的な発言をする一方で、「クロールの必要性」や「クロールの割り当てに影響する要因」を提示している。

（参照元：Google｜Googlebot のクロールの割り当てについて​​）

3-1-1.クロールの必要性

クロールの必要性は、クロールバジェットに影響を及ぼす要素のひとつと考えられる。

検索エンジンに、インデックスされる必要性がないと判断された場合に、いわゆる「クロールの割り当て」が減ってしまう可能性があるのだ。

検索エンジンがクロールする必要があるかどうかを判断する上で、重要な指標となるのが以下の2つだ。

【人気度】	インターネット上で人気の高い URL ほど、Google のインデックスで情報の新しさが保たれるよう頻繁にクロールされる傾向があります。​​ （人気があるサイトほど情報の新しさを損なわないようにクロール頻度が上がる​​）
【古さ】	Google のシステムでは、インデックス内の URL が古くなり無効とならないようにしています。 また、サイトの移転といったサイト全体のイベントでは、新しいURL のコンテンツをインデックスに再登録するために、クロールの必要性が高まることがあります。

引用元：Google｜クロールの割り当てについて「クロールの必要性」

クロールの必要性の対策は、「4-4.コンテンツの品質を改善する」で解説するので、合わせて参考にしてほしい。

3-2-2.クロールの割り当てに影響する要因

Googleでは「クロールの割り当てに影響する要因」として、価値の低いURLが多数あるとサイトのクロールやインデックス登録において、悪影響を及ぼす可能性がある​​と述べている。

そこでは、「価値の低いURLの例」として次のようなものが挙げられている。

【価値の低いURL】

・ファセットナビゲーション（※1）とセッションID(※2） （URLパラメータによって引き起こされた複雑な構造のサイト​​）

・サイト内の重複コンテンツ（※3）

・ソフトエラーページ（※4）

・ハッキングされたページ

・無限のスペース（※5）とプロキシ （多数のリンクを自動生成したURL）

・質の低いコンテンツやスパムコンテンツ

（※1）ファセットナビゲーション：サイトのナビゲーションの種類を指す用語​​。多くの要素でサイト内検索ができる場合、あらかじめユーザーに使いやすいだろう検索条件をサイト側が用意しておくと、ユーザーはそれを選ぶだけでコンテンツを絞り込んでいける。

​​たとえばAmazonでは、書籍に関して「文学」「評論」といったカテゴリー、「単行本」「コミック」といったフォーマット、配送オプション、カスタマーレビューの平均、価格などの切り口で、ファセットナビゲーションを用意している。Googleセントラル検索｜ファセットナビゲーション

（※2）セッションID：セッションに紐付けた識別用のID​​。Googleセントラル検索

（※3）サイト内の重複コンテンツ：ユーザーや追跡情報がURLパラメータを介して保存されている場合、同じページに多数のURLを介してアクセスできるため、コンテンツが重複する可能性がある。Googleセントラル検索

（※4）ソフトエラーページ：URL にアクセスしたときに、ページが存在しないことをユーザーに伝える404ページを表しながら、200レベル（成功）のコードを返すエラーページ​​。Googleセントラル検索｜クロールエラーがソフト404を報告するようになりました ​​

（※5）無限のスペース：Googlebotがウェブをクロールすると、「無限のスペース」と呼ばれるものが見つかることがある。これらは非常に多数のリンクであり、Googlebotがインデックスに登録するための新しいコンテンツをほとんど提供しない。これがサイトで発生した場合、これらのURLをクロールすると不要な帯域幅が使用され、Googlebotがサイトの実際のコンテンツをインデックスに登録できなくなる可能性がある。Googleセントラル検索｜無限のスペース

これらが、Googleがクロールする価値が低いと考えているWebサイト（ページ）の定義​​ということだ。

実際、このようなURLがサーバーのリソースを浪費していると、価値の高いページへのクローラーの巡回を妨害してしまう。

3-2.クロールバジェットの影響を受けるサイト

クロールバジェットの影響を受ける可能性が危惧されるのは、Googleの見解にもある通り、サイトのURLが数千​​以上ある規模の大きなサイトだ。

ページ数が数千、数万とあり、コンテンツがめまぐるしく更新されるサイトでは、ページ数が膨大でコンテンツが重複しやすいことがクローラーの巡回を妨げる要因となる。

ここでいう大規模サイトとして、基本的には、下記のような大規模なECサイト（※1）やCGMサイト（※2）​​をイメージするといい。

（※1）ECサイト：自社の商品やサービスを、インターネット上に置いた独自運営のWEBサイトで販売するサイト（※2）CGMサイト：掲示板やクチコミサイトなど、一般ユーザーが参加してコンテンツができていくメディアのこと

大規模なECサイト	「Amazon」、「楽天」、「Yahoo!ショッピング」、「メルカリ」など
大規模なCGMサイト	「アメーバブログ」、「おしえて！goo」、「価格.com」など

毎日のように数百、数千というページが無尽蔵に生成されるサイトでは、「重複しているのでは？」「必要なページなのか？」​​と疑われるコンテンツが増えやすく、本来クロールされるべきページが埋もれてしまう可能性がある。

4.クロールを最適化する4つの方法

クロールの最適化とは、適切なページにクローラーが巡回できるようにすること。

クロールが不要なページにクローラーが行かないようにすること、とも言い換えられる。

ここではクロールを最適化する4つの方法について述べていく。

・価値の低いURLをなくす
・クロールさせる必要のないページは「robots.txt」でクロール拒否の設定をする​​
・定期的にサイトマップを更新する​​
・コンテンツの品質を改善する

サイトの健全な運営のために、しっかり把握しておこう。

4-1.価値の低いページをなくす

クロールする価値が低いページをなくすことで、クロールさせたいページへのクロール頻度が向上する可能性がある。

Googleの考える「価値が低いURL」は前章の「クロールの割り当てに影響する要因」で述べた通りだ（ハッキングされたページやスパムコンテンツなど）。

クローラーの健全な巡回を妨害しないよう、下記のような方策で、価値が低いと見なされるページを極力なくしていこう。

・プログラムによって自動生成されたページ​​がないか確認して削除する

・重複ページを削除する (例：URLパラメータを最適化してコンテンツを変更しないパラメータの生成を抑制し、無用にURLを生成しないようにする)

・無断複製されたコンテンツの有無を確認して削除する

・特定のキーワードで上位表示されるためだけに作られた​​誘導ページを削除する

4-2.クロールさせる必要のないページは「robots.txt」でクロール拒否の設定をする

クローラーは特に指示がなければ、全てのページをクロールしようとするため、サイトには残したいがクロールさせる必要のないページは、「robots.txt」（※）を使ってクロール拒否の設定を行っておこう。

（※）「robots.txt」​​：クローラーに特定のページをクロールさせないように設定できるファイルのこと​​

ここでいう必要のないページとは、Googleから価値が低いとみなされるが、サイトには残しておきたいページ（ファセットナビゲーション（※）など）のことだ。

（※）ファセットナビゲーションとは、「クロールの割り当てに影響する要因」でも紹介したように、サイト側が用意した検索条件をユーザーが選択することで、サイト内のコンテンツを絞り込めるナビゲーションの仕組み。それ自体は便利な機能だが、重複ページ（価値が低いページ）が大量に生成されることがある。

クロールの必要のないページを「robots.txt」で除外すれば、その分、価値のあるページをクロールしてもらいやすくなる。

ただし、外部ページから参照がある場合は、「robots.txt」で除外​​していてもインデックスされてしまうケースがあるので、下記のような方策も合わせて講じておくと良い。

・内部リンクの正規化 （非正規のURLにリンクしないようにして余計なURLへのクロールを抑制する）

・noindex（※）を適切に使用​​ （不要ページなのにnoindexが設定されているとクロールバジェットを無駄に消費する）

（※）noindex​​：メタタグのひとつ。 サイト内のページを検索結果に表示させたくない時に使​​う

「robots.txt」関連記事

バズ部｜サイト最適化の為のrobots.txtの書き方と効果的な活用方法

4-3. 定期的にサイトマップを更新する

クロールの最適化するためには、定期的にサイトマップを更新することが重要だ。

サイトマップとは、自分のWebサイトがどのような構造なのか、どのようなコンテンツなのかについて検索エンジンに伝えるためのものだ。

Googleのクローラーは定期的にサイトマップの内容を確認しているため、サイトマップを更新することで新しく追加したページや更新したページの情報が伝わり、効率良くクロールしてもらえる可能性が高まる。

定期的な更新によって重要なページへのクロールを促進すること​​ができるのだ。

サイトマップ自動更新の設定をしている人は問題ないが、まだの場合は、クロール最適化のために設定しておこう。

4-4.コンテンツの品質を改善する

クロールの頻度を上げるための施策として、コンテンツの品質改善を行うことも忘れてはならない。

前章で述べたように、クローラーは人気の高さや、情報の新しさを基準にして、クロールの必要性を判断する。

低品質なコンテンツは人気がないページとみなされ、クロールの必要性が低いページと判断されてしまうのだ。

人気の高いページとは、言い換えれば、質の高いコンテンツを掲載しているページということだ。

クロールを最適化させたいURLが人気の高いページと判断されるように、質の高い充実した内容の魅力的なコンテンツ作成を心がけよう。

チェック！ 【リダイレクトチェーンを避ける】 クロールの最適化として、5回以上のリダイレクトチェーンを避けることも覚えておいてほしい。 リダイレクトチェーンとは、URLからURLへ転送させるリダイレクトが複数回繰り返されている状態のこと。 リダイレクトチェーンが起こっていると、クロールに負荷がかかってしまうことが考えられる。 ある質問の場で、リダイレクトの問題について問われたGoogleのJohn Mueller（ジョン・ミューラー）氏​​は、「リダイレクトの繰り返しがランキングに悪影響を及ぼすことはない」としながらも、 「1つ覚えておくことがあるとしたら、5回までのリダイレクトを私たちはその場でたどるということだ。リダイレクトが5回を超えると、次のクロールのサイクルに回される。リダイレクトの繰り返しは、特にモバイルでは表示速度が非常に遅くなる。​​」 参照元：海外SEO情報ブログ｜リダイレクトの繰り返しはSEOには悪影響なし、しかしユーザー体験にはマイナス​​ と、話している。 5回以上のリダイレクトはクロールに負荷をかけ、ユーザーにとっても表示速度が遅くなるという悪影響を与えるということだ。 5回以上のリダイレクトを起こすことはあまりないとは思うが、不要なリダイレクトのページは早急に削除し、Webサイトの構造を簡潔化することを心がけよう。

 

5.Google Search Consoleでクロールの頻度を確認しよう

ここまで読んでクロールバジェットがわかってきた方の中には、自社サイトが一体どのくらいの頻度でクロールされているのか気になってきた人がいるに違いない。

今後の方針を見定めるためにも、「Google Search Console」を使って、今のクロール状況を確認してみよう。

チェック！ Search Consoleは、Googleが提供しているインターネット検索の分析ツール。 Google Search Console公式サイト GoogleへのURL登録から、Google検索キーワードの表示回数や順位の推移、サイトが抱えている問題点の検出にも使えるので、サイトに携わる人は必ず登録しておこう。

ここでは、Google Search Consoleを使った下記の確認方法を解説する。

・クロールの頻度を確認する
・各ページの最新クロール日を確認する

5-1.クロールの頻度を確認する

どのくらいクローラーが訪れているか、クロールの頻度の確認は下記手順で行う。

手順1｜Google Search Consoleにログイン

手順2｜左メニューの「設定」をクリック

手順3｜「設定」画面にある「レポートを開く」をクリック 　→「クロールの統計情報」が表示される​

クロールの統計情報（例）

5-2.各ページの最新クロール日を確認する

各ページの最新クロール日（ページに最後に訪問した日）の確認は下記手順で行う。

手順1｜Google Search Consoleにログイン

手順2｜「URL検査」をクリック

手順3｜最新クロール日を確認したいページのURLを入力

手順4｜エンターキーを押すと「URL検査処理」がスタート

手順5｜完了画面が表示されたら、「カバレッジ」の右端にある下向きの矢印を左クリック​​ →カバレッジの詳細情報が表示される

カバレッジ詳細画面にある「前回のクロール」の日付が、WEBページにクローラーが来た最新クロール日ということだ。

前回のクロール日 = 最新クロール日（例）

 

6.クロールバジェットのよくある質問｜Q＆A

最後に「Googleウェブマスター向け公式ブログ」を元に、クロールバジェットに関するよくある質問と回答を紹介する。

①クロールはランキング要素になりますか？

②nofollowはクロールバジェットの影響があるのか？

③alternateのURLや埋め込みコンテンツもクロールバジェットに含まれますか？

順に見ていこう。

6-1.クロールはランキング要素になりますか？

クロールの速度や頻度は、検索順位に影響しないため、クロールが増えることが、必ずしもランキング上昇につながるとは限らない。

ただ、クロールを最適化する対策の中にはSEO対策として有効なものもあるため、一概に全て無意味な対策とはいえない。

クローラーや検索エンジンに向けた対策はSEOの内部対策の中でも重要となるため、積極的に行った方が良いといえる。

検索結果を作りあげるためには当然クロールが必要だが、そのこととランキングは別のことだと認識しておこう。

6-2.nofollowはクロールバジェットに影響がありますか？

クロールバジェットにおけるnofollow（※）の影響は、ページの状況次第である。

たとえばページ内でURLをnofollow設定しても、サイト内の他のページ、あるいは他サイトからそのページへのリンクを貼る際にもnofollw設定されていなければ、クロールされる場合もある。

そのため、nofollow設定にもかかわらずクロールされた場合は、クロールバジェットにも影響すると認識しておいた方がいいだろう。

（※）「nofollow」について：nofollowは、ページランクの計算にリンクを使用しないように検索エンジンに指示するWebページのハイパーリンクの設定。nofollowを設定することで、リンク先ページのクロールを拒否することができる。外部リンクはSEOにおいて重要な要素となるため、無関係なWebサイトのリンクをnofollow設定することで、SEOの評価に影響を与えない効果がある。

6-3.alternateのURLや埋め込みコンテンツもクロールバジェットに含まれますか？

基本的に、すべてのURLはクロールバジェットに加えられる。

よって、AMPや、hreflangのalternate要素（※1）も、CSSやJavaScript のような埋め込みコンテンツ（※2）も、クロールバジェットに含まれる。

また、長いリダイレクト チェーン（※3)もクロールに悪く影響する。

（※1）alternate要素：alternate（オルトネイト）要素とは、スマホサイトや多言語版のページなど、現在のページの代替ページの存在をGoogleに伝えるためにHTMLファイルのheadタグ内に記述するhtmlタグのひとつ。これを指定することで、「検索エンジンが内容が同じなのにURLが違う＝マイナス評価」ということを防ぐ意味が​​ある。

（※2）埋め込みコンテンツ：HTML文書に動画や音声などの他のリソースを埋め込んだり、他の言語で書かれたコンテンツを挿入したりするもの​​。

（※3）リダイレクトチェーン：リダイレクトを何度も繰り返すこと。

7.まとめ

現状、大規模なWebサイトを運営していない限り、クロールバジェットを、ことさら意識する必要はない​​といえる。

ただ、その意味や存在を理解しておくことは重要だ。

何らかの原因でクローラーに負荷を与えるようなことがあれば、いつなんどき、自社サイトの健全な運営が妨げられないとも限らない。

記事を参考に、クロールの最適化や、SearchConsoleでの確認を定期的に行ってほしい。