Search Console では、本来なら専門家に依頼してコストのかかるクローラーの計測情報を無料で提供している。正確性はその専門家のサーバーモニタリングに劣るかもしれないが、現状どれほどのクロール頻度があるかの参考値になる。
クロール頻度が増加していくと検索流入数が増えていくという相関性もあることから、サイト運用の中で定期的にチェックするのをお勧めする。
それでは、クロールの統計情報のチェックについてご紹介しよう。
Google は2015年5月20日にウェブマスター ツールの名称を Google Search Console に変更している。
1.クロールの統計情報のチェック方法
Search Console にログインして対象のサイトURLをクリックする。そして左メニューより「クロール → クロールの統計情報」の順にクリックしよう。
これで上図の通り画面にアクセスできる。
ここにはあなたのサイトに過去90日分、クローラーが巡回した情報が掲載される。この統計情報には、クローラーがダウンロードしたWEB上のすべてのファイルタイプ(HTML、CSS、JavaScript、画像など)が含まれる。またデータは Google ニュース、Google 画像検索など Google のサービスで取得された情報が含まれている。
1−1.1日にクロールされるページ数
あなたのサイトをクローラーが巡回した結果、1日に巡回したページの総数が表示される。
画面右上には最高値、平均値、最低値が表示される。クロールの巡回頻度はSEOにとって重要であり、たいていクロール頻度が1日に100回以上を超えると徐々に検索上位を獲得できるようになってくる(もちろんコンテンツが良ければの話だが)。
クローラーの巡回数を正確に計測するなら専門家によるサーバーのモニタリングが必要となり、またコストもかかる。通常なら敷居の高い計測ツールを Search Console では無料で提供しているのだ。定期的にチェックする手はない。
クロール最適化については『robots.txtの書き方と効果的な活用法』を参考にしよう。
1−2.1日にダウンロードされるデータ量
Google の検索エンジンがあなたのサイトをクロールした結果、1日にダウンロードしたデータサイズ(キロバイト)が記録される。
このデータサイズが大きい場合、サイトの表示速度に影響してくる。これはユーザビリティを下げるのでSEO対策上、好ましくない。まずは画像サイズが大きくないかをチェックし、最適化を施すと効果が高いだろう。
1−3.ページのダウンロード時間
クローラーがサイトを巡回した結果、ページのダウンロード時間(ミリ秒)が記録される。
上図の例では30万以上のアクセスがあっても1ページあたり0.5秒ほどでサーバーが返答していることになる。アクセス数の増加に伴いこれが数秒かかる場合、サーバーの処理速度に問題がある可能性ある。スペックの高いサーバーを検討しても良いだろう。
クローラーの更新頻度のキーワードでGoogleから来ました。
趣味でhttp://worldreview.jp/というサイトを作っております。
Googleのツールでクローラーの頻度を見ると一日に平均300、多い時は2000回ほどクローラーが来ています。
記事には「たいていクロール頻度が1日に100回以上を超えると月間10万アクセスほどの規模になる。」と書かれておりますが、私のサイトのアクセス数は月間3000ほどです。
書かれている事と私のケースがあまりにも違いがあったので書き込みさせて頂きました。
クローラーが頻繁に来てもこういったケースもあるのでしょうか。
よろしくお願い致します。
Yamasitaさん、コメントありがとうございます。
ブログサイトの記事更新の頻度は高く、クローラーが常に巡回してるがアクセス数は少ない、ということはあります。
その場合、たいていは理由は1つで、“コンテンツの質”です。
「SEOコンテンツの作り方」の記事をお読みいただけますと「質とは何か?」がご理解いただけるかと思います。