robots.txt テスターを活用してSEOの改善につなげる方法

Google Search Consoleの robots.txt テスターを活用すると、クローラーをしっかり制御して重要なコンテンツに巡回を集中させることができる。これにより検索エンジンにそのコンテンツだけを認識してもらい、SEOが改善される訳だ。

このクロール最適化の要となる robots.txt の検証ツールを Search Console では、誰でも使用できるように無料で提供している。

ここでは robots.txt テスターの使い方を図を使って分かりやすくご紹介している。

１．robots.txt テスター画面へのアクセス方法

まず Search Console にログインして、該当するドメインをクリックしよう。そして下図のように左メニューを「クロール → robots.txt テスター」の順にクリックする。

これが robots.txt テスターの画面だ。この画面を使ってここでは、

• robots.txt の編集内容を検証する
• 編集したrobots.txt をアップしてGoogleに通知する

の２つの操作方法を順に解説する。使い方は簡単なので安心して読み進めてほしい。

２．robots.txt テスターを使って検証する方法

ここに現在のサイトの robots.txt の中身が表示される。下図はあるWordPressサイトの robots.txt の内容だ。 

ここでは例として「wp-content」というフォルダにクローラーが読みに行かないように制御するコードを追記する。

まず、次のように” Disallow: “というクローラーのアクセスを制御する記述を追加した。

もしここで誤った内容を入力すると、下図のようにエラーが表示される。ただし、URLの誤りまでは検知できないので、ミスなく入力を行おう。

次にこの追加した構文が問題なく機能するかをチェックする。ここでは画面下部の設定項目を図のように「wp-cotent/plugins」と入力して、wp-cotent フォルダ以下にクローラーがアクセスしないかをチェックする。

ここで「Googlebot」とあるが、これは Google のクロールロボットのことで、主にPC用のページを巡回する。

それ以外にも Google はニュース検索用、画像検索用、動画検索用などのそれぞれ専用クローラーがあり、” User-agent: “を使うとこの特定のクローラーのアクセス制御ができる。

設定が完了したら「テスト」ボタンをクリックしよう。

すると次のように表示され、想定通りのアクセス制御ができることが分かる。

続いてこの編集した robots.txt ファイルを本番に反映させよう。

３．robots.txt を送信する方法

robots.txt の検証が完了したら、次のように「送信」ボタンをクリックする。

すると次の画面が表示される。

これは編集した robots.txt を本サーバーにアップロードして、Google に通知するまでを順に操作する画面だ。番号順に行うだけで反映されるので迷うことなく進めることができる。

最初に「ダウンロード」をクリックしよう。すると編集した robots.txt がPC上でファイルとして保存される。

これをFTPソフトでサーバーにアクセスし、アップロードしよう。アップロード場所はたいていドメイン直下だがお使いのサーバーによって異なるため、分からない場合はサポートセンターに問い合わせよう。

robots.txt のアップロードが完了したら、次に「アップロードされたバージョンを確認」をクリックする。

サーバー上に問題なくアップロードされていれば、次のように編集した最新の robots.txt が確認できる。

問題なくサーバーにアップできたことが確認できたら、最後に「送信」ボタンを押す。

これでGoogleに最新の robots.txt の情報を通知することができた。

実際に通知が問題なくされているかは、robots.txt テスターの下図のように最新バージョンが確認できる。更新すると最新バージョンのタイムスタンプも最新になる。

以上が robots.txt テスターの使い方となる。