バズ部

  • icon株式会社ルーシー
  • 東京都港区新橋5-10-5 PMO新橋II 8階
  • 記事を探す
    • まず見て頂きたいページ
      • バズ部式マーケティングの進め方
      • コンテンツマーケティング101
      • SEO初心者向けマニュアル
      • バズ部メンバーの知見集
      • WordPress初心者向けガイド
    • 記事
      • 全ての記事を見る
      • SEO
        • SEOの基礎
        • SEO内部対策
        • コンテンツSEO
        • サーチコンソール
        • 高度なSEO
      • コンテンツマーケティング
        • 1.コンテンツマーケティングとは?
        • 2.コンテンツマーケティングをやるべきなのか
        • 3.あなたのブランドストーリーは何か?
        • 4.コンテンツマーケティング設計が全てだ
        • 5.必ず必要な社内体制と体制づくり
        • 6.まずは、小さな一歩を大切にしよう
        • 7.コンテンツ制作のコツを知ろう
        • 8.多くの人が陥る失敗を知っておこう
        • 9.顧客が「まだ気づいていないこと」に気づけるか
        • 10.素早く着実にコンバージョンにつなげよう
        • 11.正しく効果測定して成果を引き上げよう
        • 12.精度を上げてもっともっと成果を飛躍させよう
      • オウンドメディア
      • WordPress
        • wordpressウィジェット
        • wordpressテーマ
        • wordpressプラグイン
        • wordpressの基本操作
        • wordpressの導入と準備
        • wordpressの設定方法
        • ブログマーケティング
      • ソーシャルメディア
        • Facebook
      • ランディングページ
        • キャッチコピー
        • コピーライティング
      • メルマガ
      • EC
      • インタビュー
      • アーカイブ
    • 監修者/ライター一覧
      • 松澤 大輔
      • 木村 竜児
      • 野口 陽司
  • サービス一覧
    • サービスページ
      • コンテンツマーケティング立ち上げ&運用支援
      • SEO記事制作代行
      • キーワード設計代行
      • WEBサイト制作
      • 研修サービス
      • bazubu-shiki
      • ライティングツール「Pencii」
    • 資料請求
      • コンテンツマーケティング立ち上げ&運用支援サービス資料
      • SEO記事制作代行サービス資料
      • キーワード設計代行サービス資料
      • バズ部紹介資料
  • 支援実績
  • お役立ち資料
    • お役立ち資料一覧
      • 広告費を1/10にして売上を倍増させる全手法
      • バズ部が運営する月間20万PV超サイト11の生データ集
      • 良質なコンテンツを作成するための20のコツ
      • 最高のオウンドメディア支援会社を選ぶために行うべき7つの質問
      • バズ部紹介資料
      • バズ部公式メールマガジン
  • セミナー
  • 運営者情報

ご相談・お問い合わせ

© Copyright 2022 バズ部. All rights reserved.

ユーザーに届ける価値を徹底的に追求する
マーケティングを提供します

© Copyright 2022 バズ部. All rights reserved.

icon icon

icon
  • icon
  • icon
  • icon

05/22木8:00〜9:00

【5/22開催】バズ部の記事制作代行 商品説明会

  • オンライン
    1. バズ部 /
    2. SEO /
    3. サーチコンソール /
    4. robots.txt テスターを活用してSEOの改善につなげる方法
  • 最終更新日 2023.03.10

robots.txt テスターを活用してSEOの改善につなげる方法

Google Search Consoleの robots.txt テスターを活用すると、クローラーをしっかり制御して重要なコンテンツに巡回を集中させることができる。これにより検索エンジンにそのコンテンツだけを認識してもらい、SEOが改善される訳だ。

このクロール最適化の要となる robots.txt の検証ツールを Search Console では、誰でも使用できるように無料で提供している。

ここでは robots.txt テスターの使い方を図を使って分かりやすくご紹介している。

注:ウェブマスターツールの名称が変更
Google は2015年5月20日にウェブマスター ツールの名称を Google Search Console に変更している。
robots.txtの書き方について
robots.txtの効果的な書き方については『robots.txtの書き方と活用法』で詳しく解説しているので先に読んでおこう。クローラーの巡回頻度や効率化がSEOにとって非常に重要であることも理解できる。

また、私たちバズ部は12年で400社以上のメディア支援を行い、

  • 立ち上げから10ヶ月で14.6億円の売上を産んだ不動産メディア
  • 8ヶ月で月間140万PVを実現したアプリメディア

など大きな成果を挙げ続けている。

各サイトの成功要因をインタビューしているので、
あなたのサイトに役立てて欲しい
⇒25サイトの成功事例インタビューはこちら

ebook
ebook

目次

  • 1.robots.txt テスター画面へのアクセス方法
  • 2.robots.txt テスターを使って検証する方法
  • 3.robots.txt を送信する方法

1.robots.txt テスター画面へのアクセス方法

まず Search Console にログインして、該当するドメインをクリックしよう。そして下図のように左メニューを「クロール → robots.txt テスター」の順にクリックする。

Google Search Console

これが robots.txt テスターの画面だ。この画面を使ってここでは、

  • robots.txt の編集内容を検証する
  • 編集したrobots.txt をアップしてGoogleに通知する

の2つの操作方法を順に解説する。使い方は簡単なので安心して読み進めてほしい。

成功したオウンドメディアの要因を学ぶ

  • Article Image 1Article Image 1

    累計106億円の売上を叩き出した不動産会社のコンテンツマーケティング事例

    1

  • Article Image 2Article Image 2

    わずか8ヶ月で月間140万PVを実現したアプリ企業メディア成功事例

    2

  • Article Image 3Article Image 3

    問い合わせが月4,400件以上!自社メディアで驚異的なCV数を生み出した弁護士事務所

    3


2.robots.txt テスターを使って検証する方法

ここに現在のサイトの robots.txt の中身が表示される。下図はあるWordPressサイトの robots.txt の内容だ。 

robots.txtテスター

ここでは例として「wp-content」というフォルダにクローラーが読みに行かないように制御するコードを追記する。

※ robots.txt の構文については、冒頭で紹介した『robots.txtの書き方と活用法』で主に使用する構文についても記載しているので確認しておこう。

まず、次のように” Disallow: “というクローラーのアクセスを制御する記述を追加した。

構文を追加

もしここで誤った内容を入力すると、下図のようにエラーが表示される。ただし、URLの誤りまでは検知できないので、ミスなく入力を行おう。

誤った構文を入力するとエラーになる

次にこの追加した構文が問題なく機能するかをチェックする。ここでは画面下部の設定項目を図のように「wp-cotent/plugins」と入力して、wp-cotent フォルダ以下にクローラーがアクセスしないかをチェックする。

チェック

ここで「Googlebot」とあるが、これは Google のクロールロボットのことで、主にPC用のページを巡回する。

Googlebot

それ以外にも Google はニュース検索用、画像検索用、動画検索用などのそれぞれ専用クローラーがあり、” User-agent: “を使うとこの特定のクローラーのアクセス制御ができる。

設定が完了したら「テスト」ボタンをクリックしよう。

テスト

すると次のように表示され、想定通りのアクセス制御ができることが分かる。

アクセス制御の確認

続いてこの編集した robots.txt ファイルを本番に反映させよう。


3.robots.txt を送信する方法

robots.txt の検証が完了したら、次のように「送信」ボタンをクリックする。

送信

すると次の画面が表示される。

更新されたコードをダウンロード

これは編集した robots.txt を本サーバーにアップロードして、Google に通知するまでを順に操作する画面だ。番号順に行うだけで反映されるので迷うことなく進めることができる。

最初に「ダウンロード」をクリックしよう。すると編集した robots.txt がPC上でファイルとして保存される。

robots.txt

これをFTPソフトでサーバーにアクセスし、アップロードしよう。アップロード場所はたいていドメイン直下だがお使いのサーバーによって異なるため、分からない場合はサポートセンターに問い合わせよう。

robots.txt のアップロードが完了したら、次に「アップロードされたバージョンを確認」をクリックする。

アップロードされたバージョンを確認

サーバー上に問題なくアップロードされていれば、次のように編集した最新の robots.txt が確認できる。

robots.txt

問題なくサーバーにアップできたことが確認できたら、最後に「送信」ボタンを押す。

Googleに更新をリクエスト

これでGoogleに最新の robots.txt の情報を通知することができた。

実際に通知が問題なくされているかは、robots.txt テスターの下図のように最新バージョンが確認できる。更新すると最新バージョンのタイムスタンプも最新になる。

robots.txtテスター

以上が robots.txt テスターの使い方となる。

カテゴリー サーチコンソール

記事をシェアする

  • B!

無料eBook:バズ部式マーケティング
広告費を1/10にして売上を倍増させる全手法

広告に頼り切ったマーケティングの打開策としてコンテンツマーケティングについて調べているけれど、よく分からないと悩んでいませんか?

本書は弊社やクライアント様がコンテンツマーケティングに取り組み

  • ・SEOのみで月間100万PV集めた方法
  • ・平均6.92%のコンバージョン率が出た新規顧客獲得法
  • ・CPLやCPAを大幅に改善した方法とそのからくり

など、コンテンツマーケティングの効果と、具体的な施策内容を全94ページに渡って詳細に解説しているものです。

ぜひ、貴社のWEBマーケティングにもご活用ください。

eBookをダウンロード

未読

参考にしていただきたい事例

liskulのtopページ

リスティング広告

1年でプッシュ型営業からプル型へ!毎月約200件の問い合わせを獲得するデジタルマーケティングブログ

  • SOLDOUT
  • ソウルドアウト株式会社様

学校 コンテンツマーケティング

学校・教育

1年半で億単位の貢献を果たすまでに成長した学校法人のコンテンツマーケティング事例

  • 神田外語学院
  • 神田外語学院 様
アバター
  • 著者 : バズ部編集部

ユーザーに届ける価値を徹底的に追及するのがバズ部式マーケティング。
バズ部では、ユーザー主義を貫きながら、なおかつ数字にこだわり結果を出してきた手法やノウハウを惜しみなく提供していきます。

  • 会社概要
  • 採用情報
  • セミナー
  • サービス紹介
  • 記事一覧

icon

株式会社ルーシー東京都港区新橋5-10-5 PMO新橋II 8階

ABOUT US

  • 運営者情報
  • セミナー
  • 採用情報
  • お問い合わせ
  • プライバシーポリシー
  • 特定商取引法に基づく表記
  • 紹介メディア

© Copyright 2025 バズ部. All rights reserved.