クローキングとは、「検索エンジン用」と「実際にユーザーが見るコンテンツ」を出し分けることをいう。
例えば、「検索エンジンにはテキストメインのHTMLコンテンツを表示させ、ユーザーには画像やFlashのみで構成されているコンテンツを表示させる」というものがこれに該当する。
かつてはSEO施策として行われていた手法だが、現在では不正にサイト評価を上げようとする「ブラックハットSEO」と見なされる可能性がある。なぜならば、検索エンジンに偽りのコンテンツを見せる性質があるからだ。
この記事では、クローキングとは何か（意味・仕組み）、具体的にどのようなものがクローキングに当たるのかを解説した後、意図せずクローキングと判断されないようにする方法も解説していく。
Googleは公式に「クローキングはガイドライン違反に当たる行為」としており、クローキング手法を使うと、検索順位を下げられたり検索結果にサイトが表示されなくなったりする可能性がある。
この記事を最後まで読んでクローキングの意味や具体例を正しく理解し、意図せずサイト評価を下げられないよう知識を身に付けよう。
目次
1. クローキングとは
クローキングとは、検索エンジン用と実際にユーザーが見るコンテンツを出し分けることをいう。不正な方法でサイトの評価を上げようとする「ブラックハットSEO」のひとつである。
※ブラックハットSEOについては「ホワイトハットSEOとは？ブラックハットSEOとの違いや施策を解説」を参照してほしい。
コンテンツの中身を偽る不正な方法であり、Googleのガイドラインでも明確にクローキングは非推奨とされている。
例えば、検索エンジンには「対策キーワードが多く含まれるコンテンツ」を見せるが、実際のコンテンツ内容は全く違うもの、というページがクローキングに該当する。
1-1. クローキングの手法
コンテンツを出し分ける方法は、IPアドレスやユーザーエージェント（User-Agent）を使ったやり方が一般的である。
【STEP1】アクセス元を判断
IPアドレスやユーザーエージェント（User-Agent）を使い、コンテンツにアクセスしたのが検索エンジンなのか、人間のユーザーなのかを判断する。
【STEP2】コンテンツを出し分ける
検索エンジンと人間それぞれに対して、表示させるコンテンツを出し分ける。
|
※なお、これらの手法はGoogleペナルティを受ける可能性があるため、実際には使わないようにしよう。
1-2. クローキングの目的は上位表示させること（間違ったSEO対策）
クローキングの目的は、上位表示させることである。かつては、SEO施策として行われていた手法である。しかし現在ではスパム行為に当たるため注意が必要だ。
Flash黄金時代（2000年～2007年頃）には、検索エンジンにだけテキストベースの内容を表示させるクローキングがSEO施策として行われていた。なぜならば、検索エンジンは基本的にテキストベースの内容しか理解できず、Flashで訴求するコンテンツが検索エンジンに認識されづらかったからだ。
また、対策キーワードを多く含むページを検索エンジンにだけ表示させ、上位表示を狙うことも行われていたようである。以前はキーワード出現率が高い方が上位表示しやすいと言われていたからである。
ただし、現在はGoogleが明確にスパム行為と認定しているため、上位表示させたいならば「クローキング手法を使わない」が鉄則である（詳しくは後述）。
2. クローキングにあたる4つの具体例
どのようなものがクローキングにあたるのかを理解するため、もう少し具体例を交えて解説していこう。
| クローキングにあたる4つの具体例 |
| ❶ 検索エンジンにはテキストメイン・実際には画像やFlashメインの内容 ❷ 検索エンジンにだけキーワードを挿入する ❸ 詐欺ページなどを隠すために検索エンジンにページ内容を偽装する ❹ 隠しテキスト・隠しリンクも広義のクローキングに当たる |
2-1. 検索エンジンにはテキストメイン／実際には画像やFlashメイン
検索エンジンにはHTMLテキストのページを表示し、人間のユーザーには画像やFlashのページを表示させるという出し分けは、クローキングに該当する。
「ユーザーへの視覚的な効果が高い画像やFlashコンテンツをふんだんに使いたい」➡でも「検索エンジンはテキストしか理解できないから、検索エンジンにだけテキストページを表示させよう」
というケースではクローキングに該当してしまうので注意しよう。
※なお、2020年末にAdobe社がFlash Playerのサポートを終了しており、現在ではFlash技術はほとんど使われていない。
2-2. 検索エンジンにだけキーワードを挿入する
検索エンジンが見に来た時だけページにテキストやキーワードを挿入する行為も、クローキングに該当する。
例えば、特定の対策キーワードで上位表示させたいコンテンツがあった場合に、検索エンジンが見るコンテンツだけにキーワードを含めて上位表示を狙う方法がこれに当たる。
2-3. 詐欺などを隠すために検索エンジンにページ内容を偽装する
詐欺サイトなどの内容を隠すために、検索エンジンに対しては正常サイトであることを偽装する。このような行為もクローキングに当たる。
例えば、フィッシング詐欺では、他社サービスのログイン画面を模倣した偽サイトを作成し、ログイン情報を盗む違法行為が行われる。この時、偽サイトであることがバレないように、クローキング手法が悪用されるケースがある。
2-4. 隠しテキスト・隠しリンクも広義のクローキングに当たる
検索エンジンには認識されるがユーザーには見えない「隠しテキスト」「隠しリンク」も、広義な意味でクローキングに当たると考えられるので注意しよう。
以下のような隠しテキスト・隠しリンクは、Googleガイドライン違反に該当し、検索順位を下げられたり検索結果から排除されたりする可能性がある。
- 白の背景で白のテキストを使用する
- テキストを画像の背後に置く
- CSS を使用してテキストを画面の外に配置する
「display: none;」や「text-indent: -9999px」など - フォントサイズを 0 に設定する
- 小さな 1 文字（段落中のハイフンなど）のみをリンクにしてリンクを隠す
「検索エンジンに見せるコンテンツ」と「ユーザーが見るコンテンツ」が異なる場合、クローキングと判断される可能性が高いことが分かる。
3. クローキングはSEOにおいてマイナス！絶対にやめよう
クローキングは、かつてはSEO施策として行われていたものである。しかし今は推奨されていない手法であり、スパム認定される可能性があるため絶対にやめよう。
クローキングは、Googleの品質に関するガイドラインに違反するとして、Google検索セントラル内ではっきり明記されている。
クローキングとは、人間のユーザーと検索エンジンに対しそれぞれ異なるコンテンツまたは URL を表示することです。
クローキングは、Google ユーザーに予想外の結果をもたらすため、Google のウェブマスター向けガイドライン（品質に関するガイドライン）に違反していると見なされます。
ガイドライン違反行為と見なされると、検索順位を下げられ、最悪の場合は検索結果から削除されることもある。そのため、興味があっても、絶対にクローキング手法には手を出してはいけない。
2章で解説したクローキングに該当する行為が、自社サイト内で使われていないか確認しよう。
| クローキングにあたる4つの具体例 |
| ❶ 検索エンジンにはテキストメイン・実際には画像やFlashメインの内容 ❷ 検索エンジンにだけキーワードを挿入する ❸ 詐欺ページなどを隠すために検索エンジンにページ内容を偽装する ❹ 隠しテキスト・隠しリンクも広義のクローキングに当たる |
この例以外にも、検索エンジンをだます行為や、故意にサイト評価を上げようとする施策は行わないようにしよう。
また、意図せずクローキングと判断されてしまわないよう注意しよう。これについては次の章で詳しく解説していく。
4. 意図せずクローキングと判断されないよう注意しよう
Googleが主に問題にしているのは、検索エンジンやユーザーをだますような行為や、不正にサイト評価やランキングを操作するようなクローキングである。しかし、そのような目的がなかったとしても、意図せずクローキングと判断されないよう注意しよう。
そのためには、クローキングと判断されかねないケースと、その代替手法を事前に知っておくことが大切である。Googleのクローキングの解説ページには、以下のような注意文が書かれている。
サイトで検索エンジンにとってアクセスしにくい技術（JavaScript や画像など）が使用されている場合、クローキングを行わずに検索エンジンやユーザーがそのコンテンツにアクセスできるようにするためのおすすめの方法をご覧ください。
画像やJavaScript、動画などの検索エンジンが理解しにくい内容を扱う場合は、クローキングを行わず、以下のおすすめの方法を使うようにしよう。
要素 | クローキングの代わりに使うべき手法 |
画像 | ・alt属性にテキストを入力する |
JavaScript | ・JavaScriptと同じコンテンツを<noscript>タグ内に記述する |
動画 | ・動画の内容をHTML内にテキストベースで記述して説明する |
自社サイトで上記のようなコンテンツがある場合は、クローキングと思われる可能性が無いか一度チェックしてみると良いだろう。
まとめ
この記事では、クローキングについて詳しく解説してきた。
IPアドレスやユーザーエージェント（User-Agent）を使えば、検索エンジンにはテキストメインのコンテンツ、ユーザーには画像やFlashで構成されたコンテンツなど、表示を変えることができてしまう。
しかし、こうしたクローキングはGoogle公式ガイドラインで明確に違反行為とされている。サイトの評価が下がる可能性が高いため、絶対に避けるようにしよう。
ひと昔前に良いとされていたSEO施策も、現在ではSEOに逆効果な場合が多い。SEOに関わる担当者は、定期的に知識のアップデートをするように心がけよう。
