「クローキング」とは、ユーザー(人間)や検索エンジン(クローラー)ごとに異なるページやコンテンツを表示するテクニックのことです。現在はGoogleガイドライン違反の対象になっています。
今回は「クローキング」に焦点を当て、その概要や効果、スパム認定される理由、具体例、確認方法などをご紹介します。気になるポイントを一挙確認してしまいましょう。
「クローキング」とは？
「クローキング」とは、ユーザー(人間)や検索エンジン(クローラー)ごとに異なるページやコンテンツを表示するテクニックのことです。現在はGoogleガイドライン違反の対象になっています。
例えば、「A」というWebページがあるとします。
ユーザーが「A」を検索し、閲覧すると「a」というコンテンツが表示されます。
しかし、クローラーが「A」を訪問した際、「a」ではなく、「b」というコンテンツが表示されました。
このように、「クローキング」を施すと、ユーザー(人間)や検索エンジン(クローラー)ごとに異なるページやコンテンツを表示させることができるのです。
「クローキング」の効果
では、ユーザー(人間)や検索エンジン(クローラー)によって、異なるページやコンテンツを表示させることに、どのようなメリットがあるのでしょうか。
「クローキング」は、例えば、違法サイト(例：アダルトサイトや映画サイト)の運営者が、ブラウザの規制やペナルティから逃れるためによく用いられます。
ユーザーの訪問時には、違法なアダルトサイトを表示し、クローラーが訪問時には、合法的な動画サイトを表示するよう設定するのです。
こうすることで、検索エンジン側が違法サイトの存在に気付けず、運営者はペナルティを受けることなく違法サイトを運営し続けることができます。
また検索エンジンは対策キーワードの比率が多いWebページやHTMLがシンプルなWebページを好みます。逆にFlashを多用した、複雑構造のWebページは好みません。
しかし、ユーザーはFlashで派手に見やすくしたWebページを好む傾向にあります。
「クローキング」を活用すれば、ユーザー(人間)や検索エンジン(クローラー)のそれぞれが好むページやコンテンツに、臨機応変に変更できるのです。
「クローキング」は悪質スパムである
Googleは「クローキング」を悪質なSEO施策であるとし、「ウェブマスター向けガイドライン」違反としてペナルティの対象にしています。
Googleは、「クローキング」の手法として以下の2つを挙げています。
①検索エンジンにはHTMLテキストのページを表示し、人間のユーザーには画像やFlashのページを表示する
②ページをリクエストしたUser-agentがユーザーではなく、検索エンジンである場合にのみページにテキストやキーワードを挿入する
(引用：https://developers.google.com/search/docs/advanced/guidelines/cloaking)
「クローキング」が発覚した場合、WebサイトやページがGoogleデータベースから削除されることもあるため、注意が必要です。
「クローキング」の具体例
では、2022年4月現在、具体的にどのような施策が「クローキング」と判断されるのでしょうか。
ここでは、具体例を3点紹介します。
デバイスごとのページ振り分け
近年、スマートフォンの普及をきっかけに、Webページのレスポンシブデザイン化が意識され始めました。
またGoogleは2016年にモバイルファーストインデックスの採用を発表し、スマートフォン対応したWebページを評価の最重要軸として捉えるようにもなりました。
スマホ用のページを制作する際、OSやブラウザごとに、ページの振り分けを行う方が多いかと思います。この際、同じURLでも、パソコン用とスマホ用のページ情報が同一であれば問題ありません。
しかし、ページ情報が大きく異なっている場合、「クローキング」と認識される可能性があります。
パソコンユーザーとモバイルユーザーに別々のページを見せたい場合は、GooglebotとGooglebot-Mobileにもそれぞれ同じようにページを見せる必要があります。
そうすれば、「クローキング」に該当することはありません。
なお、パソコンユーザーとモバイルユーザーに別々のページを見せたい場合は、ダイナミックサービングを活用しましょう。
ダイナミックサービングとは、1つのURLに対して、2つのHTMLを用意し、ユーザーがアクセスした端末ごとにサーバーサイドでパソコンユーザー用のHTMLとスマートフォンユーザー用のHTMLを出し分ける施策です。
会員制ページ
会員制サイトでは、ログイン設定(閲覧時にユーザーIDやパスワードの入力を必要とするページ)をしているページがあります。
稀に、ログインしないと見れないはずのページが検索エンジンにインデックスされていることがあります。Webサイトの運営者がログイン後のコンテンツを検索エンジンに認識させている場合です。
例えば、ログインしなければ商品価格や詳細が見れない設定のWebサイト「A」があるとします。
「A」の運営者は、できるだけ多くの検索ワードからWebサイトがヒットするよう、検索エンジンに情報を伝達します。
そこに、とある商品名「M」で検索してきたユーザー「a」が現れ、「A」の情報を閲覧しようとしました。
しかし、ユーザーは直接「M」の情報にアクセスすることはできず、「A」のログイン画面に遷移してしまいました。
この場合、ユーザーとクローラーに別々のページが表示がされたと判断されてしまい、「クローキング」となる場合があります。
ハッキング
他者によるハッキングで、勝手に「クローキング」が施されてしまった場合も考えられます。
ハッカーはハッキングしたページのリンクを第三者に転売することで収益を得ています。
ハッキングされたページは、裏で都合のいいように改竄されるケースが少なくありません。
ユーザーに表示されるページと改竄されたページが2つあると、「クローキング」と判断されることががあります。
なおハッキングされたWebページの概要や特徴、確認方法、修正方法などは以下の記事をご確認ください。
「クローキング」の確認方法
Webサイトを制作していると、無自覚に「クローキング」してしまっている場合があります。
ここでは、ユーザーが「クローキング」を見破る方法について2点紹介します。
ぜひ参考にしてみてください。
検索エンジンのキャッシュを確認する
検索エンジンはクローラーが取得した内容を「キャッシュ」として保存します。
キャッシュをチェックすれば、クローラーの動きを把握できるだけでなく、同じURLで異なるページが表示されていないか確認することもできます。
ユーザーエージェント名を変更する
ユーザーエージェントを変更できる拡張機能(例えば、Firefox)がインストールされたブラウザで、ユーザーエージェント名を変更(例えば、Googlebot)し、Webサイト内を閲覧することで、ユーザーと検索エンジンで異なるページの表示がないかを確認できます。
「クローキング」に該当しない例
実は、ユーザーごとに異なるコンテンツを表示しているにもかかわらず、「クローキング」に該当しない例もあります。
【クローキングに該当しない例】
・デバイスごとにWebサイトを表示し分ける
・アクセスしてきた人の所在地によって適切なコンテンツを表示仕分ける
・時間帯によって異なるコンテンツを表示する
上記はどれも、ユーザーの利便性が考えられた施策です。
つまり、UXが考慮されたクローキングはGoogleガイドライン違反の対象にならないという解釈ができます。
「クローキング」を避け、ホワイトハットSEOを心がけよう！
このページでは、「クローキング」に焦点を当て、その概要や効果、スパム認定される理由、具体例、確認方法などについて解説しました。
Googleは「クローキング」をブラックハットSEO(悪質なSEO)として禁止しています。
しかし「クローキング」に該当しない例でも述べたように、ユーザーの利便性を高める有益な表示仕分けであれば、「クローキング」と判断されない場合もあります。
またGoogleは2016年にモバイルファーストインデックスの採用を発表し、スマートフォン対応したWebページを評価軸として捉えるようになりました。
「クローキング」の基礎理解を深め、Googleガイドラインやモバイルファーストインデックスを意識しながら、良質なWebサイト制作に努めましょう。
「クローキング」や「SEO」でお悩みの場合は株式会社ipeにご相談ください。株式会社ipeではSEOでの大手クライアント実績多数！SEOを検討する際にはぜひ一度ご相談ください。