クローキングとは？意味や効果、具体例など解説！

クローキングとは、ユーザー(人間)や検索エンジン(クローラー)ごとに異なるページやコンテンツを表示するテクニックのことです。現在はGoogleガイドライン違反の対象になっています。今回はクローキングに焦点を当て、その概要や効果、スパム認定される理由、具体例、確認方法などをご紹介します。気になるポイントを一挙確認してしまいましょう。

クローキングとは？

クローキングとは、ユーザー(人間)や検索エンジン(クローラー)ごとに異なるページやコンテンツを表示するテクニックのことです。現在はGoogleガイドライン違反の対象になっています。

例えば、「A」というWebページがあるとします。
ユーザーが「A」を検索し、閲覧すると「a」というコンテンツが表示されます。

しかし、クローラーが「A」を訪問した際、「a」ではなく、「b」というコンテンツが表示されました。

このように、クローキングを施すと、ユーザー(人間)や検索エンジン(クローラー)ごとに異なるページやコンテンツを表示させることができるのです。

クローキングの効果

では、ユーザー(人間)や検索エンジン(クローラー)によって、異なるページやコンテンツを表示させることに、どのようなメリットがあるのでしょうか。

クローキングは、例えば、違法サイト(例：アダルトサイトや映画サイト)の運営者が、ブラウザの規制やペナルティから逃れるためによく用いられます。

ユーザーの訪問時には、違法なアダルトサイトを表示し、クローラーが訪問時には、合法的な動画サイトを表示するよう設定するのです。

こうすることで、検索エンジン側が違法サイトの存在に気付けず、運営者はペナルティを受けることなく違法サイトを運営し続けることができます。

また検索エンジンは対策キーワードの比率が多いWebページやHTMLがシンプルなWebページを好みます。逆にFlashを多用した、複雑構造のWebページは好みません。

しかし、ユーザーはFlashで派手に見やすくしたWebページを好む傾向にあります。

クローキングを活用すれば、ユーザー(人間)や検索エンジン(クローラー)のそれぞれが好むページやコンテンツに、臨機応変に変更できるのです。

クローキングは悪質スパムである

Googleはクローキングを悪質なSEO施策であるとし、「ウェブマスター向けガイドライン」違反としてペナルティの対象にしています。

Googleは、クローキングの手法として以下の2つを挙げています。

①検索エンジンにはHTMLテキストのページを表示し、人間のユーザーには画像やFlashのページを表示する

②ページをリクエストしたUser-agentがユーザーではなく、検索エンジンである場合にのみページにテキストやキーワードを挿入する

(引用：https://developers.google.com/search/docs/advanced/guidelines/cloaking)

クローキングが発覚した場合、WebサイトやページがGoogleデータベースから削除されることもあるため、注意が必要です。

クローキングの具体例

では、2022年4月現在、具体的にどのような施策がクローキングと判断されるのでしょうか。
ここでは、具体例を3点紹介します。

デバイスごとのページ振り分け

近年、スマートフォンの普及をきっかけに、Webページのレスポンシブデザイン化が意識され始めました。

またGoogleは2016年にモバイルファーストインデックスの採用を発表し、スマートフォン対応したWebページを評価の最重要軸として捉えるようにもなりました。

スマホ用のページを制作する際、OSやブラウザごとに、ページの振り分けを行う方が多いかと思います。この際、同じURLでも、パソコン用とスマホ用のページ情報が同一であれば問題ありません。

しかし、ページ情報が大きく異なっている場合、クローキングと認識される可能性があります。

パソコンユーザーとモバイルユーザーに別々のページを見せたい場合は、GooglebotとGooglebot-Mobileにもそれぞれ同じようにページを見せる必要があります。
そうすれば、クローキングに該当することはありません。

なお、パソコンユーザーとモバイルユーザーに別々のページを見せたい場合は、ダイナミックサービングを活用しましょう。
ダイナミックサービングとは、1つのURLに対して、2つのHTMLを用意し、ユーザーがアクセスした端末ごとにサーバーサイドでパソコンユーザー用のHTMLとスマートフォンユーザー用のHTMLを出し分ける施策です。