クローラーとは世界中のサイトを巡回してサイトに掲載されている情報を集めるロボットのことです。自社サイトをGoogle検索で上位表示させるにはクローラビリティを高める必要があります。そこでクローラーについて解説したうえで、クローラビリティを高める施策を紹介します。

クローラーとは

クローラーとは、Webサイトの情報を収集して検索データベースを作成する巡回ロボットのことです。「這い回る」という意味のcrawlからクローラーと呼ばれています。

クローラーの種類

検索エンジンを運営している会社ごとにクローラーが存在しますが、いずれも役割はほぼ同じです。主なクローラーは以下のものがあります。

以上のクローラー以外にも、SEOツールのクローラーや画像専門のクローラー、広告専門のクローラーが存在します。

数ある検索エンジンの中でもGoogleのシェアは世界トップで、日本でも80％以上のシェアです。Yahoo! JapanもGoogleの検索エンジンを使用しています。そのためSEO対策は「特にGoogleを意識して行うべき」といってよく、つまりGoogleのクローラーであるGooglebot対策が必要です。

SEOとは？基礎知識と初心者がやるべき対策をわかりやすく解説

自社サイトの流入数を増やし、ビジネスを成長させるにはSEO対策(検索エンジン最適化)が欠かせません。このページでは初心者の方でもわかりやすいように、「SEO対策がそもそもどのようなものなのか？」を解説します。基本的な概念をどこよりもわかりやすくご紹介するので、SEO対策を検討されている方はぜひ参考にしてみてください。

クローリングの対象

クローラーはリンクを辿ってサイトを巡回して（クローリングして）、ソースを解析した後次のファイルを収集します。

収集したファイルを検索アルゴリズムが扱いやすいデータに変換し、データベースにその結果を登録します。

クローラビリティとは

クローラーはサイト内の様々なファイルを収集・解析して、データベースに結果を登録します。サイト内のクローラビリティがしっかりしていれば、クローラーがサイトの情報を適切に収集します。

そのため自社サイトの価値を100％過不足なく伝えるにはクローラビリティを高めることが重要です。そのためにはサイト内をクローラーが巡回しやすくなるようにサイトの構造を整える施策が求められます。

クローラーの重要性

自社サイトにおいてクローラーを意識した施策が重要になるのは、それにより自社サイトを検索上位に表示させることができるからです。自社サイトにどれだけ価値の高い情報や興味深いコンテンツを載せても、クローラーが認知しないと検索結果に影響しません。したがって自社サイトが上位表示されることはなく、ユーザーに閲覧してもらうことも難しいでしょう。

上位表示を狙い多くのユーザーに閲覧してもらいたいのであれば、自社サイトのクローラビリティ向上は欠かせないといえます。

クロールバジェットとは

クロールバジェットとは、検索エンジン側が定めた、1つのサイトに対するクロールの回数です。インターネット上のサイトはほぼ無限に存在し、Googleさえもそれらに対して何度もクロールできません。そこで1つのサイトに対するクロール回数の上限としてクロールバジェットが定められました。

一般的にクロール回数が多いほどサイトにとって有利であると考えられるので、クロール回数が多くなる施策は重要です。Googleは明示していませんが、例えばページ表示速度が速いとクロール回数が増え、遅いとクロール回数が減る傾向がみられます。

次章で詳しく紹介しますが、ページ表示速度を高めることがクローラビリティを上げる施策になるのはそのためです。

クローラビリティを上げるための6つのポイント

クローラビリティを上げるには、サイトに対する施策が必要です。次に挙げる6つのポイントが重要施策です。

1つずつ確認していきましょう。

XMLサイトマップを作る

Googleのクローラーは、XMLサイトマップに設定されているURLをクローリングの手掛かりにして巡回しています。新規記事やリライトなどの更新があっても、XMLサイトマップを設置していれば検索エンジンに伝わります。クロールさせたいページはXMLサイトマップに登録しておくようにしましょう。

XMLについて詳しくはこちら

内部リンクを最適化する

クローラーはリンクを辿ってサイト内をクローリングします。そのため、内部リンクが必要でない箇所を除き、内部リンクがないページを作らないようにしましょう。

また、リンクは画像よりもテキストリンクでの設定がおすすめです。テキストリンクの方が、クローラーの巡回率は高いといわれています。

パンくずリストを設置する

パンくずリストとは、ユーザーが現在サイト内のどの位置にいるかを示したリストのこと。ページの上部または下部で階層順にリンクが並べられていることが多いです。パンくずリストが正しく設置されていると、クローラーもサイト内の現在地を認識できるためクローラビリティが上がります。

パンくずリストとは？SEO効果や作り方、デザインの参考になる注意点

パンくずリストとは、ユーザーがサイト内のどの位置にいるかを表すリストです。ページの最上部に設置されていることが多く、そのページが属する階層構造がリスト化されています。この記事では、パンくずリストを設置するメリットやSEO対策としての効果、作成時に気をつけるべきことをご紹介します。

ページ表示速度を高める

ページの表示速度が高まるとクロールの速度も上がり、クローラビリティが向上します。クロールの速度が上がれば、余ったクロールのリソースを他のページに充当できる利点もあります。

表示速度を高めるには、ファイルのサイズを減らすことが有効です。画像やCSS、JavaScriptなどのファイルを圧縮するだけでなく、不要なソースコードを削除しても表示速度の向上が見込めます。

重複ページをなくす

サイトの中には、同じページであっても「www.」が含まれるURLと含まれないURLが重複していることがあります。この場合、Googleは重複コンテンツとみなし評価を下げる可能性があるので注意が必要です。

さらに、全ての重複ページがクロールされるため、他のページにクロールするのに時間がかかったり、クローリングできなくなってしまったりします。重複ページは1つのURLに統一し、クローラビリティを上げましょう。

Googleにクロールリクエストを送る

Googleでは、GoogleサーチコンソールからURL検査ツールを使ってクロールをリクエストできます。ただしクロールリクエストは個々のURLを送信するため、URLの数が少ないサイトでおすすめの方法です。URLが多い場合は、サイトマップの送信が推奨されています。

クロールリクエストの手順は下記の通りです。

引用：https://developers.google.com/search/docs/advanced/crawling/ask-google-to-recrawl?hl=ja#guidelines

JavaScriptを最適化する

GoogleのクローラーはChromeブラウザと同等の能力を持ち、JavaScriptの実行が可能ですが、実行に時間がかかるとコンテンツのレンダリングをスキップすることがあります。これは、クローラーがユーザーのようにページ上でのクリック操作を実行しないため、特にクリックに依存するJavaScript生成コンテンツがクロールされない原因です。

ただし、Googleのクローラーは近年JavaScriptの処理能力が向上しており、多くの場合、特に意識しなくてもクロール・インデックスされます。

それでも影響はあるため、最適化のポイントとして、クローラーが効率よくサイトを解析できるよう、コンテンツのアクセシビリティを高める工夫が必要です。

robots.txtの設置

robots.txtは、検索エンジンのクローラーに対して、「サイトのどのURLにアクセスしてよいか」を伝えるものです。robots.txtにサイトマップのURLを記述することができるので、ぜひ実施してみてください。この施策により、クローラーがより速くサイトを巡回できます。

クローラーの巡回を確認する方法

自社サイトにクローラー対策の施策を実施したら、その効果が出ているか確認しましょう。ここではクローラーの巡回を確認する3つの方法を紹介します。

URLの前に「site:」をつけて検索

新規ページの公開後に、ページがクローリングされたかどうかを確認できる方法です。URLの前に「site:」とつけてGoogle検索すると、クローラーが既に訪れていた場合該当のページが表示されます。まだインデックスされていなければ、「一致する情報は見つかりませんでした」と表示が出てきます。

新規ページがまだ認識されていないようであれば、クロールリクエストを行いましょう。

タイトルやメタディスクリプションを変更して確認

リライトなどで更新された記事がクローリングされたかを確認するときに試せる方法です。更新前のタイトルやメタディスクリプションを変更し、更新後にsite:URLで確認します。

ここで注意したいのが、変更すべきなのはタイトルやメタディスクリプションなどの「検索結果」で表示される部分である、ということです。検索結果には表示されない本文中の部分を変更していても、クローリングされたかは確認できません。

クロールの統計情報を確認

Googleサーチコンソール内のクロールの統計情報でも、クローラーの訪問を確認できます。サーチコンソールのメニューから「設定」を選択し、クロールの統計情報で「レポートを開く」をクリックすれば、当該サイトのクロールの統計情報が表示されます。

ただし、この方法は日付別にクローラーが訪れたサイトのページ数を確認するものです。どのページにクローラーが訪れたかを知りたい場合は、上記2つの方法を試しましょう。

クローラーにページを巡回させない方法

先ほど、「一般的にクロール回数が多いほどサイトにとって有利である」と説明しましたが、例外的にクローラーに巡回させないほうがよいページもあります。それは、ユーザーにとって価値が低いページです。例えば会員限定のページや編集中のページは、一般のユーザーにとって価値が低いといえ、検索エンジン側もそう認識します。

そこで、クローラーに巡回させたくないページに対し、クローラーに巡回させない処置が必要です。先ほど紹介したrobots.txtを使うと、そのページはクロールされません。

クローラー対策は自社サイトの価値を高める

クローラーの概要と、自社サイトにクローラー対策を施すことの重要性について解説しました。せっかくよいコンテンツをサイトに掲載しても、Google検索で上位表示されないとユーザーにみてもらえません。

クローラー対策の検討を始めたら、ぜひipeのディレクターによるSEO無料診断を受けてみてください。自社サイトのクローラー対策は十分かどうか、不足している施策はないか、といったことを無料でチェックいたします。もちろん有益なクローラー対策も提案できます。