Googleの検索エンジンは、インターネット上にある数多のサイトの情報を認識するために「クローラー」と呼ばれるロボットを巡回させています。クローラーがサイトを訪れるとサイト情報が検索エンジン側で整えられて、検索画面で私たちが閲覧できるようになります。
このような仕組みなので、いくらサイト内容を編集してもクローラーが訪れなければサイト情報は更新されません。クローラーはいったいいつ私たちのサイトを訪れているのでしょうか。「自分のサイトにクローラーがいつ来たのか知りたい」という方に向けてこのページでは、クローラーの巡回状況を確認する方法をお伝えします。
クローラーの役割
イントロでも触れましたが、クローラーはサイト情報を収集する検索エンジンのロボットです。インターネット上にはいくつものサイトが存在しますが、そのサイトはリンク同士で繋がっています。リンクを辿り、クローラーがテキスト情報から画像、PDFなど様々な情報を集めて回ることをクロ―リングといいます。
クローリングで集められた情報は処理しやすい形に整えられて、検索結果で表示されるようになります。検索エンジンは集められた情報を元にサイトを評価するので、しっかりとクローリングされれば、正しく検索エンジンに評価してもらえるというわけです。
また、クローラーはサイト情報を集めるだけではなく、サイトに貼られているリンクの質も確認しています。高い評価を得ているサイトにリンクを張ってもらっていれば、自身のサイトの評価も高まります。その一方で、スパムサイトや怪しいサイトにリンクが貼られていれば、自身のサイトの評価を下げる恐れがあります。
巡回状況を確認する方法
クローラーがいつ巡回したのかを確認する方法を紹介します。検索結果画面で確認する方法とツールを使用する方法があるので、自身のお好みで選択して試してみて下さい。
検索結果画面から確認する
自分が調べたいサイトのURLを「site:○○○○(URL)」で検索します。すると、検索表示されるページのタイトル付近に小さな逆三角形が現れます。三角形をクリックして「キャッシュ」を選択すると、ページ上部に「このページは ○○年〇月〇日 〇:〇:〇 GMT に取得されたものです。」と表示されます。
この表示されている日付が前回、クローラーが巡回した日付です。確認した時に、クローラーが前回訪れてからかなり時間が経つ場合はクローラーが再び訪れるようにしなければいけません。クローラーが自身のサイトを訪れるようにする方法は後述しています。
また、三角形をクリックする方法以外にも、「cache:○○〇〇(URL)」を検索すれば「このページは ○○年〇月〇日 〇:〇:〇 GMT に取得されたものです。」が表示されるページに直接アクセスすることができます。
Search Consoleから確認する
Search Consoleのレポートからクロールの巡回状況を確認することができます。
サイドバーの設定から「レポートを開く」をクリックするとクロールの統計情報が表示されます。サイト内に存在するすべてのページのクロール状況を一目で確認することが出来るので大変便利です。
この方法以外にも、URL検査から特定のページを確認することで最新のクロール状況をページ単位で調べることもできます。
URL検査は1日に使用できる回数に制限があり、さらに確認に少し時間がかかってしまうので、Search Consoleでクロール状況を確認する際はレポートから一気に確認する方法をおすすめします。
クローラーが訪れないサイトの特徴
検索エンジンで、自身が運営するサイトを検索した際に検索順位にも表示されない、またはインターネット上に存在しないという場合があります。
これは、サイトにクローラーが訪れる頻度が限りなく少ないと起こる現象です。
インターネット上には、世界の人口より多くのサイトが存在していると言われています。したがって、全てのサイトを平等に見て回ることがクローラーにはできません。
出来立てホヤホヤのサイトで、外部リンクが存在しないサイトであれば、こちらから検索エンジンにサイトの存在を伝えるためにクローラーを呼ばなければいつまで待ってもサイトは誰にも見られることはありません。
また、何か月もサイト情報を更新していなかったら、サイト内容を変えたとしても「あのサイトは更新されない」と検索エンジンに判断されていればクローラーはなかなか訪れません。
アクセスがないサイトは、「訪れる価値がないサイト」と認識されてしまう恐れがあります。そうならないようにサイト情報は定期的に更新して、ユーザーに役立つ情報を公開することが重要となります。
クローラーを呼ぶ・クロールされるための方法
指定した時間にクローラーを呼ぶことは出来ませんが、クロールのリクエストをすることは出来ます。
1. Search Consoleからクローラーを呼ぶ
Googleが無料で提供している分析ツールSearch Consoleからクローラーを呼ぶためにサイトマップを登録することができます。
サイトを作成する際に重要なのはユーザーが情報を取得しやすいシンプルな構造です。これはユーザーだけでなくクローラーにとっても同じことを言えます。
何度も階層が変わらないとたどり着かないページがいくつも存在するサイトであれば、クローラーはどのページを巡回していいのか判断できなくなってしまい、素通りしてしまう可能性が高まります。
ですから、こちらからサイト構造を伝えるためのサイトマップを作成してgoogleに認識してもらえれば、クローラーもスムーズにサイト内容を確認できるので、問題なく巡回できます。
また、サイトマップを登録する方法以外にも、URL検査から特定のページを選択して、クロールリクエストをすることができます。
クロールリクエストを行うと数日から数週間のうちにクローラーが巡回に訪れます。
これまでクローラーが巡回に訪れていないサイトや新しく立ち上げたサイトはどうしてもクロールされるのに時間がかかる恐れがあります。何もしないよりかは上記で説明した方法を試すと早くクローリングされるのでぜひ試してみて下さい。
外部リンクを増やす
クローラーはリンクを辿りサイトを巡回します。ですので、クローラーが訪れるためのリンクを増やすことでクロールされる可能性を高めることができます。
権威性の高い誰もが知っているFacebookやTwitter、YouTubeといった無料で登録できるサービスを利用して外部リンクを増やすのはクロールを巡回させる手段として効果的です。
クローラーを拒否する方法
クローラーを呼ぶ方法があれば拒否する方法もあります。テスト段階のページやコンテンツ量が少ないページ、またはサイト運営者側のみが閲覧できるページなどが存在する場合に活用できる方法となります。
拒否する主な手段は、metaタグを使用してクローラーの巡回対象から除外する方法です。
以下のコードをhtml内head間に設置することで、クローラーが訪れなくなります。
=> <meta name=”robots” content=”noindex,nofollow”>
その他にも、robots.txtを作成してクローラーが巡回しないように設定することも可能です。
まとめ
いかがでしたでしょうか。Googleのクロールの巡回状況を確認する方法とクローラーが訪れない時の対策方法などを紹介しました。
新しくサイトを立ち上げた人やしばらく更新していなかったサイトの運営を再開した人は今回お伝えした内容を参考にまずはクローラーに巡回してもらいましょう！