真策堂

サーチコンソールの「サーバーエラー(5xx)」の原因と対処|WAF・アクセス制限でGooglebotが弾かれる時の切り分け

Search Consoleのサーバーエラー(5xx)の原因と対処を解説。ブラウザでは見えるのにGooglebotだけ弾かれるWAF・国外アクセス制限・CDNの切り分け、放置してよい期間の判断、サーバー会社への依頼の仕方までまとめました。

この記事のポイント

  • サーチコンソールのサーバーエラー(5xx)は、Googlebotがアクセスした瞬間に5xx相当の応答を受けた状態で、ブラウザの表示とは一致しない。
  • 原因は「サーバー本体」と「手前の防御層(WAF・国外アクセス制限・CDN)」の2系統で、先に防御層を疑うのが切り分けの定石である。
  • 数時間から1〜2日程度で収まる5xxは放置してよいが、それを超えて続く場合は、クロール頻度の低下とインデックス除外を避けるために当日中の調査が必要になる。
  • URL検査のライブテスト・クロールの統計情報・ホストのステータスの3画面を見れば、一時的な障害か継続的な遮断かを当日中に判定できる。

ブラウザでは普通に表示されるのに、Search Consoleには「サーバーエラー(5xx)」の通知が届く。サーバー会社に問い合わせても「異常は見当たりません」と返され、調査が止まってしまう。この状況に陥る担当者は少なくありません。

先に結論を言うと、Search Consoleのサーバーエラー(5xx)とは、Googlebotがクロールした時点で5xx相当の応答を受け取った記録です。訪問者に見えている画面とは別の経路で起きているので、ブラウザで確認しても再現しません。この記事では、サーチコンソールのサーバーエラー(5xx)の原因を、サーバー本体と防御層の2系統に分けて切り分ける手順を整理します。放置してよいケースと、サーバー会社に依頼すべき内容も決めていきます。

ブラウザでは見えるのに5xx通知が届く

Search Consoleの「サーバーエラー(5xx)」とは?ブラウザで見えても起きる理由

Googlebotとは、Googleが検索用にWebページを巡回して取得するクローラーです。サーバーエラー(5xx)は、そのGooglebotが取得を試みた時点でサーバー側から5xx系の応答、または応答不能に近い状態を受けたときに記録されます。

ブラウザで見えるのは、訪問者のIPアドレスやアクセスの仕方に対しては正常に応答しているからです。日本のレンタルサーバーには、国外アクセス制限やWAF(Webアプリケーションファイアウォール)が標準で付いているものが多く、これらは「誰からのアクセスか」で応答を変えます。つまり、人間には開き、Googlebotには閉じるという状態が普通に起こり得ます。

5xx・429・タイムアウトは同じ扱いになる

Google検索セントラルの「How HTTP status codes, and network and DNS errors affect Google Search」によると、429(リクエスト過多)やタイムアウト、接続リセットは、500番台のサーバーエラーと同じ扱いです。そのためWAFのレート制限に引っかかった場合も、Search Consoleでは「サーバーエラー」として見えます。表示名に「サーバー」とあっても、実際の原因がサーバーとは限りません。

1ページの5xxがサイト全体のクロールを落とす仕組み

Google検索セントラルの「Reduce the Google crawl rate」では、500・503・429はクロール頻度を一時的に下げる合図として扱われ、影響はURL単位ではなくホスト名全体に及ぶと説明されています。1ページだけのエラーに見えても、サイト全体の巡回ペースが落ちる可能性があります。「一部のURLだけだから放置」という判断が危ないのはこのためです。

5xxは放置していい?一時的な障害と継続的な遮断の見分け方

放置か当日対応か、通知を前に判断する 放置か当日対応か、通知を前に判断する

放置してよいのは、エラーが単発または短時間で、数日以内に件数が減っている場合に限られます。発生期間・件数の推移・ライブテストの結果の3点で、次のように判断します。

状況判断動き
1日以内で収まり、ライブテストも正常放置してよい翌日に件数を再確認
件数が日ごとに減っている様子見2日以内に0へ向かうか確認
1〜2日を超えて続くすぐ動く原因の切り分けに着手
特定URLでライブテストが毎回失敗すぐ動く防御層の遮断を疑う
全URLで同時に発生し続けるすぐ動くサーバー会社へ連絡

放置してよい5xxの条件

メンテナンスや一時的なアクセス集中のように、原因に心当たりがあり、すでに復旧している場合です。Search Engine Journalの「Cloudflare Outage Triggers 5xx Spikes」では、CDNの短時間の障害による5xxの急増は順位に長く影響しないとGoogleが説明したと紹介されています。日本でも、サーバー会社の障害情報と時刻が一致し、その後に件数が戻っているなら、慌てて設定をいじらない方が安全です。

1〜2日を超えたら動くべき理由

Google検索セントラルが許容する目安は、数時間から1〜2日程度です。これを超えると、クロール頻度の低下が長引きます。私の見方では、通知を受けた当日に「単発か、継続か」だけでも判定しておくと、動くべき日を見誤りません。

続くとインデックスから外れるまでの流れ

流れは段階的です。まずGooglebotがクロール頻度を下げ、次にエラーが続くURLの再取得が滞り、最終的にサーバーエラーが続くURLはインデックスから削除されます。削除後に直しても、戻るまで時間がかかります。

5xxの原因はどこで切り分ける?3つの画面で確かめる手順

5xx切り分けの判断フロー 図1: 5xx切り分けの判断フロー

5xxの原因は、URL検査のライブテスト、クロールの統計情報、ホストのステータスの3画面で順に確認すると絞り込めます。1画面だけでは「一時的か継続的か」を判定できません。

URL検査のライブテストで再現するか

URL検査のライブテストとは、Search Consoleから今この瞬間のGoogleの取得結果を確認する機能です。問題のURLを入力し、「公開URLをテスト」を実行します。ここで毎回「サーバーエラー」や「ページを取得できませんでした」と出るなら、継続的な遮断の可能性が高くなります。正常に取得できるなら、一時的な障害だった可能性が高いです。数回試して結果が揺れるなら、レート制限のような条件付きの遮断を疑います。

クロールの統計情報で5xxの比率と発生日を見る

「設定」→「クロールの統計情報」→「レスポンス別」で、サーバーエラー(5xx)の件数と日付を見ます。特定の日だけ山になっているなら障害、毎日一定量が出続けるなら遮断やレート制限です。あわせて「クロール リクエストの合計数」の推移も見て、クロール頻度が落ちていないか確認します。

ホストのステータスの「サーバー接続」が赤い時

ホストのステータスは、クロールの統計情報の中にある、サーバー接続・DNS・robots.txt取得の3項目の状態表示です。「サーバー接続」が赤の場合、Googleがサーバーに安定して接続できていません。この場合は、個別ページではなくサイト全体の問題として扱い、次章の防御層を最優先で確認します。

WAF・国外アクセス制限でGooglebotが弾かれているか確かめるには

Googlebotに届くまでの2系統の層 図2: Googlebotに届くまでの2系統の層

Googlebotが弾かれる原因として最も多いのは、サーバー本体ではなくファイアウォールやCDNだとされています。Search Engine Roundtableの「Google: Firewalls or CDNs Issues Are The Most Common Reason For Blocking Googlebot」では、DDoS防御のレート制限に巻き込まれるケースが指摘されています。日本のレンタルサーバーにもWAFが標準搭載されているため、同じ現象が起きやすいと考えるのが自然です。サーバー本体より先に、防御層から確認します。

レンタルサーバーの国外アクセス制限・WordPressセキュリティ設定

Search Engine Roundtableの「Google: Blocking US Users, Means Blocking GoogleBot」によると、Googlebotは主に米国のIPからクロールします。そのため国外アクセスを遮断すると、Googlebotも遮断されます。エックスサーバーのサーバーパネルにある「国外アクセス制限設定」などが該当します。確認は次の順です。

確認箇所見るもの
サーバーパネルの国外アクセス制限オンになっていないか
WordPressのセキュリティ系プラグイン国別ブロック・ボット遮断の設定
サーバーのWAF設定対象ドメインでオンか、除外設定があるか

「国内の顧客向けサイトだから」と国外制限をオンにした設定が、数か月後に5xxとして表面化する例は珍しくないと言われます。

WAFの誤検知とレート制限

WAFとは、不正なリクエストを検知して遮断する仕組みです。Googlebotの連続したリクエストを攻撃と誤判定すると、403や429、場合によっては接続切断を返します。サーバーパネルの「WAF設定」やログで、遮断の記録とGooglebotの時間帯が重なっていないかを見ます。

CloudflareなどCDNのボット対策とセキュリティイベント

Cloudflareを使っている場合は、ダッシュボードの「セキュリティ」→「イベント」で、Googlebotのアクセス時刻付近に遮断やチャレンジの記録がないかを確認します。ボット対策の設定が強いと、認証済みボット扱いにならない場合があります。CDN経由の無料SSLで起きる別の事故は、Cloudflare経由で無料SSLの更新に失敗する問題も参考になります。

オリジンのログに記録が残らないケース

CDNやWAFの層で発生した5xxは、オリジンサーバーのアクセスログに残りません。Oncrawlの「Cloudflare /cdn-cgi endpoint raising errors in GSC」でも、CDNの手前で発生したエラーはオリジンのログに出ないと指摘されています。「ログに何もないから問題なし」と判断せず、CDN側のイベントを必ず見てください。

本物のGooglebotか確かめる方法とサーバー会社への依頼の仕方

許可設定の依頼をする前に、遮断されているアクセスが本物のGooglebotか確認します。確認手段は、逆引きDNSとGoogleが公開しているIPリストの2つです。

逆引きDNSと公開IPリストで本物を確かめる

アクセスログのIPアドレスを逆引きし、googlebot.com または google.com のホスト名になるか確認します。続けてそのホスト名を正引きし、元のIPに戻れば本物です。もう1つは、Google検索セントラルで公開されているGooglebotのIPリスト(JSON)との照合です。User-Agentの文字列だけでは偽装できるので、判断材料にしません。

なお、Googlebotだけを例外にする設定には注意が必要です。Googlebotにだけ違う内容を見せるとクローキング扱いになり得ます。許可するのは「同じ内容を見せるための通行許可」までにとどめます。

サーバー会社に伝える情報のテンプレート

依頼文には、次の項目を入れると調査が早く進みます。

  • 対象ドメインと、エラーが出ているURL
  • Search Consoleでエラーが確認された日時の範囲
  • URL検査のライブテストでの結果(毎回失敗か、断続的か)
  • 本物のGooglebotのIP(公開IPリストで照合済みのもの)
  • 依頼内容:国外アクセス制限・WAF・レート制限による、該当IPの遮断履歴の確認と、遮断されている場合の除外設定

サーバー本体が原因の5xxはどう直す?過負荷・プラグイン・robots.txt

防御層に原因が見当たらなければ、サーバー本体を調べます。ここでも、全URLで起きるのか、特定URLだけなのかで切り分けます。

過負荷・同時接続の上限

共用サーバーでは、同時接続数やCPU使用量の上限を超えると503が返ります。アクセスの多い時間帯にだけエラーが集中するなら、過負荷の可能性が高いです。サーバーを変えるべきかの判断は、サイトが重い原因の切り分け手順で整理しています。

プラグイン・PHPのエラー

WordPressでは、プラグインの不具合やPHPのメモリ不足が500を引き起こします。特定のURLだけが失敗するなら、そのページで使っているプラグインやテーマの関数を疑います。サーバーのエラーログで該当時刻を確認し、直前に更新したプラグインを一時停止して再テストします。

robots.txtが5xxを返すと全体のクロールが止まる

robots.txtが5xxを返す状態が続くと、Googleはサイト全体のクロールを控えめにします。ホストのステータスで「robots.txt取得」が赤くなっていないかを必ず見てください。1ファイルの不具合がサイト全体に響くので、優先順位は最も高くなります。

直した後の確認と再発防止|修正を検証・広告への波及チェック

修正後は、「修正を検証」で再クロールを依頼し、広告への影響も確認します。5xxを遮断する設定は、同時にGoogle広告の審査も止めている可能性があります。

修正を検証とURL検査のリクエストの使い分け

「修正を検証」は、Search Consoleのエラー一覧から、まとまった件数のURLの修復を一括で確認してもらう機能で、完了まで最大で数週間かかる場合があります。一方、URL検査の「インデックス登録をリクエスト」は個別URLの再クロール依頼です。重要ページは後者で先に確認し、残りは前者に任せる使い分けが現実的です。エラーが減れば、クロール頻度は自動で戻ります。

解消後に残りやすい問題としては、「クロール済み インデックス未登録」の判断基準や、「検出 - インデックス未登録」が減らない原因が次の確認先です。サイトマップの症状から来た場合は、サイトマップ「取得できませんでした」の4層切り分けも同じ応答の問題として読めます。

Google広告の「リンク先が機能していません」も確かめる

Googlebotを弾く設定は、広告のリンク先を確認するAdsBot-Googleも弾くことがあります。WAFや国外制限が原因の場合、Google広告に「リンク先が機能していません」と表示される可能性があります。検索の5xxを直したら、広告管理画面の審査状況も合わせて確認してください。詳しくはGoogle広告「リンク先が機能していません」の原因と対処で扱っています。

防御設定を変えるときのチェックリスト

  • 設定変更の前後で、URL検査のライブテストを実行する
  • 変更日をメモし、クロールの統計情報で5xxの推移を追う
  • 国外アクセス制限やWAFの変更では、広告のリンク先も確認する
  • 月1回はホストのステータスを見る

よくある質問

Q:Search Consoleのサーバーエラー(5xx)を放置するとどうなりますか?

短時間であれば影響は小さいです。ただし、続くとクロール頻度が落ち、最終的にURLがインデックスから外れる可能性があります。目安は1〜2日です。

Q:ブラウザでは表示されるのにURL検査では5xxになるのはなぜですか?

WAF・国外アクセス制限・CDNが、GooglebotのIPやアクセスの仕方を遮断している可能性が高いです。訪問者には開き、Googlebotには閉じる設定になっていることがあります。

Q:5xxを直した後、どのくらいで反映されますか?

「修正を検証」は最大で数週間かかる場合があります。クロール頻度は、エラーが減れば自動で戻ります。

Q:国外アクセス制限をオンのままGooglebotだけ許可できますか?

公開IPリストを使えば許可はできます。ただし、Googlebotにだけ違う内容を見せるとクローキングになるため、同じ内容を表示することが前提です。

Q:サーバー会社のログに何も残っていないのに5xxが出るのはなぜですか?

CDNやWAFの層で発生した5xxは、オリジンのログに残らないためです。CDN側のセキュリティイベントを確認してください。

真策堂では、こうした広告とSEOをまたぐ原因の切り分けについて、サイトの状況に合わせたご相談を受けています。原因の見当がつかない場合や、サーバー会社への依頼内容を整理したい場合は、お気軽にお問い合わせください。

Contact

広告運用・マーケティングのご相談はこちらから
お問い合わせフォーム・公式LINEのどちらでもOK