robots.txt / sitemap.xml 診断

利用方法
  • URLを入力すると、このサーバーから robots.txt・そのページ・サイトマップを順に取得し、次の3つを根拠つきでまとめます。診断には25秒ほどかかることがあります。
    • robots.txt — 選んだクローラーが、そのURLを取得してよいか(RFC 9309 に沿って解釈し、適用されたルールの行番号と原文を示します)
    • ページの指示 — meta robots・X-Robots-Tag・canonical・hreflang と、その矛盾
    • サイトマップ — 形式・件数・問題のある行、そのURLが載っているか、載っているURLの抜き取り確認
  • 結果は「取得した robots.txt を、選んだクローラーについて RFC 9309 に沿って解釈すると」どうなるかを示すもので、検索エンジンへの登録や巡回の時期を保証するものではありません。robots.txt での拒否や noindex は、意図した設定かどうかをご確認ください。
  • 取得は、このサーバーの名前で行います(Googlebot などを名乗りません)。クローラーの種類によって応答を変えるサイトでは、結果が異なる場合があります。また、診断のため robots.txt の指定にかかわらず取得します。
  • ページの JavaScript は実行しないため、JavaScript で後から入る meta robots などは検出できません。
  • 判定は「良好」「参考」「注意」「要対応」「判定不能」「未確認」で表します。判定不能は取得に失敗したもの(この診断サーバーから届かなかっただけの可能性もあります)、未確認は上限・時間・対象外の形式などのため調べていないもので、どちらも問題が無いという意味ではありません。
  • サイトマップは20ファイル・展開後の合計10MiBまで、URL(loc)は1000件まで読みます。抜き取り確認は、診断するURLと同じホストのURLから10件を選んで確かめます。テキスト形式・RSS・Atom のサイトマップは対象外です。
  • 診断は、入力したサイトへ、通常の閲覧と同程度のアクセスを行います。ご自身が管理するサイトなどに対してお使いください。
  • 入力したドメイン名・URLなどは、次に入力するときの候補として、このブラウザに保存されます。共用のパソコン・スマートフォンでご利用の場合は、使い終わったら「入力履歴消去」を押してください（シークレットモード・プライベートブラウズでは、閉じると自動で消えます）。
免責事項
当サイトをご利用したことによる、またはご利用になれないことにより生じるトラブルや損害には、当方は一切の責任を負いません。

travel_explore Webサイト診断 のほかのツール