生成
robots.txtとサイトマップは役割が違います。
発見とアクセスを分ける
サイトマップは発見してほしいURLの一覧、robots.txtは協力するクローラーへの取得指示です。どちらもパスワードの代わりにはなりません。非公開請求書には認証が必要です。公開記事、内部機能、秘密の資料を先に分類します。
意図を持って規則を書く
記事が/guides/、内部検索が/search/にあるとします。User-agent: *のDisallow: /search/はその取得を控えるよう求めます。公開前にパスの前方一致を確認し、表示に必要なCSSや画像を誤って止めないようにします。空のDisallowは制限を設けません。
ブロックと削除は別
ブロックするとページのnoindexも読めない場合があります。検索結果からの削除方法として頼らず、検索エンジンの最新説明に従ってインデックス制御や認証を選びます。すべてのボットが従うとも限りません。
URL一覧を整理する
実際の公開システムから公開canonical URLを出し、転送、フラグメント、非公開ページ、重複クエリーを除きます。生成器は同一オリジンとHTTPSを要求しますが、応答状態は調べません。更新していないページに今日の日付を付けないでください。
配置後に確認する
robots.txtはホストのルートへ、XMLは安定した場所へ置きます。訪問者として開き、ログイン画面やHTMLエラーになっていないか確認します。サイトマップ送信は登録の保証ではありません。ルートや権限が変わるたびに見直します。