生成器
robots.txt 和站点地图，解决的是不同问题。
把发现、抓取与访问分开
站点地图列出希望爬虫发现的网址，robots.txt 给自愿遵守的爬虫提供抓取规则。两者都不是密码系统。私密账单需要身份验证，不能只写 robots。先区分公开正文、内部功能页与真正的私密资源。
有目的地编写规则
假设公开内容位于 /guides/，站内搜索位于 /search/。在 User-agent: * 下写 Disallow: /search/，是请求该组不要抓取此路径。部署前核对前缀，避免误挡 CSS 和图片影响渲染。生成结果中的空 Disallow 表示该组不限制抓取。
禁止抓取不等于删除收录
robots 禁止可能使爬虫看不到被禁页面上的 noindex。因此它不是可靠的搜索结果删除方法。若目标是移除页面，应查阅搜索引擎当前指引，选择相应索引控制或身份验证。也不能假定所有机器人都会遵守规则。
认真整理地图网址
从实际发布系统导出公开规范网址，去掉跳转、片段、私密页面和重复查询变体。生成器要求单一来源、HTTPS，并去除标准化字符串重复，但不代表每页都成功响应，应另行实测。不要给所有页面填当天日期，除非它们确实更新了。
部署后分别验证
robots.txt 放在主机根目录，XML 放在稳定地址。以访客身份打开，确认返回文件而不是登录页或 HTML 错误。可通过搜索引擎站长工具提交地图。提交不保证收录。路由或访问规则变化时，应重新核查两种文件。