robots.txt y los sitemaps resuelven problemas distintos.
Distingue descubrimiento y acceso
Un sitemap ofrece URL para descubrir; robots.txt orienta la descarga de rastreadores cooperativos. Ninguno sustituye una contraseña. Una factura privada necesita autenticación. Clasifica primero contenido público, páginas de utilidad y recursos privados.
Escribe una regla deliberada
Si los artículos están en /guides/ y la búsqueda interna en /search/, Disallow: /search/ bajo User-agent: * pide no descargar esa ruta. Comprueba los prefijos para no bloquear CSS o imágenes necesarias. Un Disallow vacío no impone restricciones en ese grupo.
Bloquear no significa eliminar
Un bloqueo puede impedir leer el noindex de la página. No es un método fiable para eliminar resultados. Consulta las indicaciones actuales del buscador y elige controles de indexación o autenticación. Tampoco todos los bots obedecen.
Selecciona las URL del sitemap
Exporta URL públicas canónicas desde tu sistema real. Elimina redirecciones, fragmentos, páginas privadas y variantes duplicadas. El generador exige HTTPS y un origen, pero no prueba respuestas. No asignes la fecha de hoy a todas las páginas si no cambiaron.
Publica y verifica
Coloca robots.txt en la raíz del host y el XML en una dirección estable. Abre ambos como visitante y comprueba que no devuelvan un acceso privado o error HTML. La presentación del sitemap no garantiza indexación. Revisa los archivos al cambiar rutas o permisos.