생성기
robots.txt와 사이트맵은 서로 다른 문제를 풉니다.
발견과 접근 구분
사이트맵은 발견할 URL 목록이고 robots.txt는 협력하는 크롤러의 가져오기 규칙입니다. 둘 다 암호 시스템이 아닙니다. 비공개 청구서는 인증으로 보호해야 합니다. 공개 콘텐츠, 내부 기능, 비밀 자원을 먼저 구분하세요.
목적 있는 규칙 작성
글은 /guides/, 검색 기능은 /search/에 있다고 가정하세요. User-agent: * 아래 Disallow: /search/는 해당 그룹에 가져오지 말라고 요청합니다. 경로 접두어를 확인해 CSS와 이미지를 잘못 막지 마세요. 빈 Disallow는 제한을 두지 않습니다.
차단과 삭제는 다름
robots 차단 때문에 페이지의 noindex를 읽지 못할 수 있습니다. 검색 결과 삭제 방법으로 의존하지 마세요. 검색엔진의 현재 지침에 따라 색인 제어나 인증을 선택하세요. 모든 봇이 따르는 것도 아닙니다.
URL 목록 정리
실제 발행 시스템에서 공개 canonical URL을 내보내세요. 리디렉션, 프래그먼트, 비공개 페이지, 중복 쿼리를 제거합니다. 생성기는 같은 출처와 HTTPS를 요구하지만 상태 코드는 확인하지 않습니다. 수정하지 않은 모든 페이지에 오늘 날짜를 넣지 마세요.
배포 후 각각 확인
robots.txt는 호스트 루트, XML은 고정 주소에 두세요. 방문자로 열어 로그인 화면이나 HTML 오류가 아닌지 확인합니다. 사이트맵 제출은 색인을 보장하지 않습니다. 경로나 접근 규칙이 바뀌면 다시 확인하세요.