robots.txt और साइटमैप अलग काम करते हैं।
खोज और पहुँच अलग रखें
साइटमैप क्रॉलर को खोजने लायक URL की सूची देता है। robots.txt सहयोगी क्रॉलर को डाउनलोड के नियम बताता है। दोनों पासवर्ड नहीं हैं। निजी बिल को प्रमाणीकरण चाहिए। पहले सार्वजनिक लेख, अंदरूनी सुविधा और निजी संसाधन अलग करें।
सोचकर नियम लिखें
लेख /guides/ और अंदरूनी खोज /search/ में हो तो User-agent: * के नीचे Disallow: /search/ उस समूह को पाथ न लेने को कहता है। पाथ का आरंभ जाँचें ताकि ज़रूरी CSS और चित्र न रुकें। खाली Disallow उस समूह में रोक नहीं लगाता।
रोकना हटाना नहीं है
robots रोक के कारण क्रॉलर पेज का noindex भी नहीं पढ़ सकता। इसे खोज परिणाम हटाने का भरोसेमंद तरीका न मानें। खोज इंजन के वर्तमान निर्देश पढ़कर इंडेक्स नियंत्रण या प्रमाणीकरण चुनें। हर बॉट नियम नहीं मानता।
साइटमैप सूची सँभालें
अपने वास्तविक प्रकाशन सिस्टम से सार्वजनिक canonical URL लें। रीडायरेक्ट, फ्रैगमेंट, निजी पेज और दोहराए क्वेरी रूप हटाएँ। जनरेटर एक ओरिजिन और HTTPS माँगता है, पर जवाब की स्थिति नहीं जाँचता। हर पेज को आज की तारीख न दें अगर वह बदला नहीं।
लगाने के बाद जाँचें
robots.txt होस्ट के रूट में और XML स्थिर पते पर रखें। आगंतुक की तरह खोलकर देखें कि लॉगिन या HTML त्रुटि नहीं है। साइटमैप जमा करना इंडेक्सिंग की गारंटी नहीं। रास्ते या पहुँच के नियम बदलें तो फिर जाँचें।