ज़्यादातर AI कंपनियां अलग अलग कामों वाले कई crawlers चलाती हैं: एक training का data इकट्ठा करता है, एक search index बनाता है, और एक किसी पेज को तब लाता है जब कोई उपयोगकर्ता उसके बारे में पूछे। robots.txt आपको हर एक को नाम लेकर अनुमति देने या रोकने देता है। Search crawler को रोकने से आप उस कंपनी के AI जवाबों से बाहर हो जाते हैं; सिर्फ़ training crawler रोकने से आम तौर पर ऐसा नहीं होता। यह पेज मुख्य crawlers गिनाता है और बताता है कि उनके लिए नियम कैसे बनाएं।
मुख्य AI crawlers
| कंपनी | User agent | काम |
|---|---|---|
| OpenAI | GPTBot | वह content इकट्ठा करता है जो models को train करने में उपयोग हो सकता है |
| OAI-SearchBot | ChatGPT में search नतीजों के लिए index बनाता है | |
| ChatGPT-User | किसी पेज को तब लाता है जब उपयोगकर्ता के निवेदन को उसकी ज़रूरत हो | |
| Anthropic | ClaudeBot | वह content इकट्ठा करता है जो models को train करने में उपयोग हो सकता है |
| Claude-SearchBot | Claude में search नतीजे सुधारने के लिए crawl करता है | |
| Claude-User | किसी पेज को तब लाता है जब कोई उपयोगकर्ता Claude से उसके बारे में पूछे | |
| Perplexity | PerplexityBot | Perplexity का search index बनाता है |
| Perplexity-User | किसी पेज को तब लाता है जब उपयोगकर्ता के सवाल को उसकी ज़रूरत हो | |
| Googlebot | Google Search के लिए crawl करता है, जिसमें AI Overviews और AI Mode शामिल हैं | |
| Google-Extended | एक robots.txt token (अलग crawler नहीं) जो Gemini के training और grounding में content के उपयोग को नियंत्रित करता है | |
| Apple | Applebot-Extended | एक robots.txt token जो Applebot के crawl किए content के Apple के models को train करने में उपयोग को नियंत्रित करता है |
| Meta | meta-externalagent | Training और AI उत्पादों के लिए content इकट्ठा करता है |
| Common Crawl | CCBot | एक खुला web archive बनाता है जिस पर बहुत सी AI कंपनियां train करती हैं |
कंपनियां समय समय पर crawlers जोड़ती और उनके नाम बदलती हैं, इसलिए बदलाव करने से पहले हर कंपनी का crawler documentation जाँचें।
तीन फ़ैसले जो करने हैं
1. क्या आप AI जवाबों में दिखना चाहते हैं?
ज़्यादातर व्यवसायों के लिए जवाब हाँ है, जिसका मतलब है search crawlers को अनुमति देना: OAI-SearchBot, Claude-SearchBot, PerplexityBot और Googlebot। Google, AI Overviews के लिए अलग नियंत्रण नहीं देता। उनसे content बाहर रखने का एक ही तरीक़ा nosnippet नियम है, जो आपके सामान्य search snippets भी हटा देता है।
2. क्या आप model training की अनुमति देते हैं?
यह एक व्यावसायिक और अधिकारों का फ़ैसला है, visibility से अलग। आप GPTBot, ClaudeBot, CCBot और ऐसे crawlers रोक सकते हैं और फिर भी ऊपर दिए search crawlers को अनुमति दे सकते हैं। जो content पहले से किसी training set में है, वह अब रोकने से हटता नहीं।
3. Google-Extended का क्या?
Google-Extended, Gemini के आपके content को जवाब grounding करने में उपयोग को भी ढकता है, न कि सिर्फ़ training को। उसे रोकने से Gemini आपको कितनी बार cite करता है वह घट सकता है। यह Google Search की rankings या AI Overviews पर असर नहीं डालता।
उदाहरण robots.txt
यह उदाहरण AI search और उपयोगकर्ता के कहने पर लाने की अनुमति देता है पर training crawlers रोकता है:
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: meta-externalagent
Disallow: /
User-agent: *
Allow: /
Sitemap: https://www.example.com/sitemap.xml
जिन crawlers का नाम फ़ाइल में नहीं है वे “User-agent: *” के नियम मानते हैं। हर search crawler को Allow नियम के साथ गिनाने की ज़रूरत नहीं अगर default पहले से उन्हें अनुमति देता है।
वे चीज़ें जो robots.txt नहीं कर सकता
- यह कुछ लागू नहीं करवा सकता। जमी हुई कंपनियां इसे मानती हैं; अनजान scrapers इसे नज़रअंदाज़ कर सकते हैं।
- उपयोगकर्ता के कहने पर आने वाले fetchers एक धुँधला क्षेत्र हैं। कुछ कंपनियां, जिनमें Perplexity भी है, कहती हैं कि उनका उपयोगकर्ता के कहने पर आने वाला fetcher robots.txt न माने, इस आधार पर कि किसी व्यक्ति ने उस पेज को माँगा है।
- यह पेजों को index से नहीं हटाता। कोई रोका गया URL फिर भी सूची में आ सकता है अगर दूसरी साइटें उससे जुड़ती हैं।
- यह crawlers को बदलाव की सूचना नहीं दे सकता। Bing और कुछ दूसरे engines में तेज़ indexing के लिए IndexNow उपयोग करें।
अपना CDN और firewall भी जाँचें
बहुत सी साइटें AI crawlers को बिना जाने रोक देती हैं। Security plugins, hosting firewalls और CDNs अनजान bots को चुनौती दे सकते हैं या रोक सकते हैं। जुलाई 2025 में Cloudflare ने नए domains के लिए जाने पहचाने AI crawlers को अपने आप रोकना शुरू किया, और साइट मालिकों को उन्हें अनुमति देने के लिए setting बदलनी पड़ती है। अगर AI search crawlers आपके server logs में कभी नहीं दिखते, तो robots.txt को दोष देने से पहले ये परतें जाँचें। हमारा मुफ़्त AI crawler access checker एक ही command में दस crawlers के लिए robots.txt, firewall के जवाब और rendering जाँचता है।
कोई crawler असली है यह कैसे जाँचें
कोई भी ऐसा निवेदन भेज सकता है जो GPTBot या Googlebot होने का दावा करे। Log के data पर भरोसा करने के लिए:
- निवेदन करने वाला IP पता उन ranges से जाँचें जो कंपनी छापती है (OpenAI, Anthropic, Perplexity और दूसरे उन्हें छापते हैं)।
- Googlebot और Bingbot के लिए, IP पर reverse DNS lookup चलाएं और फिर उस hostname पर forward lookup, यह पुष्टि करने के लिए कि वह उसी IP पर लौटता है।
- जो निवेदन ये जाँचें पास न करें उन्हें आम bots की तरह लें, उनका user agent चाहे जो कहे।
अक्सर पूछे जाने वाले सवाल
अगर मैं GPTBot रोक दूँ, तो ChatGPT मुझे cite करना बंद कर देगा?
ज़रूरी नहीं। ChatGPT search, OAI-SearchBot के index का उपयोग करता है। GPTBot रोकने से केवल training पर असर पड़ता है।
क्या WordPress में robots.txt फ़ाइल होती है?
अगर साइट की जड़ में कोई भौतिक फ़ाइल न हो तो WordPress एक virtual robots.txt बनाता है। Plugins और themes उसमें नियम जोड़ सकते हैं। अगर कोई भौतिक robots.txt मौजूद है, तो वह virtual वाली की जगह ले लेती है।