AI Crawlers और robots.txt: किन bots को अनुमति दें

Training, search और उपयोगकर्ता के कहने पर आने वाले crawlers की पूरी सूची, तीन फ़ैसले, उदाहरण robots.txt, और CDN तथा firewall की जाँच.

भाषा: English · हिंदी · मराठी

ज़्यादातर AI कंपनियां अलग अलग कामों वाले कई crawlers चलाती हैं: एक training का data इकट्ठा करता है, एक search index बनाता है, और एक किसी पेज को तब लाता है जब कोई उपयोगकर्ता उसके बारे में पूछे। robots.txt आपको हर एक को नाम लेकर अनुमति देने या रोकने देता है। Search crawler को रोकने से आप उस कंपनी के AI जवाबों से बाहर हो जाते हैं; सिर्फ़ training crawler रोकने से आम तौर पर ऐसा नहीं होता। यह पेज मुख्य crawlers गिनाता है और बताता है कि उनके लिए नियम कैसे बनाएं।

मुख्य AI crawlers

कंपनी User agent काम
OpenAI GPTBot वह content इकट्ठा करता है जो models को train करने में उपयोग हो सकता है
OAI-SearchBot ChatGPT में search नतीजों के लिए index बनाता है
ChatGPT-User किसी पेज को तब लाता है जब उपयोगकर्ता के निवेदन को उसकी ज़रूरत हो
Anthropic ClaudeBot वह content इकट्ठा करता है जो models को train करने में उपयोग हो सकता है
Claude-SearchBot Claude में search नतीजे सुधारने के लिए crawl करता है
Claude-User किसी पेज को तब लाता है जब कोई उपयोगकर्ता Claude से उसके बारे में पूछे
Perplexity PerplexityBot Perplexity का search index बनाता है
Perplexity-User किसी पेज को तब लाता है जब उपयोगकर्ता के सवाल को उसकी ज़रूरत हो
Google Googlebot Google Search के लिए crawl करता है, जिसमें AI Overviews और AI Mode शामिल हैं
Google-Extended एक robots.txt token (अलग crawler नहीं) जो Gemini के training और grounding में content के उपयोग को नियंत्रित करता है
Apple Applebot-Extended एक robots.txt token जो Applebot के crawl किए content के Apple के models को train करने में उपयोग को नियंत्रित करता है
Meta meta-externalagent Training और AI उत्पादों के लिए content इकट्ठा करता है
Common Crawl CCBot एक खुला web archive बनाता है जिस पर बहुत सी AI कंपनियां train करती हैं

कंपनियां समय समय पर crawlers जोड़ती और उनके नाम बदलती हैं, इसलिए बदलाव करने से पहले हर कंपनी का crawler documentation जाँचें।

तीन फ़ैसले जो करने हैं

1. क्या आप AI जवाबों में दिखना चाहते हैं?

ज़्यादातर व्यवसायों के लिए जवाब हाँ है, जिसका मतलब है search crawlers को अनुमति देना: OAI-SearchBot, Claude-SearchBot, PerplexityBot और Googlebot। Google, AI Overviews के लिए अलग नियंत्रण नहीं देता। उनसे content बाहर रखने का एक ही तरीक़ा nosnippet नियम है, जो आपके सामान्य search snippets भी हटा देता है।

2. क्या आप model training की अनुमति देते हैं?

यह एक व्यावसायिक और अधिकारों का फ़ैसला है, visibility से अलग। आप GPTBot, ClaudeBot, CCBot और ऐसे crawlers रोक सकते हैं और फिर भी ऊपर दिए search crawlers को अनुमति दे सकते हैं। जो content पहले से किसी training set में है, वह अब रोकने से हटता नहीं।

3. Google-Extended का क्या?

Google-Extended, Gemini के आपके content को जवाब grounding करने में उपयोग को भी ढकता है, न कि सिर्फ़ training को। उसे रोकने से Gemini आपको कितनी बार cite करता है वह घट सकता है। यह Google Search की rankings या AI Overviews पर असर नहीं डालता।

उदाहरण robots.txt

यह उदाहरण AI search और उपयोगकर्ता के कहने पर लाने की अनुमति देता है पर training crawlers रोकता है:

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: meta-externalagent
Disallow: /

User-agent: *
Allow: /

Sitemap: https://www.example.com/sitemap.xml

जिन crawlers का नाम फ़ाइल में नहीं है वे “User-agent: *” के नियम मानते हैं। हर search crawler को Allow नियम के साथ गिनाने की ज़रूरत नहीं अगर default पहले से उन्हें अनुमति देता है।

वे चीज़ें जो robots.txt नहीं कर सकता

  • यह कुछ लागू नहीं करवा सकता। जमी हुई कंपनियां इसे मानती हैं; अनजान scrapers इसे नज़रअंदाज़ कर सकते हैं।
  • उपयोगकर्ता के कहने पर आने वाले fetchers एक धुँधला क्षेत्र हैं। कुछ कंपनियां, जिनमें Perplexity भी है, कहती हैं कि उनका उपयोगकर्ता के कहने पर आने वाला fetcher robots.txt न माने, इस आधार पर कि किसी व्यक्ति ने उस पेज को माँगा है।
  • यह पेजों को index से नहीं हटाता। कोई रोका गया URL फिर भी सूची में आ सकता है अगर दूसरी साइटें उससे जुड़ती हैं।
  • यह crawlers को बदलाव की सूचना नहीं दे सकता। Bing और कुछ दूसरे engines में तेज़ indexing के लिए IndexNow उपयोग करें।

अपना CDN और firewall भी जाँचें

बहुत सी साइटें AI crawlers को बिना जाने रोक देती हैं। Security plugins, hosting firewalls और CDNs अनजान bots को चुनौती दे सकते हैं या रोक सकते हैं। जुलाई 2025 में Cloudflare ने नए domains के लिए जाने पहचाने AI crawlers को अपने आप रोकना शुरू किया, और साइट मालिकों को उन्हें अनुमति देने के लिए setting बदलनी पड़ती है। अगर AI search crawlers आपके server logs में कभी नहीं दिखते, तो robots.txt को दोष देने से पहले ये परतें जाँचें। हमारा मुफ़्त AI crawler access checker एक ही command में दस crawlers के लिए robots.txt, firewall के जवाब और rendering जाँचता है।

कोई crawler असली है यह कैसे जाँचें

कोई भी ऐसा निवेदन भेज सकता है जो GPTBot या Googlebot होने का दावा करे। Log के data पर भरोसा करने के लिए:

  1. निवेदन करने वाला IP पता उन ranges से जाँचें जो कंपनी छापती है (OpenAI, Anthropic, Perplexity और दूसरे उन्हें छापते हैं)।
  2. Googlebot और Bingbot के लिए, IP पर reverse DNS lookup चलाएं और फिर उस hostname पर forward lookup, यह पुष्टि करने के लिए कि वह उसी IP पर लौटता है।
  3. जो निवेदन ये जाँचें पास न करें उन्हें आम bots की तरह लें, उनका user agent चाहे जो कहे।

अक्सर पूछे जाने वाले सवाल

अगर मैं GPTBot रोक दूँ, तो ChatGPT मुझे cite करना बंद कर देगा?

ज़रूरी नहीं। ChatGPT search, OAI-SearchBot के index का उपयोग करता है। GPTBot रोकने से केवल training पर असर पड़ता है।

क्या WordPress में robots.txt फ़ाइल होती है?

अगर साइट की जड़ में कोई भौतिक फ़ाइल न हो तो WordPress एक virtual robots.txt बनाता है। Plugins और themes उसमें नियम जोड़ सकते हैं। अगर कोई भौतिक robots.txt मौजूद है, तो वह virtual वाली की जगह ले लेती है।

जुड़े हुए पेज