बहुतेक AI कंपन्या वेगवेगळी कामे असलेले अनेक crawlers चालवतात: एक training चा data जमा करतो, एक search index बांधतो, आणि एक एखादे पान तेव्हा आणतो जेव्हा कोणी वापरकर्ता त्याबद्दल विचारतो. robots.txt तुम्हाला प्रत्येकाला नाव घेऊन परवानगी देऊ किंवा अडवू देते. Search crawler अडवल्याने तुम्ही त्या कंपनीच्या AI उत्तरांमधून बाहेर पडता; फक्त training crawler अडवल्याने सामान्यतः असे होत नाही. हे पान मुख्य crawlers नोंदवते आणि सांगते की त्यांसाठी नियम कसे बनवावे.
मुख्य AI crawlers
| कंपनी | User agent | काम |
|---|---|---|
| OpenAI | GPTBot | तो content जमा करतो जो models train करण्यात वापरला जाऊ शकतो |
| OAI-SearchBot | ChatGPT मध्ये search निष्कर्षांसाठी index बांधतो | |
| ChatGPT-User | एखादे पान तेव्हा आणतो जेव्हा वापरकर्त्याच्या विनंतीला त्याची गरज असेल | |
| Anthropic | ClaudeBot | तो content जमा करतो जो models train करण्यात वापरला जाऊ शकतो |
| Claude-SearchBot | Claude मध्ये search निष्कर्ष सुधारण्यासाठी crawl करतो | |
| Claude-User | एखादे पान तेव्हा आणतो जेव्हा कोणी वापरकर्ता Claude ला त्याबद्दल विचारतो | |
| Perplexity | PerplexityBot | Perplexity चा search index बांधतो |
| Perplexity-User | एखादे पान तेव्हा आणतो जेव्हा वापरकर्त्याच्या प्रश्नाला त्याची गरज असेल | |
| Googlebot | Google Search साठी crawl करतो, ज्यात AI Overviews आणि AI Mode समाविष्ट आहेत | |
| Google-Extended | एक robots.txt token (वेगळा crawler नाही) जो Gemini च्या training आणि grounding मध्ये content च्या वापरावर नियंत्रण ठेवतो | |
| Apple | Applebot-Extended | एक robots.txt token जो Applebot ने crawl केलेल्या content च्या Apple च्या models train करण्यातल्या वापरावर नियंत्रण ठेवतो |
| Meta | meta-externalagent | Training आणि AI उत्पादनांसाठी content जमा करतो |
| Common Crawl | CCBot | एक खुले web archive बांधतो ज्यावर अनेक AI कंपन्या train करतात |
कंपन्या वेळोवेळी crawlers जोडतात आणि त्यांची नावे बदलतात, त्यामुळे बदल करण्यापूर्वी प्रत्येक कंपनीचे crawler documentation तपासा.
तीन निर्णय जे घ्यावे लागतात
1. तुम्हाला AI उत्तरांमध्ये दिसायचे आहे का?
बहुतेक व्यवसायांसाठी उत्तर हो आहे, याचा अर्थ search crawlers ना परवानगी देणे: OAI-SearchBot, Claude-SearchBot, PerplexityBot आणि Googlebot. Google, AI Overviews साठी वेगळे नियंत्रण देत नाही. त्यांतून content बाहेर ठेवण्याचा एकच मार्ग nosnippet नियम आहे, जो तुमचे सामान्य search snippets सुद्धा काढून टाकतो.
2. तुम्ही model training ला परवानगी देता का?
हा एक व्यावसायिक आणि हक्कांचा निर्णय आहे, visibility पेक्षा वेगळा. तुम्ही GPTBot, ClaudeBot, CCBot आणि तसे crawlers अडवू शकता आणि तरीही वरचे search crawlers ना परवानगी देऊ शकता. जो content आधीपासून कोणत्या training set मध्ये आहे, तो आता अडवल्याने निघत नाही.
3. Google-Extended चे काय?
Google-Extended, Gemini च्या तुमचा content उत्तरे grounding करण्यातल्या वापरावरही नियंत्रण ठेवतो, फक्त training वर नाही. त्याला अडवल्याने Gemini तुम्हाला किती वेळा cite करतो ते कमी होऊ शकते. तो Google Search च्या rankings किंवा AI Overviews वर परिणाम करत नाही.
उदाहरण robots.txt
हे उदाहरण AI search आणि वापरकर्त्याच्या सांगण्यावरून आणण्याला परवानगी देते पण training crawlers अडवते:
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: meta-externalagent
Disallow: /
User-agent: *
Allow: /
Sitemap: https://www.example.com/sitemap.xml
ज्या crawlers चे नाव फाइलमध्ये नाही ते “User-agent: *” खालचे नियम पाळतात. प्रत्येक search crawler ला Allow नियमासह नोंदवण्याची गरज नाही जर default आधीच त्यांना परवानगी देत असेल.
ज्या गोष्टी robots.txt करू शकत नाही
- ते काही लागू करवू शकत नाही. स्थिरावलेल्या कंपन्या ते पाळतात; अपरिचित scrapers ते दुर्लक्षित करू शकतात.
- वापरकर्त्याच्या सांगण्यावरून येणारे fetchers हे एक अस्पष्ट क्षेत्र आहे. काही कंपन्या, ज्यांत Perplexity सुद्धा आहे, सांगतात की त्यांचा वापरकर्त्याच्या सांगण्यावरून येणारा fetcher robots.txt पाळणारही नाही, या आधारावर की एखाद्या माणसाने ते पान मागितले आहे.
- ते पाने index मधून काढत नाही. एखादा अडवलेला URL तरीही यादीत येऊ शकतो जर इतर साइट त्याशी जोडत असतील.
- ते crawlers ना बदलाची सूचना देऊ शकत नाही. Bing आणि काही इतर engines मध्ये जलद indexing साठी IndexNow वापरा.
आपले CDN आणि firewall सुद्धा तपासा
अनेक साइट AI crawlers ना नकळत अडवतात. Security plugins, hosting firewalls आणि CDNs अपरिचित bots ना आव्हान देऊ शकतात किंवा अडवू शकतात. जुलै 2025 मध्ये Cloudflare ने नव्या domains साठी परिचित AI crawlers ना आपोआप अडवणे सुरू केले, आणि साइट मालकांना त्यांना परवानगी देण्यासाठी setting बदलावी लागते. AI search crawlers तुमच्या server logs मध्ये कधीच दिसत नसतील, तर robots.txt ला दोष देण्यापूर्वी हे थर तपासा. आमचा मोफत AI crawler access checker एकाच command मध्ये दहा crawlers साठी robots.txt, firewall चे प्रतिसाद आणि rendering तपासतो.
एखादा crawler खरा आहे हे कसे तपासावे
कोणीही अशी विनंती पाठवू शकतो जी GPTBot किंवा Googlebot असल्याचा दावा करेल. Log च्या data वर विश्वास ठेवण्यासाठी:
- विनंती करणारा IP पत्ता त्या ranges शी तपासा ज्या कंपनी प्रसिद्ध करते (OpenAI, Anthropic, Perplexity आणि इतर त्या प्रसिद्ध करतात).
- Googlebot आणि Bingbot साठी, IP वर reverse DNS lookup चालवा आणि नंतर त्या hostname वर forward lookup, हे निश्चित करण्यासाठी की तो त्याच IP वर परत येतो.
- ज्या विनंत्या या तपासण्या उतरत नाहीत त्यांना सामान्य bots म्हणून घ्या, त्यांचा user agent काहीही सांगत असला तरी.
वारंवार विचारले जाणारे प्रश्न
मी GPTBot अडवला, तर ChatGPT मला cite करणे थांबवेल का?
आवश्यक नाही. ChatGPT search, OAI-SearchBot च्या index चा वापर करते. GPTBot अडवल्याने केवळ training वर परिणाम होतो.
WordPress मध्ये robots.txt फाइल असते का?
साइटच्या मुळाशी कोणती प्रत्यक्ष फाइल नसेल तर WordPress एक virtual robots.txt तयार करते. Plugins आणि themes त्यात नियम जोडू शकतात. कोणती प्रत्यक्ष robots.txt असेल, तर ती virtual वालीची जागा घेते.