llms.txt ही एखाद्या वेबसाइटच्या मुळाशी ठेवलेली साध्या text ची Markdown फाइल आहे (उदाहरणार्थ example.com/llms.txt) जी language models ना साइटचा एक छोटा सारांश आणि तिच्या सर्वात उपयोगी पानांची यादी देते. तिचा प्रस्ताव Answer.AI च्या Jeremy Howard यांनी सप्टेंबर 2024 मध्ये मांडला. ती जोडणे सोपे आहे आणि त्यामुळे कोणतेही नुकसान नाही, पण 2026 पर्यंत कोणताही सार्वजनिक पुरावा नाही की ती बदलते की AI assistants स्रोत कसे निवडतात.
तिचा प्रस्ताव का मांडला गेला
वेब पाने browsers साठी बांधलेली असतात: navigation, scripts, cookie banners आणि layout चा code खऱ्या content ला वेढून राहतात. एखादे language model एखादी साइट मर्यादित context window मध्ये वाचताना हे सगळे चाळून काढावे लागते. llms.txt चा प्रस्ताव एक लहान मार्ग देतो: एक एकटी, स्वच्छ फाइल जी सांगेल की साइट काय आहे आणि महत्त्वाचा content कुठे आहे.
रचना
हा प्रस्ताव, जो llmstxt.org वर प्रसिद्ध आहे, एक सोपी रचना ठरवतो:
- साइट किंवा प्रकल्पाचे नाव असलेली एक H1 heading (हाच एकमेव आवश्यक भाग आहे)
- एक किंवा दोन वाक्यांचा सारांश असलेला एक blockquote
- अधिक तपशील असलेले ऐच्छिक paragraphs
- H2 विभाग, प्रत्येकात “[पानाचे नाव](URL): छोटे वर्णन” या स्वरूपात दुव्यांची यादी
- “Optional” शीर्षक असलेला एक ऐच्छिक विभाग, त्या दुव्यांसाठी जे जागा कमी असेल तेव्हा सोडता येतील
एक छोटे केलेले उदाहरण:
# Brilad
> SEO, AEO, GEO and AI development consultancy in India.
## Services
- [SEO Services](https://www.brilad.com/services/seo/): Technical SEO, Core Web Vitals, site structure and keyword mapping
- [GEO Services](https://www.brilad.com/services/geo/): AI crawler access, entity consistency and citable content
## AI Search Academy
- [How AI search works](https://www.brilad.com/learn/ai-search-mechanics/): RAG, query fan-out, embeddings and re-ranking
llms-full.txt
llms-full.txt ही एक सोबतीची फाइल आहे ज्यात यादीत दिलेल्या पानांचा संपूर्ण text एकाच Markdown कागदपत्रात असतो, जेणेकरून एखादे model दुव्यांवर न जाता सगळे वाचू शकेल. ती त्या documentation साइटसाठी उपयोगी आहे जिथे एखाद्या developer ला संपूर्ण manual एखाद्या AI tool मध्ये टाकायचे असते. एखाद्या व्यावसायिक वेबसाइटसाठी तिची गरज क्वचितच पडते.
प्रस्ताव हेही सुचवतो की प्रत्येक पानाचा एक Markdown प्रकार त्याच URL वर .md जोडून द्यावा. Developer documentation च्या बाहेर काहीच साइट असे करतात.
तिचा वापर कोण करते
स्वीकारण्यात सर्वात पुढे developer documentation साइट आहेत, जिथे लोक अनेकदा documentation थेट coding assistants मध्ये टाकतात. अनेक documentation platforms ही फाइल आपोआप तयार करतात, आणि काही AI कंपन्या आपल्या developer docs साठी एक प्रसिद्ध करतात.
दुसऱ्या बाजूने, कोणत्याही मोठ्या AI search उत्पादनाने हे मान्य केलेले नाही की ते कोणती पाने काढावी किंवा cite करावी हे ठरवताना llms.txt वाचते. Google च्या search प्रतिनिधींनी सार्वजनिकपणे सांगितले आहे की Google तिचा वापर करत नाही. AI crawlers काही साइटवर ही फाइल मागतात, जे server logs मध्ये दिसते, पण मागणे हा त्याचा पुरावा नाही की तिची सामग्री उत्तरांवर परिणाम करते.
तुम्ही एक जोडावी का?
आमची शिफारस आहे हो, वास्तविक अपेक्षांसह:
- त्यात श्रम कमी लागतात, विशेषतः ती तुमच्या पानांतून आपोआप तयार होत असेल तर
- ती तेव्हा उपयोगी असते जेव्हा लोक तुमची साइट एखाद्या AI tool मध्ये टाकतात, किंवा जेव्हा एखादा agent तुमची साइट पाहतो
- ती crawler ची अडवणूक, JavaScript rendering च्या अडचणी किंवा कमकुवत content दुरुस्त करणार नाही, ज्यांचा AI visibility वर याहून कितीतरी जास्त परिणाम आहे
ही वेबसाइट आपली llms.txt आपल्या सेवा पानांतून, guides मधून आणि ताज्या लेखांतून तयार करते, आणि एखादे पान बदलल्यावर ती पुन्हा तयार करते. तुम्ही ती brilad.com/llms.txt वर पाहू शकता.
WordPress मध्ये llms.txt कशी जोडावी
- ठरवा की कोणती पाने सर्वात जास्त महत्त्वाची आहेत: सेवा, मुख्य guides, किंमत, संपर्क.
- प्रत्येकासाठी एका ओळीचे वर्णन लिहा. पानाचा excerpt हा एक चांगला स्रोत आहे.
- किंवा एक स्थिर llms.txt फाइल साइटच्या मुळाशी टाका, किंवा ती WordPress कडून तयार करवा जेणेकरून ती अद्ययावत राहील. अनेक plugins हे करतात, आणि एखादी theme किंवा छोटे custom plugin सुद्धा करू शकते.
- तपासा की तुमचे caching किंवा security plugin ती फाइल अडवत किंवा redirect करत नाही.
- URL browser मध्ये उघडून खात्री करा की ती साधा text देते.
वारंवार विचारले जाणारे प्रश्न
llms.txt आणि robots.txt एकच गोष्ट आहे का?
नाही. robots.txt crawlers ना सांगते की ते काय आणू शकतात आणि काय नाही. llms.txt केवळ सुचवते की काय वाचण्याजोगे आहे. तिच्याकडे काहीही परवानगी देण्याची किंवा अडवण्याची ताकद नाही.
llms.txt मुळे माझी साइट ChatGPT मध्ये cite होऊ शकते का?
त्याचा कोणताही पुरावा नाही. Citations यावर अवलंबून असतात की OpenAI चा search crawler तुमच्या पानांपर्यंत पोहोचू शकतो का, आणि ती पाने प्रश्नाचे उत्तर व्यवस्थित देतात का.
त्यामुळे माझ्या SEO चे नुकसान होईल का?
नाही. Search engines तिला एक सामान्य text फाइल म्हणून घेतात.