llms.txt किसी वेबसाइट की जड़ में रखी एक सादे text की Markdown फ़ाइल है (उदाहरण के लिए example.com/llms.txt) जो language models को साइट का एक छोटा सार और उसके सबसे काम के पेजों की सूची देती है। इसका प्रस्ताव Answer.AI के Jeremy Howard ने सितंबर 2024 में रखा। इसे जोड़ना आसान है और इससे कोई नुक़सान नहीं, पर 2026 तक कोई सार्वजनिक सबूत नहीं है कि यह बदलता है कि AI assistants स्रोत कैसे चुनते हैं।
इसका प्रस्ताव क्यों रखा गया
वेब पेज browsers के लिए बने होते हैं: navigation, scripts, cookie banners और layout का code असल content को घेरे रहते हैं। कोई language model किसी साइट को एक सीमित context window में पढ़ते समय यह सब छानकर हटाना पड़ता है। llms.txt का प्रस्ताव एक छोटा रास्ता देता है: एक अकेली, साफ़ फ़ाइल जो बताए कि साइट क्या है और ज़रूरी content कहाँ है।
बनावट
यह प्रस्ताव, जो llmstxt.org पर छपा है, एक आसान ढाँचा तय करता है:
- साइट या परियोजना के नाम वाली एक H1 heading (यही एकमात्र ज़रूरी हिस्सा है)
- एक या दो वाक्यों के सार वाला एक blockquote
- और ब्यौरे वाले वैकल्पिक paragraphs
- H2 हिस्से, हर एक में “[पेज का नाम](URL): छोटा वर्णन” के रूप में links की सूची
- “Optional” शीर्षक वाला एक वैकल्पिक हिस्सा, उन links के लिए जिन्हें जगह कम होने पर छोड़ा जा सकता है
एक छोटा किया हुआ उदाहरण:
# Brilad
> SEO, AEO, GEO and AI development consultancy in India.
## Services
- [SEO Services](https://www.brilad.com/services/seo/): Technical SEO, Core Web Vitals, site structure and keyword mapping
- [GEO Services](https://www.brilad.com/services/geo/): AI crawler access, entity consistency and citable content
## AI Search Academy
- [How AI search works](https://www.brilad.com/learn/ai-search-mechanics/): RAG, query fan-out, embeddings and re-ranking
llms-full.txt
llms-full.txt एक साथी फ़ाइल है जिसमें सूची में दिए पेजों का पूरा text एक ही Markdown दस्तावेज़ में होता है, जिससे कोई model links पर जाए बिना सब पढ़ सके। यह उन documentation साइटों के लिए काम की है जहाँ कोई developer पूरी manual किसी AI tool में डालना चाहता है। किसी व्यावसायिक वेबसाइट के लिए इसकी ज़रूरत कम ही पड़ती है।
प्रस्ताव यह भी सुझाता है कि हर पेज का एक Markdown रूप उसी URL पर .md जोड़कर दिया जाए। Developer documentation के बाहर कुछ ही साइटें ऐसा करती हैं।
इसका उपयोग कौन करता है
अपनाने में सबसे आगे developer documentation साइटें हैं, जहाँ लोग अक्सर documentation सीधे coding assistants में डालते हैं। कई documentation platforms यह फ़ाइल अपने आप बनाते हैं, और कुछ AI कंपनियां अपने developer docs के लिए एक छापती हैं।
दूसरी तरफ़, किसी बड़े AI search उत्पाद ने यह पुष्टि नहीं की है कि वह यह तय करते समय llms.txt पढ़ता है कि कौन से पेज निकाले या cite किए जाएं। Google के search प्रतिनिधियों ने सार्वजनिक रूप से कहा है कि Google इसका उपयोग नहीं करता। AI crawlers कुछ साइटों पर यह फ़ाइल माँगते हैं, जो server logs में दिखता है, पर माँगना इस बात का सबूत नहीं कि उसकी सामग्री जवाबों को प्रभावित करती है।
क्या आपको एक जोड़नी चाहिए?
हमारी सिफ़ारिश है हाँ, वास्तविक अपेक्षाओं के साथ:
- इसमें मेहनत कम लगती है, ख़ास तौर पर अगर यह आपके पेजों से अपने आप बन जाए
- यह तब काम की है जब लोग आपकी साइट किसी AI tool में डालते हैं, या जब कोई agent आपकी साइट देखता है
- यह crawler की रोक, JavaScript rendering की समस्याएं या कमज़ोर content ठीक नहीं करेगी, जिनका AI visibility पर इससे कहीं ज़्यादा असर है
यह वेबसाइट अपनी llms.txt अपने सेवा पेजों, guides और ताज़ा लेखों से बनाती है, और किसी पेज के बदलने पर उसे फिर से बना देती है। आप इसे brilad.com/llms.txt पर देख सकते हैं।
WordPress में llms.txt कैसे जोड़ें
- तय करें कि कौन से पेज सबसे ज़्यादा मायने रखते हैं: सेवाएं, मुख्य guides, क़ीमत, संपर्क।
- हर एक के लिए एक पंक्ति का वर्णन लिखें। पेज का excerpt एक अच्छा स्रोत है।
- या तो एक स्थिर llms.txt फ़ाइल साइट की जड़ में डालें, या उसे WordPress से बनवाएं जिससे वह अद्यतन रहे। कई plugins यह करते हैं, और कोई theme या छोटा custom plugin भी कर सकता है।
- जाँचें कि आपका caching या security plugin उस फ़ाइल को रोक या redirect नहीं कर रहा।
- URL को browser में खोलकर पुष्टि करें कि वह सादा text देता है।
अक्सर पूछे जाने वाले सवाल
क्या llms.txt और robots.txt एक ही चीज़ है?
नहीं। robots.txt crawlers को बताता है कि वे क्या ला सकते हैं और क्या नहीं। llms.txt केवल सुझाता है कि क्या पढ़ने लायक है। उसके पास कुछ भी अनुमति देने या रोकने की ताक़त नहीं है।
क्या llms.txt से मेरी साइट ChatGPT में cite हो सकती है?
इसका कोई सबूत नहीं है। Citations इस पर निर्भर करते हैं कि OpenAI का search crawler आपके पेजों तक पहुँच सकता है या नहीं, और वे पेज सवाल का जवाब अच्छी तरह देते हैं या नहीं।
क्या इससे मेरे SEO को नुक़सान होगा?
नहीं। Search engines इसे एक आम text फ़ाइल की तरह लेते हैं।