Technical architecture यह तय करती है कि search engines और AI systems किसी पेज तक पहुँच सकते हैं या नहीं, उसका text पढ़ सकते हैं या नहीं, और यह समझ सकते हैं या नहीं कि उसे किसने छापा। Content की गुणवत्ता तभी मायने रखती है जब ये क़दम काम कर जाएं। यह guide वह पेज बनावट, markup और crawler settings बताती है जो हम हर परियोजना में जाँचते हैं, और यह भी बताती है कि आम सलाह कहाँ बढ़ा चढ़ा कर कही जाती है।
जवाब पहले वाली बनावट
पत्रकार इसे inverted pyramid कहते हैं: मुख्य बात पहले, सहारा देने वाला ब्यौरा बाद में। Search और AI retrieval के लिए इसका मतलब है कि हर हिस्सा एक या दो वाक्यों से शुरू हो जो उस हिस्से के सवाल का जवाब अपने दम पर दे दें, और उसके बाद व्याख्या, उदाहरण और अपवाद आएं।
यह इसलिए मायने रखता है कि retrieval systems हिस्से चुनते हैं, और lost-in-the-middle शोध बताता है कि models अपने input की शुरुआत में रखी जानकारी का सबसे ज़्यादा उपयोग करते हैं। वह हिस्सा जो पृष्ठभूमि से शुरू होकर चौथे paragraph में जवाब तक पहुँचता है, system को अपनी शुरुआती पंक्तियों में उठाने लायक कुछ नहीं देता।
Content chunking
Retrieval systems embeddings बनाने से पहले पेजों को chunks में बाँटते हैं। कुछ तय संख्या के tokens पर बाँटते हैं, कुछ headings या paragraphs पर। यह तरीक़ा आपके हाथ में नहीं है, पर यह आपके हाथ में है कि बँटने की हर संभावित जगह पर एक समझदार chunk बने:
- हर हिस्से में एक विषय, और heading उसका नाम ले
- वे हिस्से जो समझ आने के लिए पहले के text (“जैसा ऊपर बताया”, “यह तरीक़ा”) पर न टिकें
- हिस्से की शुरुआत में विषय का पूरा नाम, “वह” या “वे” की जगह
ठीक 256 या 512 tokens के chunks में लिखने की सलाह एक काम करने वाला दिशानिर्देश है, जो इस बात से लिया गया है कि कुछ retrieval systems किस तरह configure किए जाते हैं। यह किसी search engine का छापा हुआ नियम नहीं है, और सही लंबाई इस पर निर्भर करती है कि जवाब किस सवाल का दिया जा रहा है। Content chunking guide तरीक़े और पहले बाद का एक उदाहरण देती है।
Tables और data से भरी सजावट
क़ीमतें, specifications, तुलनाएं और समयरेखाएं लोगों और मशीनों दोनों के लिए header row वाली HTML table में पढ़ना आसान होता है, prose में नहीं। Google अक्सर tables को table-style featured snippets के तौर पर उपयोग करता है। Tables को असली HTML रखें: image के रूप में सहेजी गई table को न crawler पढ़ सकता है न कोई assistant quote कर सकता है। Tables guide में पूरी checklist है।
Machine readability
जो crawler JavaScript नहीं चलाता, उसे सिर्फ़ वही HTML दिखता है जो आपका server भेजता है। हम जाँचते हैं कि मुख्य text, headings, internal links और structured data सब उसी पहले जवाब में मौजूद हों, और पेज heading जैसी दिखने वाली सजी हुई सामान्य div tags की जगह semantic elements (main, article, h1 से h3, ul, table) उपयोग करे। Machine readability guide में एक जल्दी होने वाली जाँच दी है।
आपको “text-to-HTML ratio” या “DOM-to-text ratio” ranking factor के तौर पर बताया जाएगा। Google ने कहा है कि यह ranking factor नहीं है। बहुत बड़ा DOM पेजों को धीमा ज़रूर करता है, और Lighthouse चेतावनी देता है जब किसी पेज में लगभग 1,400 से ज़्यादा DOM nodes हों, इसलिए गहराई तक नेस्टेड wrappers वाले page-builder layouts साफ़ करने लायक हैं, पर रफ़्तार के लिए, उस ratio के लिए नहीं।
JSON-LD structured data
Google structured data के लिए JSON-LD की सलाह देता है। एक आम समस्या है आपस में टकराता schema: कोई theme और कोई SEO plugin दोनों अपने अपने Organization और WebSite nodes निकालते हैं, कभी कभी अलग नामों या logos के साथ।
हम हर पेज के लिए एक graph बनाते हैं जिसमें हर node का एक स्थिर @id होता है और वह दूसरों को उसी से जोड़ता है। Article node अपने लेखक के Person node को इशारा करता है, Person node worksFor से Organization को, और Organization अपनी आधिकारिक profiles sameAs में गिनाता है। इससे search engines और AI systems पेज, लेखक और कंपनी को अंदाज़ा लगाए बिना जोड़ पाते हैं।
Entity resolution और disambiguation
Entity resolution वह प्रक्रिया है जिससे कोई search engine तय करता है कि अलग अलग वेबसाइटों पर आए उल्लेख असल दुनिया की एक ही कंपनी या व्यक्ति के हैं। जिन ब्रांडों के नाम आम हैं, या जिनका नाम किसी दूसरी कंपनी से मिलता है, उन्हें जोड़ना सबसे मुश्किल होता है।
मुख्य औज़ार हैं हर जगह एक जैसा नाम, आपके schema में उन profiles तक sameAs links जो आपके नियंत्रण में हैं, और उन databases में मौजूदगी जिन्हें search engines तथा language models संदर्भ के लिए उपयोग करते हैं, जैसे Wikidata। Wikidata के अपने notability नियम हैं, इसलिए entry तभी संभव है जब कंपनी के बारे में स्वतंत्र सबूत मौजूद हो। हम सिफ़ारिश करने से पहले पात्रता जाँचते हैं।
Knowledge graphs
Knowledge graph तथ्यों को nodes (एक कंपनी, एक व्यक्ति, एक उत्पाद) के रूप में रखता है, जो नाम वाले edges (founded by, located in, makes) से जुड़े होते हैं। Google का Knowledge Graph सबसे जाना पहचाना है। आपका अपना JSON-LD graph आपकी साइट के बारे में एक छोटा knowledge graph है, और वह जितना ज़्यादा दूसरे भरोसेमंद स्रोतों की बात से मेल खाता है, search engines उतने ही भरोसे से दोनों को जोड़ते हैं। Knowledge graphs guide देखें।
llms.txt और llms-full.txt
llms.txt किसी साइट की जड़ में रखी एक Markdown फ़ाइल है जो उन पेजों को गिनाती है जो language models के लिए सबसे काम के हैं। इसका प्रस्ताव Answer.AI के Jeremy Howard ने सितंबर 2024 में रखा। llms-full.txt एक रूप है जिसमें उन पेजों का पूरा text एक ही फ़ाइल में होता है। दोनों बनाना आसान है, और यह साइट एक llms.txt छापती है।
2026 तक, किसी बड़े AI provider ने यह पुष्टि नहीं की है कि वह स्रोत चुनते समय llms.txt उपयोग करता है, और Google ने कहा है कि वह इसका उपयोग नहीं करता। इसे जोड़ना ठीक है क्योंकि लागत कम है, पर अभी कोई सबूत नहीं है कि यह rankings या citations बदलता है।
robots.txt में AI crawler नियम
हर AI कंपनी अपने crawlers के user agents छापती है, और ज़्यादातर training crawlers को search crawlers से अलग रखती हैं। ऐसा robots.txt जो AI search को आने दे पर model training को रोके, इस तरह दिखता है:
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
Google-Extended को इस उदाहरण से जान बूझकर बाहर रखा गया है: वह Gemini के आपके content को grounding के लिए उपयोग करने को भी नियंत्रित करता है, न कि सिर्फ़ training को, इसलिए उसे रोकने से Gemini के जवाबों में आपकी visibility भी घट सकती है।
robots.txt crawlers से एक निवेदन की तरह काम करता है, पहुँच पर रोक नहीं लगाता। जाने पहचाने crawlers इसे मानते हैं; बाक़ी न मानें। किसी crawler को पक्के तौर पर रोकना हो तो उसे server या firewall पर जाँचे हुए IP range से रोकें। robots.txt के पास crawlers को बदलाव की सूचना देने का भी कोई तरीक़ा नहीं है। उसके लिए नीचे IndexNow देखें।
Freshness के संकेत
Search systems और AI assistants उन विषयों पर ताज़ा जानकारी पसंद करते हैं जो बदलते रहते हैं। लेखों पर दिखने वाली “updated” तारीख़ रखें, अपने Article schema में datePublished और dateModified रखें, और अपने XML sitemap में lastmod के मान सही रखें।
Byline तारीख़ों पर Google का documentation छापने वालों से कहता है कि तारीख़ तभी बदलें जब content में सचमुच कुछ बदला हो। असली सुधार के बिना तारीख़ें आगे बढ़ाते रहने से search engines आपकी तारीख़ों पर भरोसा करना ही छोड़ सकते हैं। और ब्यौरा freshness signals guide में है।
NAP consistency
NAP का मतलब है name, address और phone number। जब ये आपकी वेबसाइट, Google Business Profile, directories और social profiles के बीच अलग अलग हों, तो search engines को कम भरोसा रहता है कि ये listings एक ही व्यवसाय की हैं। इसका असर local rankings पर पड़ता है और AI assistants को चुनने के लिए आपस में टकराते तथ्य मिलते हैं। एक ठीक रूप चुनें और उसे हर जगह उपयोग करें। NAP consistency guide बताती है कहाँ कहाँ जाँचना है।
तेज़ indexing
IndexNow एक protocol है जिसे 2021 में Microsoft Bing और Yandex ने शुरू किया, और जो किसी साइट को उसी क्षण search engines को सूचित करने देता है जब कोई URL जुड़े, बदले या हटे। इसे Bing, Yandex, Seznam और Naver समर्थन देते हैं। Google इसका उपयोग नहीं करता। Bing का index Microsoft Copilot को भी भरता है, इसलिए IndexNow वहाँ बदलाव दिखने में लगने वाला समय घटा सकता है। लगाने के क़दम IndexNow guide में हैं।
Google का Indexing API सिर्फ़ job postings और livestream video पेज स्वीकार करता है। Google पर बाक़ी हर चीज़ के लिए, पेज जल्दी crawl कराने का तरीक़ा एक सही sitemap और अच्छी internal linking ही है।
विस्तृत guides
- llms.txt क्या है और क्या यह AI search में मदद करता है?
- AI crawlers और robots.txt: किन bots को अनुमति दें
- AI search के लिए JSON-LD schema
- Entity resolution, sameAs और Wikidata
- AI retrieval के लिए content chunking
- Freshness के संकेत: तारीख़ें, dateModified और sitemaps
- Tables और data से भरी सजावट
- IndexNow: Bing और AI search के लिए तेज़ indexing
- NAP consistency: नाम, पता और फ़ोन
- Knowledge graphs
- Machine readability और साफ़ HTML