Technical architecture हे ठरवते की search engines आणि AI systems एखाद्या पानापर्यंत पोहोचू शकतात का, त्याचा text वाचू शकतात का, आणि तो कोणी प्रसिद्ध केला हे समजून घेऊ शकतात का. Content ची गुणवत्ता तेव्हाच महत्त्वाची ठरते जेव्हा ही पावले चालतात. ही guide ती पान रचना, markup आणि crawler settings सांगते जी आम्ही प्रत्येक प्रकल्पात तपासतो, आणि हेही सांगते की सर्वसामान्य सल्ला कुठे वाढवून सांगितला जातो.
उत्तर आधी अशी रचना
पत्रकार याला inverted pyramid म्हणतात: मुख्य गोष्ट आधी, आधार देणारा तपशील नंतर. Search आणि AI retrieval साठी याचा अर्थ असा की प्रत्येक विभाग एक किंवा दोन वाक्यांनी सुरू व्हावा जी त्या विभागाच्या प्रश्नाचे उत्तर स्वतःच देतील, आणि नंतर स्पष्टीकरण, उदाहरणे आणि अपवाद यावेत.
हे यासाठी महत्त्वाचे की retrieval systems भाग निवडतात, आणि lost-in-the-middle संशोधन सांगते की models आपल्या input च्या सुरुवातीला ठेवलेल्या माहितीचा सर्वाधिक वापर करतात. जो विभाग पार्श्वभूमीने सुरू होऊन चौथ्या paragraph मध्ये उत्तरापर्यंत पोहोचतो, तो system ला आपल्या सुरुवातीच्या ओळींत उचलण्याजोगे काहीच देत नाही.
Content chunking
Retrieval systems embeddings तयार करण्यापूर्वी पाने chunks मध्ये विभागतात. काही ठरलेल्या संख्येच्या tokens वर विभागतात, काही headings किंवा paragraphs वर. ही पद्धत तुमच्या हातात नाही, पण विभागणीच्या प्रत्येक संभाव्य जागी एक समंजस chunk तयार होईल हे तुमच्या हातात आहे:
- प्रत्येक विभागात एक विषय, आणि heading त्याचे नाव घेईल
- असे विभाग जे समजण्यासाठी आधीच्या text वर (“वर सांगितल्याप्रमाणे”, “हा मार्ग”) विसंबत नाहीत
- विभागाच्या सुरुवातीला विषयाचे पूर्ण नाव, “तो” किंवा “ते” ऐवजी
नेमके 256 किंवा 512 tokens च्या chunks मध्ये लिहिण्याचा सल्ला हा एक काम करणारा मार्गदर्शक आहे, जो काही retrieval systems कशा configure केल्या जातात यावरून घेतलेला आहे. तो कोणत्या search engine ने प्रसिद्ध केलेला नियम नाही, आणि योग्य लांबी कोणत्या प्रश्नाचे उत्तर दिले जात आहे यावर अवलंबून असते. Content chunking guide पद्धती आणि आधी नंतरचे एक उदाहरण देते.
Tables आणि data ने भरलेली मांडणी
किंमती, specifications, तुलना आणि कालरेषा माणसांना आणि यंत्रांना दोघांना header row असलेल्या HTML table मध्ये वाचणे सोपे असते, prose मध्ये नाही. Google अनेकदा tables ना table-style featured snippets म्हणून वापरते. Tables खऱ्या HTML मध्ये ठेवा: image म्हणून साठवलेली table ना crawler वाचू शकतो ना कोणता assistant उद्धृत करू शकतो. Tables guide मध्ये संपूर्ण checklist आहे.
Machine readability
जो crawler JavaScript चालवत नाही, त्याला फक्त तेच HTML दिसते जे तुमचा server पाठवतो. आम्ही तपासतो की मुख्य text, headings, internal links आणि structured data हे सगळे त्याच पहिल्या प्रतिसादात असावे, आणि पान heading सारखी दिसणारी सजवलेली सामान्य div tags ऐवजी semantic elements (main, article, h1 ते h3, ul, table) वापरावे. Machine readability guide मध्ये एक झटपट होणारी चाचणी दिली आहे.
तुम्हाला “text-to-HTML ratio” किंवा “DOM-to-text ratio” हा ranking factor म्हणून सांगितले जाईल. Google ने सांगितले आहे की तो ranking factor नाही. फार मोठा DOM पाने मंद करतो हे खरे, आणि Lighthouse इशारा देते जेव्हा एखाद्या पानात सुमारे 1,400 पेक्षा जास्त DOM nodes असतात, त्यामुळे खोलवर नेस्टेड wrappers असलेली page-builder layouts स्वच्छ करण्याजोगी आहेत, पण वेगासाठी, त्या ratio साठी नाही.
JSON-LD structured data
Google structured data साठी JSON-LD ची शिफारस करते. एक वारंवार येणारी अडचण आहे एकमेकांशी भिडणारा schema: एखादी theme आणि एखादे SEO plugin दोन्ही आपापले Organization आणि WebSite nodes बाहेर काढतात, कधी कधी वेगळ्या नावांनी किंवा logos नी.
आम्ही प्रत्येक पानासाठी एक graph बांधतो ज्यात प्रत्येक node ला एक स्थिर @id असतो आणि तो इतरांना त्यानेच जोडतो. Article node आपल्या लेखकाच्या Person node कडे निर्देश करतो, Person node worksFor ने Organization कडे, आणि Organization आपल्या अधिकृत profiles sameAs मध्ये नोंदवते. त्यामुळे search engines आणि AI systems पान, लेखक आणि कंपनी यांना अंदाज न बांधता जोडू शकतात.
Entity resolution आणि disambiguation
Entity resolution ही ती प्रक्रिया आहे ज्याने एखादे search engine ठरवते की वेगवेगळ्या वेबसाइटवर आलेले उल्लेख खऱ्या जगातील एकाच कंपनीचे किंवा व्यक्तीचे आहेत. ज्या ब्रँडची नावे सर्वसामान्य आहेत, किंवा ज्यांचे नाव दुसऱ्या कंपनीशी जुळते, त्यांना जोडणे सर्वात कठीण असते.
मुख्य साधने आहेत सर्वत्र एकसारखे नाव, तुमच्या schema मध्ये त्या profiles पर्यंत sameAs दुवे जे तुमच्या नियंत्रणात आहेत, आणि त्या databases मध्ये उपस्थिती ज्यांना search engines आणि language models संदर्भ म्हणून वापरतात, जसे Wikidata. Wikidata चे स्वतःचे notability नियम आहेत, त्यामुळे entry तेव्हाच शक्य असते जेव्हा कंपनीबद्दल स्वतंत्र पुरावा असेल. आम्ही शिफारस करण्यापूर्वी पात्रता तपासतो.
Knowledge graphs
Knowledge graph तथ्ये nodes (एक कंपनी, एक व्यक्ती, एक उत्पादन) म्हणून साठवतो, जी नाव असलेल्या edges (founded by, located in, makes) नी जोडलेली असतात. Google चा Knowledge Graph सर्वात परिचित आहे. तुमचा स्वतःचा JSON-LD graph हा तुमच्या साइटबद्दलचा एक छोटा knowledge graph आहे, आणि तो जितका जास्त इतर विश्वासार्ह स्रोतांच्या म्हणण्याशी जुळतो, तितक्या जास्त खात्रीने search engines दोन्ही जोडतात. Knowledge graphs guide पाहा.
llms.txt आणि llms-full.txt
llms.txt ही साइटच्या मुळाशी ठेवलेली एक Markdown फाइल आहे जी त्या पानांची यादी देते जी language models साठी सर्वात उपयोगी आहेत. तिचा प्रस्ताव Answer.AI च्या Jeremy Howard यांनी सप्टेंबर 2024 मध्ये मांडला. llms-full.txt हा एक प्रकार आहे ज्यात त्या पानांचा संपूर्ण text एकाच फाइलमध्ये असतो. दोन्ही तयार करणे सोपे आहे, आणि ही साइट एक llms.txt प्रसिद्ध करते.
2026 पर्यंत, कोणत्याही मोठ्या AI provider ने हे मान्य केलेले नाही की तो स्रोत निवडताना llms.txt वापरतो, आणि Google ने सांगितले आहे की तो तिचा वापर करत नाही. ती जोडणे ठीक आहे कारण खर्च कमी आहे, पण अजून कोणताही पुरावा नाही की ती rankings किंवा citations बदलते.
robots.txt मध्ये AI crawler नियम
प्रत्येक AI कंपनी आपल्या crawlers चे user agents प्रसिद्ध करते, आणि बहुतेक training crawlers ना search crawlers पासून वेगळे ठेवतात. असे robots.txt जे AI search ला येऊ देईल पण model training अडवेल, असे दिसते:
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
Google-Extended ला या उदाहरणातून जाणीवपूर्वक वगळले आहे: तो Gemini च्या तुमचा content grounding साठी वापरण्यावरही नियंत्रण ठेवतो, फक्त training वर नाही, त्यामुळे त्याला अडवल्याने Gemini च्या उत्तरांमधली तुमची visibility सुद्धा कमी होऊ शकते.
robots.txt crawlers ना केलेल्या विनंतीसारखे चालते, प्रवेशावर बंदी घालत नाही. परिचित crawlers ते पाळतात; इतर पाळणारही नाहीत. एखाद्या crawler ला नक्की अडवायचे असेल तर त्याला server किंवा firewall वर तपासलेल्या IP range ने अडवा. robots.txt कडे crawlers ना बदलाची सूचना देण्याचाही मार्ग नाही. त्यासाठी खाली IndexNow पाहा.
Freshness चे संकेत
Search systems आणि AI assistants ज्या विषय बदलत राहतात त्यांवर ताजी माहिती पसंत करतात. लेखांवर दिसणारी “updated” तारीख ठेवा, आपल्या Article schema मध्ये datePublished आणि dateModified ठेवा, आणि आपल्या XML sitemap मधली lastmod मूल्ये बरोबर ठेवा.
Byline तारखांवरचे Google चे documentation प्रसिद्ध करणाऱ्यांना सांगते की तारीख तेव्हाच बदला जेव्हा content मध्ये खरोखर काही बदलले असेल. खऱ्या सुधारणांशिवाय तारखा पुढे ढकलत राहिल्याने search engines तुमच्या तारखांवर विश्वास ठेवणेच सोडू शकतात. अधिक तपशील freshness signals guide मध्ये आहे.
NAP consistency
NAP चा अर्थ name, address आणि phone number. जेव्हा ही तुमची वेबसाइट, Google Business Profile, directories आणि social profiles यांमध्ये वेगवेगळी असतात, तेव्हा search engines ना कमी खात्री असते की ही listings एकाच व्यवसायाची आहेत. याचा परिणाम local rankings वर होतो आणि AI assistants ना निवडण्यासाठी एकमेकांशी भिडणारी तथ्ये मिळतात. एक नेमका प्रकार निवडा आणि तोच सर्वत्र वापरा. NAP consistency guide कुठे कुठे तपासायचे ते सांगते.
जलद indexing
IndexNow हे एक protocol आहे जे 2021 मध्ये Microsoft Bing आणि Yandex नी सुरू केले, आणि जे एखाद्या साइटला त्याच क्षणी search engines ना कळवू देते जेव्हा एखादा URL जोडला, बदलला किंवा काढला जातो. त्याला Bing, Yandex, Seznam आणि Naver पाठिंबा देतात. Google त्याचा वापर करत नाही. Bing चा index Microsoft Copilot ला सुद्धा पुरवतो, त्यामुळे IndexNow तिथे बदल दिसण्यासाठी लागणारा वेळ कमी करू शकते. बसवण्याची पावले IndexNow guide मध्ये आहेत.
Google चे Indexing API फक्त job postings आणि livestream video पाने स्वीकारते. Google वर बाकी सगळ्यासाठी, पाने लवकर crawl करवण्याचा मार्ग एक बरोबर sitemap आणि चांगली internal linking हाच आहे.
तपशीलवार guides
- llms.txt काय आहे आणि ती AI search मध्ये मदत करते का?
- AI crawlers आणि robots.txt: कोणत्या bots ना परवानगी द्यावी
- AI search साठी JSON-LD schema
- Entity resolution, sameAs आणि Wikidata
- AI retrieval साठी content chunking
- Freshness चे संकेत: तारखा, dateModified आणि sitemaps
- Tables आणि data ने भरलेली मांडणी
- IndexNow: Bing आणि AI search साठी जलद indexing
- NAP consistency: नाव, पत्ता आणि फोन
- Knowledge graphs
- Machine readability आणि स्वच्छ HTML