जब कोई ChatGPT, Perplexity, Gemini या Google के AI Mode से ऐसा सवाल पूछता है जिसके लिए ताज़ा जानकारी चाहिए, तो system आम तौर पर सिर्फ़ याद के भरोसे जवाब नहीं देता। वह सवाल को searches में बदलता है, पेज निकालता है, उनमें से हिस्से चुनता है, और उन्हीं हिस्सों के आधार पर जवाब लिखता है। यह guide हर चरण समझाती है और बताती है कि उन स्रोतों में से एक बनने की चाह रखने वाली वेबसाइट के लिए इसका क्या मतलब है।
Retrieval-augmented generation (RAG)
Retrieval-augmented generation वह तरीक़ा है जिसमें किसी language model को जवाब देने के ठीक समय पर प्रासंगिक दस्तावेज़ दिए जाते हैं, बजाय इसके कि वह सिर्फ़ training में सीखी बात पर टिके। यह शब्द 2020 के एक पत्र से आया, जो Facebook AI Research में Lewis और उनके साथियों ने लिखा था। जो भी AI assistant स्रोत के लिंक दिखाता है, वह लगभग हमेशा इसी तरह काम करता है।
RAG के तीन चरण हैं: संभावित दस्तावेज़ निकालना, सबसे प्रासंगिक हिस्से चुनना, और उनसे जवाब बनाना। कोई पेज किसी भी चरण पर बाहर हो सकता है। वह index में न हो, उस query के लिए निकाला न जाए, या निकाला जाए पर किसी ऐसे हिस्से से हार जाए जो और सीधा जवाब देता है।
आपकी साइट के लिए इसका मतलब: मुक़ाबले की इकाई एक हिस्सा है, आम तौर पर कुछ वाक्य, पूरा पेज नहीं। जिस पेज के हर भाग में एक साफ़ जवाब हो, वह system को उस पेज से ज़्यादा काम के हिस्से देता है जिसमें जवाब कई paragraphs में फैला हो।
Query fan-out और query decomposition
“भारत में 20 लोगों की B2B sales team के लिए महीने के 50,000 रुपये से कम में सबसे अच्छा CRM” जैसे सवाल में कई अलग अलग ज़रूरतें हैं। Systems उसे छोटी searches में बाँटते हैं, जैसे “CRM for small B2B teams”, “CRM pricing India” और “CRM comparison 2026”, उन्हें चलाते हैं, और नतीजों को मिलाते हैं। Google ने 2025 में AI Mode पेश करते समय इस तरीक़े का वर्णन किया, जिसे वह query fan-out कहता है।
आपकी साइट के लिए इसका मतलब: आप ऐसे सवाल पर cite हो सकते हैं जिसे आप keyword के तौर पर कभी निशाना नहीं बनाते, क्योंकि आपका कोई पेज उसकी किसी एक sub-query का अच्छा जवाब देता है। जो पेज किसी फ़ैसले के ख़ास हिस्सों (क़ीमत, तुलना, ज़रूरतें, सीमाएं) को ढकते हैं, उनके खींचे जाने की संभावना एक आम पेज से ज़्यादा होती है।
कई स्रोतों से जवाब बनाना
निकालने के बाद model कई स्रोतों से एक जवाब लिखता है। जिस बात पर स्रोत सहमत होते हैं उसे वह दोहराता है, और ख़ास तथ्य, आँकड़े तथा उद्धरण उस स्रोत के नाम करता है जिसने उन्हें सबसे साफ़ कहा हो।
आपकी साइट के लिए इसका मतलब: वे आम बातें जो कई साइटों पर मिलती हैं, आपस में घुल जाती हैं और उनका श्रेय कम ही मिलता है। कोई ख़ास आँकड़ा, नाम लेकर दिया उदाहरण या साफ़ शब्दों में लिखी परिभाषा आपके नाम होने की संभावना ज़्यादा रखती है।
Zero-click searches
Zero-click search वह है जो उपयोगकर्ता के किसी वेबसाइट पर जाए बिना ख़त्म हो जाती है, क्योंकि जवाब results पेज पर या AI के उत्तर में ही दिख गया। SparkToro के 2024 के एक अध्ययन ने Datos के clickstream data से अनुमान लगाया कि अमेरिका में 58.5% और यूरोपीय संघ में 59.7% Google searches खुले web पर किसी click के बिना ख़त्म हुईं।
आपकी साइट के लिए इसका मतलब: जवाब के अंदर दिखने की क़ीमत तब भी है जब उससे कोई visit नहीं आता, क्योंकि ख़रीदार आपका नाम तो देखता है। इसका यह भी मतलब है कि सिर्फ़ traffic देखने से यह कम दिखता है कि आप कितनी बार दिखे, इसलिए AI mentions और snippet में आना अलग से track करना पड़ता है। Zero-click guide बताती है कि क्या नापें।
Embeddings और vector similarity
Embedding संख्याओं की एक सूची है, अक्सर कई सौ या कुछ हज़ार लंबी, जो किसी text के अर्थ को दर्शाती है। जिन texts का अर्थ मिलता जुलता होता है उनके vectors एक ही दिशा में इशारा करते हैं। Search systems query के vector की तुलना हिस्सों के vectors से करते हैं, आम तौर पर cosine similarity से, जो दो vectors के बीच का कोण नापती है।
इसी वजह से कोई पेज किसी query के ठीक वही शब्द न रखते हुए भी उससे मेल खा सकता है। “hosting का बिल घटाने” के बारे में लिखा हिस्सा “cloud की लागत कम करने” के सवाल से मेल खा सकता है।
आपकी साइट के लिए इसका मतलब: vector search में कोई keyword दोहराने से ख़ास मदद नहीं मिलती। असल संकल्पनाओं को, और उनके लिए लोग जो मिलते जुलते शब्द उपयोग करते हैं उन्हें ढकने से मिलती है। Embeddings और cosine similarity की पूरी guide इसे विस्तार से देखती है।
Dense passage retrieval
Dense passage retrieval (DPR) वह तरीक़ा है जिसमें सवाल और हिस्से दोनों embeddings में बदले जाते हैं और similarity से मिलाए जाते हैं। इसे पेश करने वाले 2020 के पत्र में Karpukhin और उनके साथियों ने बताया कि open-domain question answering की जाँचों में top-20 passage retrieval की सटीकता में DPR ने पुराने keyword तरीक़े BM25 को 9 से 19 प्रतिशत अंकों से हराया।
अब ज़्यादातर चलते हुए systems दोनों मिलाते हैं: keyword मिलान ठीक नाम, codes और संख्याएं पकड़ता है, और dense retrieval अर्थ पकड़ता है। इस मेल को hybrid retrieval कहा जाता है।
आपकी साइट के लिए इसका मतलब: उत्पाद के नाम, model नंबर और तकनीकी शब्दों के लिए ठीक वही शब्द अब भी मायने रखते हैं, और अर्थ के लिए साफ़ व्याख्या। पेजों में दोनों चाहिए।
Cross-encoders से re-ranking
निकालने का पहला चरण तेज़ है पर मोटा है। बहुत से systems उसके बाद सबसे ऊपर के नतीजों को किसी cross-encoder से फिर से क्रम में लगाते हैं, यानी एक ऐसे model से जो सवाल और हिस्सा साथ पढ़ता है और अंक देता है कि वह हिस्सा सवाल का कितना जवाब देता है। वह ज़्यादा सटीक है पर पूरे index पर चलाने के लिए बहुत धीमा, इसलिए वह सिर्फ़ छोटी सूची देखता है।
आपकी साइट के लिए इसका मतलब: इस चरण में जीतने के लिए हिस्से को सवाल का सीधा जवाब देना पड़ता है। विषय पर होते हुए भी धीरे धीरे जवाब की ओर बढ़ने वाला हिस्सा किसी छोटे, सीधे हिस्से से नीचे धकेला जा सकता है। Dense retrieval और re-ranking की guide देखें।
कई बार की बातचीत और बिना कहे रखी शर्तें
किसी chat में दूसरा और तीसरा सवाल पहले पर टिका होता है। जिसने छोटी teams के लिए CRM पूछा और फिर पूछा “इनमें से कौन Tally से जुड़ता है?”, उसका मतलब अब भी छोटी team के CRM ही हैं। Assistants वह संदर्भ अपनी नई searches में साथ ले जाते हैं।
ख़रीदार कुछ शर्तें बिना कहे भी छोड़ देते हैं: बजट, कंपनी का आकार, जगह, पहले से उपयोग में tools। हम इन्हें latent constraints कहते हैं; यह नाम हमारा अपना है। जो जवाब बिना कही शर्तों पर बैठता है वह ज़्यादा काम का होता है, और assistants उन स्रोतों को ढूँढते हैं जो इनका ज़िक्र करते हैं।
आपकी साइट के लिए इसका मतलब: बताएं कि कोई उत्पाद या सेवा किसके लिए है, उसकी क़ीमत क्या है या क़ीमत किस चीज़ से तय होती है, वह कहाँ उपलब्ध है और किसके साथ चलती है। इन्हीं ब्यौरों से कोई assistant आपके पेज को किसी ख़ास ख़रीदार की स्थिति से मिला पाता है। Multi-turn intent और latent constraints की guide इसे गहराई में देखती है।
Context windows और token budgets
कोई language model एक बार में सीमित मात्रा में ही text पढ़ सकता है, जिसे tokens में नापा जाता है (हर token मोटे तौर पर अंग्रेज़ी के एक शब्द का तीन चौथाई)। बहुत बड़े context window वाले models को भी पूरे पेज नहीं, हिस्सों का एक चयन दिया जाता है, क्योंकि लंबे inputs ज़्यादा ख़र्च कराते हैं और जवाब धीमा करते हैं।
आपकी साइट के लिए इसका मतलब: लंबी भूमिकाएं, दोहराया हुआ ढाँचागत मजमून और navigation का text जगह ख़र्च करते हैं पर जानकारी नहीं जोड़ते। आपके पेज का जो हिस्सा model तक जाता है, वही हिस्सा सवाल का जवाब देने वाला होना चाहिए।
Lost-in-the-middle असर
Stanford में Liu और उनके साथियों के 2023 के अध्ययन “Lost in the Middle: How Language Models Use Long Contexts” में पाया गया कि models जानकारी का सबसे अच्छा उपयोग तब करते थे जब वह उनके input की शुरुआत या अंत में होती थी, और सबसे बुरा तब जब वह बीच में बैठी होती थी। जब प्रासंगिक हिस्सा किसी लंबे context के बीच में ले जाया गया, तो उसी सवाल पर प्रदर्शन साफ़ तौर पर गिरा।
आपकी साइट के लिए इसका मतलब: हर भाग की शुरुआत में जवाब कह दें। किसी लंबे भाग के चौथे paragraph में दबा हुआ ज़रूरी तथ्य चुना जाने की संभावना भी कम रखता है और चुन लिए जाने पर उपयोग होने की भी।
Hallucination और grounding
Hallucination किसी language model का वह कथन है जो भरोसे से भरा लगता है पर ग़लत होता है। जवाब को निकाले हुए स्रोतों पर टिकाने से यह कम होता है, ख़त्म नहीं होता। generative search engines पर Stanford के 2023 के अध्ययन “Evaluating Verifiability in Generative Search Engines” में, जो Liu, Zhang और Liang ने किया, पाया गया कि बनाए गए वाक्यों में से लगभग आधे ही अपने citations से पूरी तरह समर्थित थे, और लगभग एक चौथाई citations उस वाक्य का समर्थन नहीं करते थे जिससे वे जुड़े थे।
आपकी साइट के लिए इसका मतलब: AI जवाब आपकी कंपनी का वर्णन तब भी ग़लत कर सकते हैं जब वे आपको cite करें। अपनी साइट पर साफ़, एक जैसे तथ्य, और वही तथ्य अपनी बाक़ी profiles पर हूबहू दोहराए हुए, model को अंदाज़ा लगाने की कम जगह देते हैं। जब कोई assistant आपके बारे में कुछ ग़लत कहता है, तो उस ग़लती का स्रोत आम तौर पर कहीं कोई पुराना या अस्पष्ट पेज होता है, और उसे ढूँढकर ठीक करना GEO काम का हिस्सा है। Hallucination और grounding की guide क़दम बताती है।
विस्तृत guides
- Retrieval-augmented generation (RAG) समझाया गया
- Query fan-out: AI search किसी सवाल को कैसे बाँटता है
- Language models में lost-in-the-middle असर
- Search में embeddings और cosine similarity
- Context windows और token budgets
- AI hallucination और grounding
- Zero-click searches और कई स्रोतों वाले AI जवाब
- Dense retrieval और re-ranking
- Multi-turn intent और latent constraints