AI Search कसे चालते

एखाद्या प्रश्नाच्या आणि AI उत्तराच्या मध्ये काय घडते: RAG, query fan-out, embeddings, re-ranking, context windows आणि grounding.

भाषा: English · हिंदी · मराठी

जेव्हा कोणी ChatGPT, Perplexity, Gemini किंवा Google च्या AI Mode ला असा प्रश्न विचारतो ज्यासाठी ताजी माहिती लागते, तेव्हा system सामान्यतः फक्त स्मरणावर उत्तर देत नाही. ती प्रश्नाचे searches मध्ये रूपांतर करते, पाने काढते, त्यांतून भाग निवडते, आणि त्याच भागांच्या आधारे उत्तर लिहिते. ही guide प्रत्येक टप्पा समजावून सांगते आणि सांगते की त्या स्रोतांपैकी एक होण्याची इच्छा असलेल्या वेबसाइटसाठी त्याचा काय अर्थ आहे.

Retrieval-augmented generation (RAG)

Retrieval-augmented generation ही अशी पद्धत आहे ज्यात language model ला उत्तर देण्याच्या क्षणी संबंधित कागदपत्रे दिली जातात, त्याने training मध्ये जे शिकले त्यावरच विसंबून राहण्याऐवजी. हा शब्द 2020 च्या एका निबंधातून आला, जो Facebook AI Research मध्ये Lewis आणि त्यांच्या सहकाऱ्यांनी लिहिला. जो AI assistant स्रोतांचे दुवे दाखवतो तो जवळपास नेहमी याच पद्धतीने चालतो.

RAG चे तीन टप्पे आहेत: संभाव्य कागदपत्रे काढणे, सर्वात संबंधित भाग निवडणे, आणि त्यांवरून उत्तर तयार करणे. एखादे पान कोणत्याही टप्प्यावर बाहेर पडू शकते. ते index मध्ये नसेल, त्या query साठी काढले जाणार नाही, किंवा काढले जाईल पण जास्त थेट उत्तर देणाऱ्या भागापुढे हरेल.

तुमच्या साइटसाठी याचा अर्थ: स्पर्धेचे एकक एक भाग असतो, सामान्यतः काही वाक्ये, संपूर्ण पान नाही. ज्या पानाच्या प्रत्येक विभागात एक स्पष्ट उत्तर असते, ते system ला अशा पानापेक्षा जास्त वापरण्याजोगे भाग देते ज्यात उत्तर अनेक paragraphs मध्ये पसरलेले असते.

Query fan-out आणि query decomposition

“भारतात 20 माणसांच्या B2B sales team साठी महिन्याला 50,000 रुपयांच्या आत सर्वोत्तम CRM” असल्या प्रश्नात अनेक वेगवेगळ्या गरजा असतात. Systems तो छोट्या searches मध्ये विभागतात, उदाहरणार्थ “CRM for small B2B teams”, “CRM pricing India” आणि “CRM comparison 2026”, त्या चालवतात, आणि निष्कर्ष एकत्र करतात. Google ने 2025 मध्ये AI Mode सादर करताना या पद्धतीचे वर्णन केले, जिला ती query fan-out म्हणते.

तुमच्या साइटसाठी याचा अर्थ: तुम्ही अशा प्रश्नावर cite होऊ शकता जो तुम्ही keyword म्हणून कधीच लक्ष्य करणार नाही, कारण तुमचे एखादे पान त्यातल्या एका sub-query चे चांगले उत्तर देते. जी पाने एखाद्या निर्णयाच्या विशिष्ट भागांवर (किंमत, तुलना, गरजा, मर्यादा) लिहिलेली असतात, त्यांच्या ओढल्या जाण्याची शक्यता एकाच सर्वसामान्य पानापेक्षा जास्त असते.

अनेक स्रोतांतून उत्तर घडवणे

काढल्यानंतर model अनेक स्रोतांतून एक उत्तर लिहिते. ज्या गोष्टीवर स्रोत सहमत असतात ती ते पुन्हा सांगते, आणि विशिष्ट तथ्ये, आकडे व अवतरणे त्या स्रोताच्या नावावर नोंदवते ज्याने ती सर्वात स्पष्टपणे सांगितली.

तुमच्या साइटसाठी याचा अर्थ: अनेक साइटवर सापडणारी सर्वसामान्य वाक्ये एकमेकांत मिसळून जातात आणि त्यांचे श्रेय क्वचितच मिळते. एखादा विशिष्ट आकडा, नाव घेऊन दिलेले उदाहरण किंवा स्पष्ट शब्दांत लिहिलेली व्याख्या तुमच्या नावावर येण्याची शक्यता जास्त ठेवते.

Zero-click searches

Zero-click search ती असते जी वापरकर्त्याने कोणत्याही वेबसाइटवर न जाता संपते, कारण उत्तर results पानावरच किंवा AI च्या उत्तरातच दिसले. SparkToro च्या 2024 च्या एका अभ्यासाने Datos च्या clickstream data वरून अंदाज काढला की अमेरिकेत 58.5% आणि युरोपियन संघात 59.7% Google searches खुल्या web वर एकही click न होता संपल्या.

तुमच्या साइटसाठी याचा अर्थ: उत्तराच्या आतच दिसण्याचे मूल्य तेव्हाही असते जेव्हा त्यातून एकही भेट येत नाही, कारण खरेदीदार तुमचे नाव तरी पाहतो. याचा असाही अर्थ की फक्त traffic पाहिल्याने तुम्ही किती वेळा दिसलात हे कमी दिसते, त्यामुळे AI mentions आणि snippet मध्ये येणे वेगळे track करावे लागते. Zero-click guide काय मोजावे ते सांगते.

Embeddings आणि vector similarity

Embedding ही संख्यांची एक यादी आहे, अनेकदा काही शे किंवा काही हजार लांब, जी एखाद्या text च्या अर्थाचे प्रतिनिधित्व करते. ज्या texts चा अर्थ सारखा असतो त्यांचे vectors एकाच दिशेने निर्देश करतात. Search systems query च्या vector ची तुलना भागांच्या vectors शी करतात, सामान्यतः cosine similarity ने, जी दोन vectors मधला कोन मोजते.

त्यामुळेच एखादे पान query चे नेमके तेच शब्द नसतानाही तिला जुळू शकते. “hosting चे बिल कमी करण्या” विषयीचा भाग “cloud चा खर्च कमी करण्या” च्या प्रश्नाला जुळू शकतो.

तुमच्या साइटसाठी याचा अर्थ: vector search मध्ये एखादा keyword पुन्हा पुन्हा लिहिल्याने विशेष मदत होत नाही. खऱ्या संकल्पना, आणि लोक त्यांसाठी जे संबंधित शब्द वापरतात ते, मांडल्याने होते. Embeddings आणि cosine similarity ची संपूर्ण guide हे तपशिलात पाहते.

Dense passage retrieval

Dense passage retrieval (DPR) ही अशी पद्धत आहे ज्यात प्रश्न आणि भाग दोन्ही embeddings मध्ये रूपांतरित केले जातात आणि similarity ने जुळवले जातात. ती सादर करणाऱ्या 2020 च्या निबंधात Karpukhin आणि त्यांच्या सहकाऱ्यांनी नोंदवले की open-domain question answering च्या चाचण्यांमध्ये top-20 passage retrieval च्या अचूकतेत DPR ने पारंपरिक keyword पद्धत BM25 ला 9 ते 19 टक्के गुणांनी मागे टाकले.

आता बहुतेक प्रत्यक्ष चालणाऱ्या systems दोन्ही एकत्र करतात: keyword जुळणी नेमकी नावे, codes आणि संख्या पकडते, आणि dense retrieval अर्थ पकडते. या जोडणीला hybrid retrieval म्हणतात.

तुमच्या साइटसाठी याचा अर्थ: उत्पादनांची नावे, model क्रमांक आणि तांत्रिक शब्दांसाठी नेमके तेच शब्द अजूनही महत्त्वाचे आहेत, आणि अर्थासाठी स्पष्ट मांडणी. पानांमध्ये दोन्ही लागतात.

Cross-encoders ने re-ranking

काढण्याचा पहिला टप्पा वेगवान असतो पण ढोबळ असतो. अनेक systems त्यानंतर सर्वात वरच्या निष्कर्षांना cross-encoder ने पुन्हा क्रमाने लावतात, म्हणजे अशा model ने जे प्रश्न आणि भाग एकत्र वाचते आणि तो भाग प्रश्नाचे किती उत्तर देतो याला गुण देते. ते जास्त अचूक असते पण संपूर्ण index वर चालवण्यासाठी फार हळू, त्यामुळे ते फक्त छोटी यादी पाहते.

तुमच्या साइटसाठी याचा अर्थ: या टप्प्यावर जिंकण्यासाठी भागाने प्रश्नाचे थेट उत्तर द्यावे लागते. विषयावर असूनही हळूहळू उत्तराकडे जाणारा भाग एखाद्या छोट्या, थेट भागाने खाली ढकलला जाऊ शकतो. Dense retrieval आणि re-ranking ची guide पाहा.

अनेक वेळच्या संभाषणात आणि न सांगितलेल्या अटी

कोणत्या chat मध्ये दुसरा आणि तिसरा प्रश्न पहिल्यावर उभा असतो. ज्याने छोट्या teams साठी CRM विचारले आणि नंतर विचारले “यांतले कोणते Tally शी जोडते?”, त्याचा अर्थ अजूनही छोट्या team चे CRM असाच आहे. Assistants तो संदर्भ आपल्या नव्या searches मध्ये सोबत घेऊन जातात.

खरेदीदार काही अटी न सांगताही सोडतात: अंदाजपत्रक, कंपनीचा आकार, ठिकाण, आधीच वापरात असलेली tools. आम्ही यांना latent constraints म्हणतो; हे नाव आमचे स्वतःचे आहे. जे उत्तर न सांगितलेल्या अटींवर बसते ते जास्त उपयोगी ठरते, आणि assistants त्या स्रोतांना शोधतात जे यांचा उल्लेख करतात.

तुमच्या साइटसाठी याचा अर्थ: सांगा की एखादे उत्पादन किंवा सेवा कोणासाठी आहे, तिची किंमत काय आहे किंवा किंमत कशावरून ठरते, ती कुठे उपलब्ध आहे आणि कशासोबत चालते. याच तपशिलांमुळे एखादा assistant तुमचे पान एखाद्या विशिष्ट खरेदीदाराच्या परिस्थितीशी जुळवू शकतो. Multi-turn intent आणि latent constraints ची guide हे खोलात पाहते.

Context windows आणि token budgets

एखादे language model एका वेळी मर्यादित तेवढाच text वाचू शकते, जो tokens मध्ये मोजला जातो (प्रत्येक token ढोबळमानाने इंग्रजीच्या एका शब्दाचा तीन चतुर्थांश). फार मोठे context window असलेल्या models ना सुद्धा संपूर्ण पाने नाही, भागांची एक निवड दिली जाते, कारण लांब inputs जास्त खर्चिक असतात आणि उत्तर हळू करतात.

तुमच्या साइटसाठी याचा अर्थ: लांब प्रस्तावना, पुन्हा पुन्हा येणारा साचेबद्ध मजकूर आणि navigation चा text जागा खर्च करतात पण माहिती जोडत नाहीत. तुमच्या पानाचा जो भाग model पर्यंत जातो, तोच भाग प्रश्नाचे उत्तर देणारा असावा.

Lost-in-the-middle परिणाम

Stanford मध्ये Liu आणि त्यांच्या सहकाऱ्यांच्या 2023 च्या अभ्यासात “Lost in the Middle: How Language Models Use Long Contexts” असे आढळले की models माहितीचा सर्वात चांगला वापर तेव्हा करत होते जेव्हा ती त्यांच्या input च्या सुरुवातीला किंवा शेवटी असे, आणि सर्वात वाईट तेव्हा जेव्हा ती मध्ये बसलेली असे. संबंधित भाग लांब context च्या मध्ये हलवल्यावर त्याच प्रश्नावरची कामगिरी स्पष्टपणे घसरली.

तुमच्या साइटसाठी याचा अर्थ: प्रत्येक विभागाच्या सुरुवातीला उत्तर सांगा. लांब विभागाच्या चौथ्या paragraph मध्ये दडलेले महत्त्वाचे तथ्य निवडले जाण्याची शक्यताही कमी ठेवते आणि निवडले गेल्यावर वापरले जाण्याचीही.

Hallucination आणि grounding

Hallucination म्हणजे language model चे असे विधान जे खात्रीशीर वाटते पण चुकीचे असते. उत्तराला काढलेल्या स्रोतांवर आधारल्याने हे कमी होते, संपत नाही. generative search engines वरील Stanford च्या 2023 च्या अभ्यासात “Evaluating Verifiability in Generative Search Engines”, जो Liu, Zhang आणि Liang यांनी केला, असे आढळले की तयार केलेल्या वाक्यांपैकी सुमारे निम्मीच त्यांच्या citations नी पूर्णपणे समर्थित होती, आणि सुमारे एक चतुर्थांश citations ज्या वाक्याला जोडलेली होती त्याचे समर्थन करत नव्हती.

तुमच्या साइटसाठी याचा अर्थ: AI उत्तरे तुमच्या कंपनीचे वर्णन तेव्हाही चुकीचे करू शकतात जेव्हा ती तुम्हाला cite करतात. तुमच्या साइटवर स्पष्ट, एकसारखी तथ्ये, आणि तीच तथ्ये तुमच्या इतर profiles वर तंतोतंत पुन्हा दिलेली, model ला अंदाज बांधण्याची कमी जागा देतात. जेव्हा एखादा assistant तुमच्याबद्दल काही चुकीचे सांगतो, तेव्हा त्या चुकीचा स्रोत सामान्यतः कुठे एखादे जुने किंवा अस्पष्ट पान असतो, आणि ते शोधून दुरुस्त करणे हा GEO कामाचा भाग आहे. Hallucination आणि grounding ची guide पावले सांगते.

तपशीलवार guides

संबंधित guides