Retrieval-augmented generation (RAG) वह तरीक़ा है जिसमें किसी language model को सवाल का जवाब देने के ठीक समय पर प्रासंगिक दस्तावेज़ दिए जाते हैं, और वह अपना जवाब उन दस्तावेज़ों से लिखता है, न कि सिर्फ़ training में सीखी बात पर टिककर। ChatGPT search, Perplexity, Google के AI Overviews और स्रोत के link दिखाने वाले बाक़ी ज़्यादातर assistants RAG का कोई रूप उपयोग करते हैं। किसी वेबसाइट के लिए RAG वह प्रक्रिया है जो तय करती है कि आपका पेज उन स्रोतों में से एक बनता है या नहीं।
यह शब्द कहाँ से आया
यह नाम 2020 के एक पत्र से आया, “Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks”, जिसे Facebook AI Research, University College London और New York University में Patrick Lewis तथा उनके साथियों ने लिखा और NeurIPS 2020 में पेश किया। उन्होंने एक retriever, जो Wikipedia के index में खोजता था, को एक text generator से जोड़ा, और दिखाया कि जुड़ा हुआ system तथ्य वाले सवालों का जवाब उस generator से ज़्यादा सही देता है जो अकेली याद से काम करता है। उसे index बदलकर अद्यतन भी किया जा सकता था, model को फिर से train किए बिना।
वे दो गुण, ताज़ा तथ्य और वे जवाब जिन्हें किसी स्रोत तक पीछे ले जाया जा सके, ही वजह हैं कि यह तरीक़ा web search assistants तक फैला।
किसी RAG system के चरण
1. Indexing
कोई सवाल पूछे जाने से पहले, दस्तावेज़ किसी crawler से इकट्ठे किए जाते हैं, navigation तथा ढाँचागत मजमून से साफ़ किए जाते हैं, chunks में बाँटे जाते हैं और रखे जाते हैं। ज़्यादातर आज के systems में हर chunk एक embedding में भी बदला जाता है, यानी एक vector जो उसके अर्थ को दर्शाता है। Web assistants या अपना index रखते हैं (Perplexity, OpenAI के OAI-SearchBot का crawl) या किसी search engine के index से पूछते हैं (Google की systems Google का अपना index उपयोग करती हैं; Microsoft Copilot, Bing का)।
2. Retrieval
उपयोगकर्ता का सवाल एक या अधिक search queries में फिर से लिखा जाता है। System संभावित chunks keyword मिलान से, vector similarity से, या दोनों से ढूँढता है। दोनों का उपयोग hybrid retrieval कहलाता है, और यह आम है क्योंकि keywords ठीक नाम और संख्याएं पकड़ते हैं जबकि vectors अर्थ पकड़ते हैं।
3. Re-ranking
पहला retrieval एक चौड़ी छोटी सूची देता है। एक दूसरा, धीमा model सवाल को हर उम्मीदवार के साथ पढ़ता है और अंक देता है कि वह कितना जवाब देता है। सिर्फ़ ऊपर के कुछ chunks आगे जाते हैं।
4. Generation
चुने हुए chunks model के input में सवाल तथा निर्देशों के साथ रखे जाते हैं। Model जवाब लिखता है और, जिन systems में citations दिखते हैं, वहाँ वाक्यों को उन chunks से जोड़ता है जिनसे वे आए।
पेज कहाँ बाहर हो जाता है
| चरण | पेज खोने की आम वजह | क्या जाँचें |
|---|---|---|
| Indexing | Crawler robots.txt में या firewall पर रोका गया; content केवल JavaScript से बनता है | हर AI crawler के लिए robots.txt नियम; मुख्य templates का कच्चा HTML |
| Chunking | जवाब कई हिस्सों में बँटा, या कोई हिस्सा जो पिछले के बिना समझ न आए | हर हिस्सा अकेला टिकता है या नहीं |
| Retrieval | पेज उन शब्दों का उपयोग नहीं करता या उन संकल्पनाओं को नहीं ढकता जो sub-queries के पीछे हैं | पेज असल में किन सवालों का जवाब देता है |
| Re-ranking | हिस्सा विषय पर है पर जवाब तक धीरे पहुँचता है | जवाब पहले एक दो वाक्यों में है या नहीं |
| Generation | हिस्सा वही कहता है जो बहुत से कहते हैं, इसलिए दावा मिला दिया जाता है और श्रेय कहीं और जाता है | पेज वे ख़ास तथ्य जोड़ता है या नहीं जो दूसरों में नहीं |
RAG क्या ठीक नहीं करता
RAG गढ़े हुए जवाब घटाता है पर उन्हें रोकता नहीं। Model फिर भी किसी स्रोत को ग़लत पढ़ सकता है, दो स्रोतों को ग़लत ढंग से मिला सकता है, या किसी वाक्य से ऐसा citation जोड़ सकता है जिसका स्रोत उसका समर्थन नहीं करता। Generative search engines पर Stanford के 2023 के एक अध्ययन में पाया गया कि बनाए गए वाक्यों में से लगभग आधे ही अपने citations से पूरी तरह समर्थित थे। किसी व्यवसाय के लिए इसका मतलब है कि कोई assistant आपके पेज को cite करके भी आपका वर्णन ग़लत कर सकता है। इसी वजह से, assistants आपके बारे में असल में क्या कहते हैं यह जाँचना किसी भी GEO योजना का हिस्सा होना चाहिए।
पेज को RAG systems के लिए आसान कैसे बनाएं
- प्रासंगिक crawlers को आने दें। हर AI search crawler के लिए robots.txt जाँचें, और अपना CDN या firewall भी जाँचें, जो AI bots को अपने आप रोक सकता है।
- मुख्य content शुरुआती HTML में भेजें, उसे डालने के लिए JavaScript पर न टिकें।
- हर हिस्से को एक विषय दें, एक heading जो उसका नाम ले, और उसके पहले वाक्य में जवाब।
- हिस्से की शुरुआत में विषय का पूरा नाम लें, “वह” या “यह” उपयोग करने की जगह।
- वे तथ्य जोड़ें जो सिर्फ़ आप दे सकते हैं: आपके आँकड़े, क़ीमतें, तरीक़े और नतीजे।
- कंपनी के तथ्य अपनी साइट और अपनी profiles पर हूबहू एक जैसे रखें, जिससे model के पास चुनने के लिए कुछ टकराता हुआ न हो।
अक्सर पूछे जाने वाले सवाल
क्या RAG और AI search एक ही चीज़ है?
RAG वह तरीक़ा है जो ज़्यादातर AI search उत्पाद उपयोग करते हैं। AI search वह उत्पाद है। कुछ assistants तब सिर्फ़ training data से भी जवाब देते हैं जब वे तय करते हैं कि search की ज़रूरत नहीं, और उस हालत में कोई retrieval नहीं होता।
क्या RAG, Google का index उपयोग करता है?
यह उत्पाद पर निर्भर करता है। Google की AI सुविधाएं Google का index उपयोग करती हैं। Microsoft Copilot, Bing उपयोग करता है। Perplexity और OpenAI अपने crawlers चलाते हैं और तीसरे पक्ष के search providers भी उपयोग करते हैं। इसी वजह से AI visibility के लिए एक से ज़्यादा search engine में index होना मायने रखता है।
क्या मैं देख सकता हूँ कि किसी AI system ने मेरे कौन से पेज निकाले?
केवल परोक्ष रूप से। Server logs AI crawlers और उपयोगकर्ता के कहने पर आने वाले fetchers जैसे ChatGPT-User की यात्राएं दिखाते हैं, और जवाबों में citations दिखाते हैं कि कौन से पेज उपयोग हुए। कोई assistant यह पूरी सूची नहीं छापता कि उसने क्या निकाला और क्या छोड़ा।