Retrieval-augmented generation (RAG) ही अशी पद्धत आहे ज्यात language model ला प्रश्नाचे उत्तर देण्याच्या क्षणी संबंधित कागदपत्रे दिली जातात, आणि ते आपले उत्तर त्या कागदपत्रांतून लिहिते, फक्त training मध्ये शिकलेल्यावर विसंबून न राहता. ChatGPT search, Perplexity, Google चे AI Overviews आणि स्रोतांचे दुवे दाखवणारे बाकीचे बहुतेक assistants RAG चा कोणता प्रकार वापरतात. एखाद्या वेबसाइटसाठी RAG ही ती प्रक्रिया आहे जी ठरवते की तुमचे पान त्या स्रोतांपैकी एक बनते की नाही.
हा शब्द कुठून आला
हे नाव 2020 च्या एका निबंधातून आले, “Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks”, जो Facebook AI Research, University College London आणि New York University मध्ये Patrick Lewis आणि त्यांच्या सहकाऱ्यांनी लिहिला आणि NeurIPS 2020 मध्ये मांडला. त्यांनी एक retriever, जो Wikipedia च्या index मध्ये शोधत होता, त्याला एका text generator शी जोडले, आणि दाखवले की जोडलेली system तथ्यात्मक प्रश्नांची उत्तरे त्या generator पेक्षा जास्त बरोबर देते जो एकट्या स्मरणातून काम करतो. ती index बदलून अद्ययावतही करता येत होती, model पुन्हा train न करता.
ते दोन गुण, ताजी तथ्ये आणि अशी उत्तरे जी एखाद्या स्रोतापर्यंत मागे नेता येतील, हीच कारणे आहेत की ही पद्धत web search assistants पर्यंत पसरली.
RAG system चे टप्पे
1. Indexing
कोणताही प्रश्न विचारण्यापूर्वी, कागदपत्रे एखाद्या crawler ने जमा केली जातात, navigation आणि साचेबद्ध मजकुरापासून स्वच्छ केली जातात, chunks मध्ये विभागली जातात आणि साठवली जातात. आजच्या बहुतेक systems मध्ये प्रत्येक chunk एका embedding मध्येही बदलला जातो, म्हणजे एक vector जो त्याच्या अर्थाचे प्रतिनिधित्व करतो. Web assistants किंवा आपला index ठेवतात (Perplexity, OpenAI च्या OAI-SearchBot चा crawl) किंवा एखाद्या search engine च्या index ला विचारतात (Google च्या systems Google चा स्वतःचा index वापरतात; Microsoft Copilot, Bing चा).
2. Retrieval
वापरकर्त्याचा प्रश्न एक किंवा अधिक search queries मध्ये पुन्हा लिहिला जातो. System संभाव्य chunks keyword जुळणीने, vector similarity ने, किंवा दोन्हींनी शोधते. दोन्हींचा वापर hybrid retrieval म्हणतात, आणि तो सामान्य आहे कारण keywords नेमकी नावे आणि संख्या पकडतात तर vectors अर्थ पकडतात.
3. Re-ranking
पहिले retrieval एक रुंद छोटी यादी देते. एक दुसरे, हळू model प्रश्न प्रत्येक उमेदवारासोबत वाचते आणि गुण देते की तो किती उत्तर देतो. फक्त वरचे काही chunks पुढे जातात.
4. Generation
निवडलेले chunks model च्या input मध्ये प्रश्न आणि सूचनांसह ठेवले जातात. Model उत्तर लिहिते आणि, ज्या systems मध्ये citations दिसतात, तिथे वाक्यांना त्या chunks शी जोडते ज्यांतून ती आली.
पान कुठे बाहेर पडते
| टप्पा | पान गमावण्याचे सामान्य कारण | काय तपासावे |
|---|---|---|
| Indexing | Crawler robots.txt मध्ये किंवा firewall वर अडवलेला; content केवळ JavaScript ने तयार होतो | प्रत्येक AI crawler साठी robots.txt नियम; मुख्य templates चा कच्चा HTML |
| Chunking | उत्तर अनेक विभागांत विभागलेले, किंवा एखादा विभाग जो आधीच्याशिवाय समजत नाही | प्रत्येक विभाग एकटा टिकतो का |
| Retrieval | पान ते शब्द वापरत नाही किंवा त्या संकल्पना मांडत नाही ज्या sub-queries मागे आहेत | पान प्रत्यक्षात कोणत्या प्रश्नांची उत्तरे देते |
| Re-ranking | भाग विषयावर आहे पण उत्तरापर्यंत हळू पोहोचतो | उत्तर पहिल्या एक दोन वाक्यांत आहे का |
| Generation | भाग तेच सांगतो जे अनेक सांगतात, त्यामुळे दावा एकत्र केला जातो आणि श्रेय इतरत्र जाते | पान ती विशिष्ट तथ्ये जोडते का जी इतरांमध्ये नाहीत |
RAG काय दुरुस्त करत नाही
RAG बनावट उत्तरे कमी करते पण ती थांबवत नाही. Model अजूनही एखादा स्रोत चुकीचा वाचू शकते, दोन स्रोत चुकीच्या पद्धतीने एकत्र करू शकते, किंवा एखाद्या वाक्याला असे citation जोडू शकते ज्याचा स्रोत त्याला आधार देत नाही. Generative search engines वरील Stanford च्या 2023 च्या एका अभ्यासात असे आढळले की तयार केलेल्या वाक्यांपैकी सुमारे निम्मीच त्यांच्या citations नी पूर्णपणे समर्थित होती. एखाद्या व्यवसायासाठी याचा अर्थ असा की एखादा assistant तुमचे पान cite करूनही तुमचे वर्णन चुकीचे करू शकतो. याच कारणासाठी, assistants तुमच्याबद्दल प्रत्यक्षात काय सांगतात हे तपासणे कोणत्याही GEO योजनेचा भाग असावे.
पान RAG systems साठी सोपे कसे करावे
- संबंधित crawlers ना येऊ द्या. प्रत्येक AI search crawler साठी robots.txt तपासा, आणि आपले CDN किंवा firewall सुद्धा तपासा, जे AI bots ना आपोआप अडवू शकते.
- मुख्य content सुरुवातीच्या HTML मध्ये पाठवा, तो टाकण्यासाठी JavaScript वर विसंबू नका.
- प्रत्येक विभागाला एक विषय द्या, एक heading जी त्याचे नाव घेईल, आणि त्याच्या पहिल्या वाक्यात उत्तर.
- विभागाच्या सुरुवातीला विषयाचे पूर्ण नाव घ्या, “तो” किंवा “हे” वापरण्याऐवजी.
- ती तथ्ये जोडा जी फक्त तुम्ही देऊ शकता: तुमचे आकडे, किंमती, पद्धती आणि निष्कर्ष.
- कंपनीची तथ्ये आपल्या साइटवर आणि आपल्या profiles वर तंतोतंत एकसारखी ठेवा, जेणेकरून model कडे निवडण्यासाठी काही भिडणारे नसेल.
वारंवार विचारले जाणारे प्रश्न
RAG आणि AI search एकच गोष्ट आहे का?
RAG ही ती पद्धत आहे जी बहुतेक AI search उत्पादने वापरतात. AI search हे उत्पादन आहे. काही assistants तेव्हा फक्त training data मधूनही उत्तर देतात जेव्हा ते ठरवतात की search ची गरज नाही, आणि त्या वेळी कोणतेही retrieval होत नाही.
RAG, Google चा index वापरते का?
हे उत्पादनावर अवलंबून आहे. Google ची AI सुविधा Google चा index वापरते. Microsoft Copilot, Bing वापरते. Perplexity आणि OpenAI आपले crawlers चालवतात आणि तिसऱ्या पक्षाचे search providers सुद्धा वापरतात. याच कारणासाठी AI visibility साठी एकापेक्षा जास्त search engine मध्ये index होणे महत्त्वाचे आहे.
कोणत्या AI system ने माझी कोणती पाने काढली हे मी पाहू शकतो का?
केवळ अप्रत्यक्षपणे. Server logs AI crawlers आणि वापरकर्त्याच्या सांगण्यावरून येणारे fetchers जसे ChatGPT-User यांच्या भेटी दाखवतात, आणि उत्तरांमधली citations दाखवतात की कोणती पाने वापरली. कोणताही assistant त्याने काय काढले आणि काय सोडले याची संपूर्ण यादी प्रसिद्ध करत नाही.