Dense retrieval एखाद्या प्रश्नाच्या अर्थाची तुलना साठवलेल्या text च्या अर्थाशी करून भाग शोधते, embeddings वापरून. Re-ranking नंतर सर्वात चांगले उमेदवार घेते आणि त्यांना एका हळू, जास्त अचूक model ने पुन्हा गुण देते. बहुतेक AI search systems दोन्ही वापरतात, याच क्रमाने, आणि एखाद्या पानाला आपला कोणताही text उत्तरापर्यंत पोहोचवण्यापूर्वी दोन्ही पावलांत टिकावे लागते.
Sparse आणि dense retrieval
पारंपरिक search sparse retrieval वापरते. सर्वात परिचित पद्धत, BM25, कागदपत्रांना या आधारावर गुण देते की query चे शब्द त्यांत किती वेळा येतात, कागदपत्राच्या लांबीनुसार आणि प्रत्येक शब्द संपूर्ण संग्रहात किती दुर्मिळ आहे यानुसार समायोजित. ती वेगवान आहे आणि नेमक्या शब्दांत फार चांगली: उत्पादन codes, नावे, error संदेश.
Dense retrieval प्रश्न आणि प्रत्येक भाग दोन्ही embedding म्हणून मांडते आणि ते भाग शोधते ज्यांचे embeddings सर्वात जवळ आहेत. ती अर्थाशी जुळते, त्यामुळे “cloud spend कमी करणे” तो भाग शोधू शकते जो “AWS bills कमी करण्या” वर आहे. ही पद्धत Dense Passage Retrieval (DPR) मुळे लोकप्रिय झाली, ज्याचे वर्णन Facebook AI मध्ये Karpukhin आणि त्यांच्या सहकाऱ्यांनी 2020 मध्ये केले, आणि ज्याने त्यांच्या question-answering चाचण्यांमध्ये top-20 retrieval च्या अचूकतेत BM25 ला 9 ते 19 टक्के गुणांनी मागे टाकले.
| Sparse (उदाहरण BM25) | Dense (उदाहरण DPR) | |
|---|---|---|
| कशाशी जुळते | नेमके शब्द | अर्थ |
| कशात बळकट | नावे, codes, संख्या, दुर्मिळ शब्द | दुसऱ्या शब्दांत मांडलेली गोष्ट, समानार्थी, स्वाभाविक प्रश्न |
| कशात कमकुवत | एकाच कल्पनेसाठी वेगळे शब्द | नेमकी ओळख, फार नवे शब्द |
| वेग | फार वेगवान | Approximate nearest neighbour indexes सह वेगवान |
Hybrid retrieval
कारण प्रत्येक पद्धत ते सोडून देते जे दुसरी पकडते, प्रत्यक्ष चालणाऱ्या systems सामान्यतः दोन्ही चालवतात आणि निष्कर्षांच्या याद्या एकत्र करतात. एकत्र करण्याची एक सामान्य पद्धत आहे reciprocal rank fusion, ज्याचे वर्णन Cormack आणि त्यांच्या सहकाऱ्यांनी 2009 मध्ये केले, आणि जी rankings ना कच्च्या गुणांऐवजी जागेनुसार जोडते.
Re-ranking
पहिल्या टप्प्याचे retrieval एखाद्या प्रश्नाची तुलना आधीच तयार केलेल्या भागांच्या embeddings शी करते, त्यामुळे ते प्रश्न आणि भाग एकत्र कधीच वाचत नाही. Re-ranker वाचतो. एखादा cross-encoder प्रश्न आणि एक भाग एकाच input म्हणून घेतो आणि एक relevance गुण बाहेर काढतो. Nogueira आणि Cho यांनी 2019 मध्ये दाखवले की BERT वर बांधलेला cross-encoder Microsoft च्या MS MARCO benchmark वर passage ranking खूप सुधारतो, आणि तेव्हापासून ही पद्धत प्रमाणित राहिली आहे.
Cross-encoders संपूर्ण index वर चालवण्यासाठी फार हळू आहेत, त्यामुळे ते पहिल्या टप्प्यातले फक्त वरचे उमेदवार पाहतात, अनेकदा काही डझन ते काही शे. काही systems एक मधला पर्याय वापरतात, late-interaction models जसे ColBERT (Khattab आणि Zaharia, 2020), जी प्रश्न आणि भागाची तुलना शब्दाशब्दाने कमी खर्चात करतात.
प्रत्येक टप्पा कशाला बक्षीस देतो
- Sparse retrieval ते नेमके शब्द वापरण्याला बक्षीस देते जे लोक शोधतात, विशेषतः नावे आणि तांत्रिक शब्द.
- Dense retrieval त्या भागांना बक्षीस देते जे प्रश्नामागची संकल्पना स्पष्ट मांडतात.
- Re-ranking त्या भागांना बक्षीस देते जे त्या विशिष्ट प्रश्नाचे थेट, लवकर आणि पूर्ण उत्तर देतात.
जो भाग विषयावर आहे पण आपल्या मुद्द्यापर्यंत हळू पोहोचतो, तो पहिला टप्पा पार करू शकतो आणि re-ranking मध्ये दुसऱ्या साइटच्या छोट्या, जास्त थेट भागापुढे हरू शकतो.
व्यवहारी पावले
- उत्पादने, प्रमाणे आणि tools ची नेमकी तीच नावे वापरा जशी लोक लिहितात.
- संकल्पना साध्या भाषेत समजावून सांगा, त्यांसाठी लोक वापरणारे इतर शब्दही समाविष्ट करून.
- प्रश्नाचे उत्तर संबंधित विभागाच्या पहिल्या वाक्यात द्या.
- प्रत्येक विभाग एका प्रश्नापुरता ठेवा, जेणेकरून त्याला त्या प्रश्नासाठी जास्त गुण मिळतील, अनेक प्रश्नांसाठी मध्यम नाही.
वारंवार विचारले जाणारे प्रश्न
Google dense retrieval वापरते का?
Google ने Search मध्ये neural models च्या वापराचे वर्णन केले आहे, ज्यात 2019 पासून BERT आणि संकल्पना समजण्यासाठी neural matching समाविष्ट आहे. ते आपल्या retrieval pipeline चा तपशील प्रसिद्ध करत नाही.
मला प्रत्येक टप्प्यासाठी वेगळे लिहावे लागेल का?
नाही. जो विभाग योग्य शब्द वापरतो, संकल्पना समजावून सांगतो आणि आपल्या सुरुवातीला प्रश्नाचे उत्तर देतो, तो तिन्हींमध्ये चांगले करतो.