Lost-in-the-middle परिणाम ही language models ची अशी प्रवृत्ती आहे की ती माहितीचा सर्वात चांगला वापर तेव्हा करतात जेव्हा ती त्यांच्या input च्या सुरुवातीला किंवा शेवटी असेल, आणि सर्वात वाईट तेव्हा जेव्हा ती मध्ये असेल. ते Stanford च्या 2023 च्या एका अभ्यासात मोजले गेले, आणि त्याचा थेट परिणाम यावर होतो की पाने कशी लिहावी जर ती AI assistants नी उद्धृत करावी.
तो अभ्यास
“Lost in the Middle: How Language Models Use Long Contexts” हा जुलै 2023 मध्ये Nelson F. Liu, Kevin Lin, John Hewitt, Ashwin Paranjape, Michele Bevilacqua, Fabio Petroni आणि Percy Liang यांनी प्रसिद्ध केला, आणि तो नंतर 2024 मध्ये Transactions of the Association for Computational Linguistics या नियतकालिकात आला.
संशोधकांनी models ना एक प्रश्न आणि कागदपत्रांचा एक संच दिला, ज्यांपैकी फक्त एकात उत्तर होते, आणि ते कागदपत्र input मध्ये वेगवेगळ्या जागी हलवले. त्यांनी एक दुसरी चाचणी चालवली ज्यात models ना key-value जोड्यांच्या एका लांब यादीतून एखादे मूल्य काढायचे होते.
त्यांना काय आढळले
- अचूकता एका U आकाराच्या वक्रावर चालली: सर्वात जास्त जेव्हा संबंधित कागदपत्र पहिले किंवा शेवटचे होते, सर्वात कमी जेव्हा ते मध्ये होते.
- हा परिणाम लांब inputs साठी बांधलेल्या models मध्येही दिसला, आणि सामान्य models मध्येही.
- एका परिस्थितीत, GPT-3.5-Turbo ने 20 कागदपत्रांच्या मध्ये संबंधित कागदपत्र ठेवल्यावर त्याहून कमी बरोबर उत्तर दिले जे त्याने कोणतेही कागदपत्र न देता दिले, जेव्हा त्याला एकट्या स्मरणावर विसंबायचे होते.
- अधिक कागदपत्रे जोडल्याने खात्रीशीर मदत झाली नाही, कारण जास्तीची सामग्री उपयोगी कागदपत्राला कडांपासून अधिक दूर ढकलत होती.
Model बनवणाऱ्यांनी 2023 पासून लांब context च्या कामगिरीवर काम केले आहे, आणि नवी models ते जास्त चांगले हाताळतात. हा परिणाम किती बळकटपणे लागू होतो हे model आणि कामावर अवलंबून असते, पण कोणताही प्रसिद्ध निष्कर्ष हे दाखवत नाही की जागेचे महत्त्व संपले आहे.
AI search साठी हे का महत्त्वाचे
Retrieval-augmented generation वापरणारा कोणता AI assistant अनेक काढलेले भाग model च्या input मध्ये ठेवतो आणि त्याला उत्तर देण्यास सांगतो. तोच जागेचा परिणाम दोन पातळ्यांवर लागू होतो:
- भागांच्या संचाच्या आत: जो भाग input मध्ये लवकर किंवा उशिरा ठेवला जातो, तो उत्तरावर परिणाम करण्याची शक्यता जास्त ठेवतो.
- एखाद्या एका भागाच्या आत: जे वाक्य उत्तर सांगते, ते आधी आल्यास वापरले जाण्याची शक्यता जास्त ठेवते.
कोणती system तुमचा भाग इतरांमध्ये कुठे ठेवते, हे तुमच्या हातात नाही. तुमच्या स्वतःच्या text च्या आत उत्तर कुठे बसते, हे तुमच्या हातात आहे.
यासाठी कसे लिहावे
उत्तर आधी ठेवा
प्रत्येक विभाग त्या वाक्याने सुरू करा जे त्याच्या heading चे उत्तर देते. पार्श्वभूमी, इतिहास आणि इशारे नंतर यावेत.
विभाग इतके छोटे ठेवा की ते एक भाग बनतील
जो विभाग अनेक paragraphs पर्यंत चालतो, तो एखाद्या retrieval system ने विभागला जाण्याची शक्यता असते. उत्तर तिसऱ्या chunk मध्ये असेल, तर पहिले दोन त्याशी स्पर्धा करतात.
मुख्य तथ्य सारांश ओळीत पुन्हा सांगा
लांब guides साठी, वर एक छोटा सारांश जो मुख्य निष्कर्ष सांगेल, तो systems ना पानाच्या सुरुवातीला एक उत्तर देतो, जिथे त्याचा वापर होण्याची शक्यता सर्वात जास्त आहे.
लांब प्रस्तावना टाळा
“आजच्या झपाट्याने बदलणाऱ्या digital जगात” अशा प्रस्तावना उपयोगी वाक्याला खाली ढकलतात आणि असे काही जोडत नाहीत जे एखादे model उद्धृत करू शकेल.
आधी आणि नंतर
| आधी | नंतर |
|---|---|
| Crawl budget वर SEO समुदायात वर्षानुवर्षे चर्चा होत आली आहे, आणि अनेक साइट मालक त्याची चिंता करतात. Google ने या विषयावर अनेक वेळा लिहिले आहे. व्यवहारात ते मुख्यतः फार मोठ्या साइटसाठी महत्त्वाचे असते. | Google नुसार crawl budget मुख्यतः त्या साइटसाठी महत्त्वाचे असते ज्यांत सुमारे दहा लाखांपेक्षा जास्त पाने असतील, किंवा जवळपास दहा हजार पाने रोज बदलत असतील. छोट्या साइटना ते सांभाळण्याची गरज क्वचितच पडते. |
दुसरा प्रकार उत्तर आणि त्याचा स्रोत पहिल्या वाक्यात ठेवतो, जिथे माणसे आणि models दोघे आधी पाहतात.
वारंवार विचारले जाणारे प्रश्न
मोठी context windows ही अडचण सोडवतात का?
आपोआप नाही. मूळ अभ्यासाने हा परिणाम लांब context असलेल्या models मध्येही शोधला. मोठे window एखाद्या model ला जास्त वाचू देते, पण जागा अजूनही परिणाम करते की ते जे वाचते त्याचा वापर किती चांगला करते.
हे Google च्या सामान्य rankings ना लागू होते का?
त्या अभ्यासाने हे मोजले की language models आपला input कसा वाचतात, आणि search rankings पाहिल्या नाहीत. उत्तर आधी अशी लिखाई featured snippets मध्येही मदत करते, पण वेगळ्या कारणासाठी: Google तो भाग निवडते जो query चे थेट उत्तर देतो.