Lost-in-the-middle असर language models की वह प्रवृत्ति है कि वे जानकारी का सबसे अच्छा उपयोग तब करते हैं जब वह उनके input की शुरुआत या अंत में हो, और सबसे बुरा तब जब वह बीच में हो। इसे Stanford के 2023 के एक अध्ययन में नापा गया, और इसका सीधा असर इस बात पर पड़ता है कि पेज कैसे लिखे जाने चाहिए अगर उन्हें AI assistants quote करें।
वह अध्ययन
“Lost in the Middle: How Language Models Use Long Contexts” जुलाई 2023 में Nelson F. Liu, Kevin Lin, John Hewitt, Ashwin Paranjape, Michele Bevilacqua, Fabio Petroni और Percy Liang ने छापा, और वह बाद में 2024 में पत्रिका Transactions of the Association for Computational Linguistics में आया।
शोधकर्ताओं ने models को एक सवाल और दस्तावेज़ों का एक सेट दिया, जिनमें से सिर्फ़ एक में जवाब था, और उस दस्तावेज़ को input में अलग अलग जगहों पर ले जाया। उन्होंने एक दूसरी जाँच चलाई जिसमें models को key-value जोड़ों की एक लंबी सूची से कोई मान निकालना था।
उन्हें क्या मिला
- सटीकता एक U आकार के वक्र पर चली: सबसे ऊँची जब प्रासंगिक दस्तावेज़ पहला या आख़िरी था, सबसे नीची जब वह बीच में था।
- यह असर लंबे inputs के लिए बने models में भी दिखा, और सामान्य models में भी।
- एक स्थिति में, GPT-3.5-Turbo ने 20 दस्तावेज़ों के बीच प्रासंगिक दस्तावेज़ रखे जाने पर उससे कम सही जवाब दिया जो उसने बिना किसी दस्तावेज़ के दिया, जब उसे अकेली याद पर टिकना था।
- और दस्तावेज़ जोड़ने से भरोसे के साथ मदद नहीं मिली, क्योंकि अतिरिक्त सामग्री काम के दस्तावेज़ को किनारों से और दूर धकेल देती थी।
Model बनाने वालों ने 2023 से लंबे context के प्रदर्शन पर काम किया है, और नए models इसे बेहतर संभालते हैं। यह असर कितना मज़बूती से लागू होता है यह model और काम पर निर्भर करता है, पर कोई छपा नतीजा यह नहीं दिखाता कि जगह मायने रखना बंद हो गया है।
AI search के लिए यह क्यों मायने रखता है
Retrieval-augmented generation उपयोग करने वाला कोई AI assistant कई निकाले हुए हिस्से model के input में रखता है और उससे जवाब देने को कहता है। वही जगह का असर दो स्तरों पर लागू होता है:
- हिस्सों के सेट के अंदर: वह हिस्सा जो input में जल्दी या देर से रखा जाता है, जवाब को प्रभावित करने की संभावना ज़्यादा रखता है।
- किसी एक हिस्से के अंदर: वह वाक्य जो जवाब बताता है, पहले आने पर उपयोग होने की संभावना ज़्यादा रखता है।
कोई system आपके हिस्से को दूसरों के बीच कहाँ रखता है, यह आपके हाथ में नहीं है। आपके अपने text के अंदर जवाब कहाँ बैठता है, यह आपके हाथ में है।
इसके लिए कैसे लिखें
जवाब पहले रखें
हर हिस्सा उस वाक्य से शुरू करें जो उसकी heading का जवाब देता है। पृष्ठभूमि, इतिहास और चेतावनियां बाद में आएं।
हिस्से इतने छोटे रखें कि वे एक हिस्सा बन सकें
वह हिस्सा जो कई paragraphs तक चलता है, किसी retrieval system से बँटने की संभावना रखता है। अगर जवाब तीसरे chunk में है, तो पहले दो उससे मुक़ाबला करते हैं।
मुख्य तथ्य सारांश पंक्ति में दोहराएं
लंबी guides के लिए, ऊपर एक छोटा सारांश जो मुख्य निष्कर्ष बताए, systems को पेज की शुरुआत में एक जवाब देता है, जहाँ उसका उपयोग होने की संभावना सबसे ज़्यादा है।
लंबी भूमिकाओं से बचें
“आज की तेज़ी से बदलती digital दुनिया में” जैसी भूमिकाएं काम के वाक्य को नीचे धकेलती हैं और कुछ नहीं जोड़तीं जिसे कोई model quote कर सके।
पहले और बाद
| पहले | बाद |
|---|---|
| Crawl budget पर SEO समुदाय में सालों से बात होती आई है, और बहुत से साइट मालिक इसकी चिंता करते हैं। Google ने इस विषय पर कई बार लिखा है। व्यवहार में यह मुख्य रूप से बहुत बड़ी साइटों के लिए मायने रखता है। | Google के अनुसार crawl budget मुख्य रूप से उन साइटों के लिए मायने रखता है जिनमें लगभग दस लाख से ज़्यादा पेज हों, या करीब दस हज़ार पेज रोज़ बदलते हों। छोटी साइटों को इसे संभालने की ज़रूरत कम ही पड़ती है। |
दूसरा रूप जवाब और उसका स्रोत पहले वाक्य में रखता है, जहाँ लोग और models दोनों पहले देखते हैं।
अक्सर पूछे जाने वाले सवाल
क्या बड़े context windows इस समस्या को हल कर देते हैं?
अपने आप नहीं। मूल अध्ययन ने यह असर लंबे context वाले models में भी पाया। बड़ा window किसी model को ज़्यादा पढ़ने देता है, पर जगह अब भी असर डालती है कि वह जो पढ़ता है उसका उपयोग कितना अच्छा करता है।
क्या यह Google की सामान्य rankings पर लागू होता है?
उस अध्ययन ने यह नापा कि language models अपना input कैसे पढ़ते हैं, और search rankings को नहीं देखा। जवाब पहले वाली लिखाई featured snippets में भी मदद करती है, पर एक अलग वजह से: Google वह हिस्सा चुनता है जो query का सीधा जवाब देता है।