AI Search में Context Windows और Token Budgets

Token क्या है, हिंदी और मराठी को ज़्यादा tokens क्यों लगते हैं, और सीमित budget के लिए कैसे लिखें.

भाषा: English · हिंदी · मराठी

Context window वह अधिकतम मात्रा है जितना text कोई language model एक बार में पढ़ सकता है, जिसे tokens में नापा जाता है। Token budget उस window का वह हिस्सा है जो कोई system किसी सवाल का जवाब देते समय निकाले हुए web content पर ख़र्च करने का फ़ैसला करता है। Context windows बहुत बड़े होने पर भी AI search systems model को हिस्सों का एक छोटा चयन देते हैं, इसलिए आपके पेज का सिर्फ़ सबसे प्रासंगिक हिस्सा पढ़ा जाने की संभावना रखता है।

Token क्या है

Language models text को tokens में बाँटते हैं: पूरे शब्द, शब्दों के हिस्से या विराम चिह्न। OpenAI का मार्गदर्शन कहता है कि एक token लगभग अंग्रेज़ी text के चार अक्षर है, या किसी शब्द का तीन चौथाई। शब्द “optimisation” दो या तीन tokens हो सकता है; “SEO” एक हो सकता है।

Token की गिनती भाषा पर निर्भर करती है। Tokenizers आम तौर पर ज़्यादातर अंग्रेज़ी text पर train होते हैं, इसलिए हिंदी और मराठी जैसी भाषाओं को उसी अर्थ के लिए अक्सर ज़्यादा tokens चाहिए होते हैं। जो साइटें भारतीय भाषाओं में छापती हैं, उनके लिए वही जवाब model के budget का ज़्यादा हिस्सा लेता है।

Context window बनाम token budget

Model के context windows शुरुआती models के कुछ हज़ार tokens से बढ़कर कई लाख तक, और कुछ models में दस लाख से ज़्यादा तक पहुँचे हैं। इसका मतलब यह नहीं कि कोई assistant जवाब देते समय पूरी वेबसाइटें पढ़ता है। हर token computing का समय और पैसा लेता है और देरी जोड़ता है, और लंबे inputs यह ख़तरा बढ़ाते हैं कि model प्रासंगिक हिस्सा छोड़ दे, जैसा lost-in-the-middle शोध ने दिखाया।

इसलिए search systems एक budget तय करते हैं। वे बहुत से उम्मीदवार निकालते हैं, उन्हें फिर क्रम में लगाते हैं, और model को सिर्फ़ ऊपर के हिस्से देते हैं, अक्सर हर स्रोत से कुछ सौ शब्द। ठीक budgets छापे नहीं जाते और उत्पाद तथा सवाल के हिसाब से बदलते हैं।

क्या कट जाता है

जब कोई crawler या retrieval system किसी पेज को संसाधित करता है, ज़्यादातर systems navigation, footers, cookie सूचनाएं और scripts हटा देते हैं, फिर बचे text को chunks में बाँटते हैं। उन chunks में से सिर्फ़ सबसे अच्छे मेल रखे जाते हैं। जो text छूटने की संभावना रखता है उसमें शामिल है:

  • लंबी भूमिकाएं जो सवाल का जवाब नहीं देतीं
  • हर पेज पर दोहराया गया ढाँचागत मजमून, जैसे हर footer में कंपनी का वर्णन
  • Images के अंदर का text, जिसे कोई text crawler नहीं पढ़ सकता
  • वह content जो सिर्फ़ click या scroll के बाद आता है

सीमित budget के लिए कैसे लिखें

हर हिस्से में जवाब जल्दी बताएं

अगर आपके पेज से सिर्फ़ एक हिस्सा उपयोग होगा, तो वह वही होना चाहिए जो सवाल का जवाब देता है, और उसे अपने पहले वाक्य में देना चाहिए।

भरती काटें

“इस लेख में हम जानेंगे” जैसे वाक्यांश tokens ख़र्च करते हैं और कुछ नहीं जोड़ते जिसे कोई model उपयोग कर सके।

हर हिस्सा अपने आप में पूरा रखें

वह हिस्सा जो “जैसा ऊपर बताया” से शुरू होता है, कम काम का होता है जब उसके ऊपर का text चुना ही नहीं गया। विषय का नाम फिर लें।

संख्याएं और शर्तें दावे के बग़ल में रखें

“बुनियादी hosting plan 10 GB से छोटी साइटों के लिए महीने के 800 रुपये का है” जैसा वाक्य छोटे हिस्से में काटे जाने पर भी टिकता है। एक paragraph में क़ीमत और तीन paragraph बाद उसकी शर्तें, न टिकें।

अक्सर पूछे जाने वाले सवाल

क्या बड़े context windows का मतलब है कि लंबे पेज पूरे पढ़े जाएंगे?

AI search में नहीं। Systems जवाब तेज़ और सस्ते रखने के लिए अब भी हिस्से चुनते हैं। लंबे पेज तभी मदद करते हैं जब हर हिस्सा अपने आप काम का हो।

मेरा पेज कितने tokens उपयोग करता है?

OpenAI और दूसरों के tokenizer tools किसी भी text के tokens गिन देंगे। मोटे अंदाज़े के तौर पर, 1,500 शब्दों का अंग्रेज़ी पेज navigation और बाक़ी पेज का text हटाने से पहले करीब 2,000 tokens होता है।

जुड़े हुए पेज