AI Search मध्ये Context Windows आणि Token Budgets

Token काय आहे, हिंदी आणि मराठीला जास्त tokens का लागतात, आणि मर्यादित budget साठी कसे लिहावे.

भाषा: English · हिंदी · मराठी

Context window ही ती कमाल मात्रा आहे जितका text एखादे language model एका वेळी वाचू शकते, जी tokens मध्ये मोजली जाते. Token budget हा त्या window चा तो भाग आहे जो एखादी system एखाद्या प्रश्नाचे उत्तर देताना काढलेल्या web content वर खर्च करण्याचे ठरवते. Context windows फार मोठी असतानाही AI search systems model ला भागांची एक छोटी निवड देतात, त्यामुळे तुमच्या पानाचा फक्त सर्वात संबंधित भाग वाचला जाण्याची शक्यता असते.

Token काय आहे

Language models text ला tokens मध्ये विभागतात: पूर्ण शब्द, शब्दांचे भाग किंवा विरामचिन्हे. OpenAI चे मार्गदर्शन सांगते की एक token हे सुमारे इंग्रजी text ची चार अक्षरे आहे, किंवा एखाद्या शब्दाचा तीन चतुर्थांश. “optimisation” हा शब्द दोन किंवा तीन tokens असू शकतो; “SEO” एक असू शकतो.

Token ची मोजणी भाषेवर अवलंबून असते. Tokenizers सामान्यतः बहुतांशी इंग्रजी text वर train होतात, त्यामुळे हिंदी आणि मराठी सारख्या भाषांना त्याच अर्थासाठी अनेकदा जास्त tokens लागतात. ज्या साइट भारतीय भाषांमध्ये प्रसिद्ध करतात, त्यांच्यासाठी तेच उत्तर model च्या budget चा जास्त भाग घेते.

Context window विरुद्ध token budget

Model ची context windows सुरुवातीच्या models च्या काही हजार tokens पासून वाढून काही लाखांपर्यंत, आणि काही models मध्ये दहा लाखांपेक्षा जास्त पर्यंत पोहोचली आहेत. याचा अर्थ असा नाही की एखादा assistant उत्तर देताना संपूर्ण वेबसाइट वाचतो. प्रत्येक token computing चा वेळ आणि पैसा घेतो आणि विलंब जोडतो, आणि लांब inputs हा धोका वाढवतात की model संबंधित भाग सोडून देईल, जसे lost-in-the-middle संशोधनाने दाखवले.

त्यामुळे search systems एक budget ठरवतात. ते अनेक उमेदवार काढतात, त्यांना पुन्हा क्रमाने लावतात, आणि model ला फक्त वरचे भाग देतात, अनेकदा प्रत्येक स्रोतातून काही शे शब्द. नेमके budgets प्रसिद्ध केले जात नाहीत आणि उत्पादन तसेच प्रश्नानुसार बदलतात.

काय कापले जाते

जेव्हा एखादा crawler किंवा retrieval system एखादे पान हाताळते, तेव्हा बहुतेक systems navigation, footers, cookie सूचना आणि scripts काढून टाकतात, नंतर उरलेला text chunks मध्ये विभागतात. त्या chunks मधून फक्त सर्वात चांगली जुळणी ठेवली जाते. जो text सुटण्याची शक्यता असते त्यात समाविष्ट आहे:

  • लांब प्रस्तावना ज्या प्रश्नाचे उत्तर देत नाहीत
  • प्रत्येक पानावर पुन्हा येणारा साचेबद्ध मजकूर, जसे प्रत्येक footer मध्ये कंपनीचे वर्णन
  • Images च्या आतला text, जो कोणता text crawler वाचू शकत नाही
  • तो content जो केवळ click किंवा scroll नंतर येतो

मर्यादित budget साठी कसे लिहावे

प्रत्येक विभागात उत्तर लवकर सांगा

तुमच्या पानातून फक्त एक भाग वापरला जाणार असेल, तर तो तोच असावा जो प्रश्नाचे उत्तर देतो, आणि त्याने ते आपल्या पहिल्या वाक्यात द्यावे.

भरताड कापा

“या लेखात आपण पाहू” असले शब्दसमूह tokens खर्च करतात आणि असे काही जोडत नाहीत जे एखादे model वापरू शकेल.

प्रत्येक विभाग स्वतःपुरता पूर्ण ठेवा

जो भाग “वर सांगितल्याप्रमाणे” ने सुरू होतो, तो कमी उपयोगी ठरतो जेव्हा त्याच्या वरचा text निवडलाच गेला नाही. विषयाचे नाव पुन्हा घ्या.

संख्या आणि अटी दाव्याच्या शेजारी ठेवा

“मूलभूत hosting plan 10 GB पेक्षा छोट्या साइटसाठी महिन्याला 800 रुपयांचा आहे” असले वाक्य छोट्या भागात कापले गेल्यावरही टिकते. एका paragraph मध्ये किंमत आणि तीन paragraph नंतर तिच्या अटी, टिकणार नाहीत.

वारंवार विचारले जाणारे प्रश्न

मोठ्या context windows चा अर्थ असा आहे का की लांब पाने पूर्ण वाचली जातील?

AI search मध्ये नाही. Systems उत्तरे वेगवान आणि परवडणारी ठेवण्यासाठी अजूनही भाग निवडतात. लांब पाने तेव्हाच मदत करतात जेव्हा प्रत्येक विभाग स्वतःपुरता उपयोगी असेल.

माझे पान किती tokens वापरते?

OpenAI आणि इतरांची tokenizer tools कोणत्याही text चे tokens मोजून देतील. ढोबळ अंदाज म्हणून, 1,500 शब्दांचे इंग्रजी पान navigation आणि बाकीचा पानाचा text काढण्यापूर्वी जवळपास 2,000 tokens असते.

संबंधित पाने