AI Retrieval साठी Content Chunking

Systems पाने कशी विभागतात, चांगला chunk कशामुळे बनतो, आणि एक आधी नंतरचे उदाहरण.

भाषा: English · हिंदी · मराठी

Content chunking हे ते पाऊल आहे ज्यात एखादी retrieval system एखादे पान साठवण्यापूर्वी आणि शोधण्यापूर्वी छोट्या तुकड्यांत विभागते. जेव्हा एखादा AI assistant तुमची साइट उद्धृत करतो, तेव्हा तो याच chunks पैकी एक उद्धृत करत असतो. एखादे search engine तुमचे पान कसे chunk करावे हे तुम्ही निवडू शकत नाही, पण तुम्ही पानाची रचना अशी करू शकता की जवळपास कोणतीही समंजस विभागणी असे तुकडे घडवेल जे स्वतःपुरते अर्थपूर्ण असतील.

Systems पाने कशी विभागतात

पद्धत ती कशी चालते तुमच्या पानावर परिणाम
ठरलेला आकार प्रत्येक N tokens वर कापते, अनेकदा शेजारच्या chunks मध्ये थोडा overlap ठेवून एखादा paragraph किंवा table अर्धा कापू शकते
Recursive विभागणी आधी विभागांच्या सीमांवर कापण्याचा प्रयत्न करते, नंतर paragraphs वर, नंतर वाक्यांवर, जोपर्यंत तुकडे पुरेसे छोटे होत नाहीत Headings आणि paragraphs स्पष्ट असतील तेव्हा तुमच्या रचनेचा मान राखते
रचनेवर आधारित Headings (H2, H3) किंवा HTML elements ना सीमा मानते प्रत्येक heading खालचा विभाग एक chunk बनतो
Semantic लागोपाठ येणाऱ्या वाक्यांच्या अर्थाची तुलना करते आणि तिथे कापते जिथे विषय बदलतो अनेक विषय मिसळलेले विभाग अनपेक्षित जागी विभागले जातात

LangChain आणि LlamaIndex सारखी open-source retrieval frameworks default chunk आकार काही शे ते जवळपास एक हजार tokens च्या कक्षेत पाठवतात. व्यापारी search systems आपली settings प्रसिद्ध करत नाहीत. त्यामुळेच नेमके 256 किंवा 512 tokens च्या chunks मध्ये लिहिण्याचा सल्ला एक ढोबळ मार्गदर्शक आहे; कोणत्याही search engine ने असा नियम घोषित केलेला नाही.

चांगला chunk कशामुळे बनतो

  • तो एक विषय मांडतो
  • तो आपला मुख्य मुद्दा सांगून सुरू होतो
  • तो “तो”, “हे” किंवा “वरचे” यांवर विसंबण्याऐवजी आपल्या विषयाचे नाव घेतो
  • त्यात त्या संख्या, अटी किंवा उदाहरणे असतात जी त्याचा दावा खरा ठरवतात
  • तो इतका छोटा असतो की काही शे शब्दांत कापला गेल्यावरही टिकेल

आधी आणि नंतर

एखाद्या सामान्य सेवा पानाचा हा विभाग त्याच्या आधीच्या text वर विसंबलेला आहे:

आम्ही आधी सांगितल्याप्रमाणे, येथूनच बहुतेक ग्राहक सुरुवात करतात. त्याला सामान्यतः दोन आठवडे लागतात आणि त्याचा output नंतर team वापरते.

एकटा काढला गेल्यावर कोणतीही system सांगू शकत नाही की “हे” काय आहे किंवा output मध्ये काय असते. एक स्वतःपुरता पूर्ण chunk म्हणून पुन्हा लिहिलेला:

AI Search Audit ही Brilad च्या ग्राहकांसाठी सुरुवातीची सामान्य जागा आहे. त्याला जवळपास दोन आठवडे लागतात आणि तो परिणामाच्या क्रमाने लावलेल्या दुरुस्त्यांच्या यादीवर संपतो, जी ग्राहकाची स्वतःची team वापरू शकते.

Headings दुहेरी काम करतात

एखादी heading वाचकांना सांगते की विभाग काय मांडतो आणि रचनेवर आधारित splitters ना एक स्वच्छ सीमा देते. ज्या headings लोकांच्या विचारण्याच्या पद्धतीत लिहिल्या असतील (“Audit ला किती वेळ लागतो?”) त्या retrieval ला तो chunk एखाद्या प्रश्नाशी जुळवण्यातही मदत करतात. “Overview” किंवा “अधिक तपशील” अशा अस्पष्ट headings यांपैकी काहीच करत नाहीत.

Tables आणि याद्या

छोट्या tables सामान्यतः एकाच chunk मध्ये राहतात आणि models साठी वाचणे सोपे असते. फार लांब tables कापल्या जाऊ शकतात, त्यामुळे एखादी table तीस किंवा चाळीस ओळींच्या पुढे जात असेल तर column चे headers पुन्हा द्या, किंवा तिला आपल्या headings असलेल्या छोट्या tables मध्ये विभागा. याद्यांनी आपल्या आधीच्या वाक्यात आपला विषय सांगावा, जेणेकरून जो chunk यादीने सुरू होतो त्याकडेही संदर्भ राहील.

वारंवार विचारले जाणारे प्रश्न

प्रत्येक पान फार छोट्या विभागांत विभागावे का?

नाही. विभाग तितके लांब असावे जितके विषय मागेल. जे महत्त्वाचे आहे ते म्हणजे प्रत्येक विभागात एक विषय आणि एक स्पष्ट पहिले वाक्य.

Chunking Google च्या rankings वर परिणाम करते का?

Google ची स्वतःची passage-based ranking आहे, जी 2021 मध्ये आली, आणि जी एखाद्या लांब पानाचा एकटा विभाग rank करू शकते. स्पष्ट, स्वतःपुरते पूर्ण विभाग तिथेही मदत करतात.

संबंधित पाने