AI Retrieval के लिए Content Chunking

Systems पेजों को कैसे बाँटते हैं, अच्छा chunk किससे बनता है, और एक पहले बाद का उदाहरण.

भाषा: English · हिंदी · मराठी

Content chunking वह क़दम है जिसमें कोई retrieval system किसी पेज को रखने और खोजने से पहले छोटे टुकड़ों में बाँटता है। जब कोई AI assistant आपकी साइट को quote करता है, तो वह इन्हीं chunks में से एक को quote कर रहा होता है। कोई search engine आपके पेज को कैसे chunk करे यह आप नहीं चुन सकते, पर आप पेज की बनावट ऐसी कर सकते हैं कि लगभग कोई भी समझदार बँटवारा वे टुकड़े बनाए जो अपने आप में अर्थ रखते हों।

Systems पेजों को कैसे बाँटते हैं

तरीक़ा वह कैसे काम करता है आपके पेज पर असर
तय आकार हर N tokens पर काटता है, अक्सर पड़ोसी chunks के बीच कुछ overlap के साथ किसी paragraph या table को आधा काट सकता है
Recursive बँटवारा पहले हिस्सों की सीमाओं पर काटने की कोशिश करता है, फिर paragraphs पर, फिर वाक्यों पर, जब तक टुकड़े काफ़ी छोटे न हो जाएं जब headings और paragraphs साफ़ हों तो आपकी बनावट का सम्मान करता है
बनावट पर आधारित Headings (H2, H3) या HTML elements को सीमा मानता है हर heading के नीचे का हिस्सा एक chunk बन जाता है
Semantic लगातार आने वाले वाक्यों के अर्थ की तुलना करता है और वहाँ काटता है जहाँ विषय बदलता है कई विषय मिले हिस्से अनपेक्षित जगहों पर बँट जाते हैं

LangChain और LlamaIndex जैसे open-source retrieval frameworks default chunk आकार कुछ सौ से लगभग एक हज़ार tokens के दायरे में भेजते हैं। व्यापारिक search systems अपनी settings नहीं छापते। इसी वजह से ठीक 256 या 512 tokens के chunks में लिखने की सलाह एक मोटा दिशानिर्देश है; किसी search engine ने ऐसा कोई नियम घोषित नहीं किया है।

अच्छा chunk किससे बनता है

  • वह एक विषय ढकता है
  • वह अपनी मुख्य बात कहकर शुरू होता है
  • वह “वह”, “यह” या “ऊपर वाला” पर टिकने की जगह अपने विषय का नाम लेता है
  • उसमें वे संख्याएं, शर्तें या उदाहरण होते हैं जो उसके दावे को सही बनाते हैं
  • वह इतना छोटा होता है कि कुछ सौ शब्दों में काटे जाने पर भी टिक जाए

पहले और बाद

किसी आम सेवा पेज का यह हिस्सा अपने से पहले के text पर टिका है:

जैसा हमने पहले बताया, यहीं से ज़्यादातर ग्राहक शुरू करते हैं। इसमें आम तौर पर दो हफ़्ते लगते हैं और उसका output बाद में team उपयोग करती है।

अकेला निकाले जाने पर कोई system नहीं बता सकता कि “यह” क्या है या output में क्या होता है। एक अपने आप में पूरे chunk के रूप में फिर लिखा गया:

AI Search Audit, Brilad के ग्राहकों के लिए शुरुआत की आम जगह है। इसमें करीब दो हफ़्ते लगते हैं और यह असर के क्रम में लगाई गई सुधारों की सूची पर ख़त्म होता है, जिसे ग्राहक की अपनी team उपयोग कर सकती है।

Headings दोहरा काम करती हैं

कोई heading पाठकों को बताती है कि हिस्सा क्या ढकता है और बनावट पर आधारित splitters को एक साफ़ सीमा देती है। वे headings जो लोगों के पूछने के ढंग में लिखी हों (“Audit में कितना समय लगता है?”) retrieval को उस chunk को किसी सवाल से मिलाने में भी मदद करती हैं। “Overview” या “और ब्यौरा” जैसी धुँधली headings इनमें से कुछ नहीं करतीं।

Tables और सूचियां

छोटी tables आम तौर पर एक ही chunk में रहती हैं और models के लिए पढ़ना आसान होता है। बहुत लंबी tables कट सकती हैं, इसलिए अगर कोई table तीस या चालीस पंक्तियों से आगे जाती है तो column के headers दोहराएं, या उसे अपनी headings वाली छोटी tables में बाँट दें। सूचियों को अपने से पहले के वाक्य में अपना विषय बता देना चाहिए, जिससे वह chunk जो सूची से शुरू होता है उसके पास भी संदर्भ रहे।

अक्सर पूछे जाने वाले सवाल

क्या हर पेज को बहुत छोटे हिस्सों में बाँटना चाहिए?

नहीं। हिस्से उतने लंबे होने चाहिए जितना विषय माँगे। जो मायने रखता है वह है हर हिस्से में एक विषय और एक साफ़ पहला वाक्य।

क्या chunking Google की rankings पर असर डालती है?

Google की अपनी passage-based ranking है, जो 2021 में आई, और जो किसी लंबे पेज के एक अकेले हिस्से को rank कर सकती है। साफ़, अपने आप में पूरे हिस्से वहाँ भी मदद करते हैं।

जुड़े हुए पेज