AI Crawlers के लिए Machine Readability और साफ़ HTML

Crawlers को असल में क्या मिलता है, semantic HTML, आम समस्याएं, text-to-HTML ratio की सच्चाई, और एक जल्दी होने वाली जाँच.

भाषा: English · हिंदी · मराठी

Machine readability यह है कि कोई crawler या parser किसी पेज के code से उसका अर्थ कितनी आसानी से निकाल पाता है: मुख्य text, headings, links और बनावट। कोई पेज browser में बिल्कुल ठीक दिख सकता है और फिर भी मशीनों के लिए पढ़ना मुश्किल हो सकता है, अगर उसका content JavaScript से देर में आता हो, images में रखा हो, या layout के code की परतों में दबा हो। साफ़, semantic HTML इनमें से ज़्यादातर समस्याएं ठीक कर देता है।

Crawlers को असल में क्या मिलता है

Googlebot JavaScript render करता है, पर rendering पहले crawl के बाद हो सकती है। ज़्यादातर AI crawlers JavaScript चलाते ही नहीं और केवल वह HTML पढ़ते हैं जो server भेजता है। किसी content को आँकने से पहले जाँचें कि उस पहले जवाब में क्या है। आप उसे browser में “View page source” से देख सकते हैं (न कि “Inspect” से, जो scripts चलने के बाद का पेज दिखाता है), curl जैसे command-line औज़ार से, या Google Search Console के URL Inspection tool में “View crawled page” विकल्प से।

Semantic HTML

Semantic elements किसी parser को बताते हैं कि पेज का हर हिस्सा क्या है:

Element अर्थ
main पेज का मुख्य content, navigation और footer से अलग
article एक अपने आप में पूरा टुकड़ा, जैसे कोई post या guide
h1 से h3 Heading की उतरंड
nav, header, footer साइट का ढाँचा जिसे content निकालते समय छोड़ा जा सकता है
ul, ol, table सूचियां और तालिका वाला data, अपनी बनावट बचाए हुए
time मशीन से पढ़ी जा सकने वाली रूप में एक तारीख़

Page builders अक्सर div elements बनाते हैं जिन्हें headings, सूचियों या tables जैसा दिखने को सजाया जाता है। लोगों को वही चीज़ दिखती है, पर parser बनावट खो देता है।

आम समस्याएं

  • मुख्य text पेज load होने के बाद JavaScript से डाला जाना
  • ज़रूरी जानकारी केवल images, sliders या videos के अंदर, जिसका कोई text रूप नहीं
  • Tabs या accordions में वह content जो click करने पर ही लाया जाता है
  • Headings उतरंड की जगह font के आकार के लिए चुनी जाना, जैसे कई h1 elements या छोड़े गए स्तर
  • Page builders से आई wrapper elements की बहुत गहरी परतें
  • Iframes के अंदर content, जिसे crawlers एक अलग दस्तावेज़ मानते हैं

Text-to-HTML ratio के बारे में

कुछ SEO tools “text-to-HTML ratio” बताते हैं और कम मान को समस्या मानते हैं। Google ने कहा है कि यह ranking factor नहीं है। भारी markup की फिर भी लागत है: Lighthouse चेतावनी देता है जब किसी पेज में लगभग 1,400 से ज़्यादा DOM nodes हों, क्योंकि बड़े DOM rendering और interaction धीमा करते हैं। फूला हुआ markup साफ़ करना रफ़्तार और स्पष्टता के लिए करने लायक है; वह ratio ख़ुद छोड़ा जा सकता है।

Machine readability और accessibility

Machine readability के ज़्यादातर सुधार accessibility के सुधार भी हैं। Screen readers उन्हीं headings, landmarks, सूचियों, table के headers और alt text पर टिकते हैं जिन्हें parsers उपयोग करते हैं। Web Content Accessibility Guidelines (WCAG) मानने से दोनों एक साथ सुधरते हैं।

एक जल्दी होने वाली जाँच

  1. पेज का source खोलें और मुख्य content के बीच से एक वाक्य खोजें। अगर वह नहीं है, तो वह JavaScript से आता है।
  2. जाँचें कि एक h1 है और h2 तथा h3 headings पेज की बाहरी रेखा के हिसाब से चलती हैं।
  3. जाँचें कि tables, table, tr, th और td elements उपयोग करती हैं।
  4. Images बंद करें और देखें कि कोई मुख्य जानकारी ग़ायब नहीं होती।
  5. Lighthouse चलाएं और DOM के आकार की चेतावनी देखें।

अक्सर पूछे जाने वाले सवाल

क्या page builder SEO के लिए बुरा है?

अपने आप नहीं। कुछ साफ़ markup बनाते हैं, कुछ बहुत भारी code। औज़ार के नाम की जगह उसका output जाँचें।

क्या Google को JavaScript के बिना पेज चाहिए?

नहीं, Google JavaScript render करता है। दूसरे search engines और ज़्यादातर AI crawlers नहीं करते, इसलिए server से भेजा हुआ content ज़्यादा systems तक पहुँचता है।

जुड़े हुए पेज