Embedding संख्याओं की एक सूची है जो किसी text के अर्थ को दर्शाती है, और cosine similarity यह नापने का सबसे आम तरीक़ा है कि दो embeddings कितने पास हैं। Search engines और AI assistants इनसे वे हिस्से ढूँढते हैं जो किसी सवाल से मेल खाते हैं, चाहे शब्द अलग हों। इसी वजह से आज का search उन पेजों को इनाम देता है जो किसी विषय को अच्छी तरह समझाते हैं, उन पेजों से ज़्यादा जो कोई keyword दोहराते हैं।
Embedding क्या है
कोई embedding model किसी शब्द, वाक्य या हिस्से को पढ़कर एक vector निकालता है: तय लंबाई की संख्याओं की एक सूची। उदाहरण के लिए OpenAI का text-embedding-3-small model 1,536 संख्याओं वाले vectors बनाता है, और text-embedding-3-large, 3,072 वाले। हर संख्या अकेले किसी व्यक्ति के लिए कुछ अर्थ नहीं रखती। मिलकर वे उस text को एक बहु-आयामी जगह में एक बिंदु पर रखती हैं, जहाँ मिलते जुलते अर्थ वाले texts एक दूसरे के पास बैठते हैं।
यह विचार word2vec से व्यापक उपयोग में आया, जिसे Google के शोधकर्ताओं ने 2013 में छापा, और जो हर शब्द को एक अकेला vector देता था। बाद के models जैसे BERT, जिसे Google ने 2018 में जारी किया, contextual embeddings बनाते हैं: वही शब्द आसपास के वाक्य के हिसाब से अलग vector पाता है। “Bank”, “river bank” और “bank loan” में अलग अलग जगह जाकर बैठता है। Google ने 2019 में Search में BERT का उपयोग शुरू किया।
Cosine similarity क्या नापती है
Cosine similarity दो vectors की दिशा की तुलना करती है और उनकी लंबाई को नज़रअंदाज़ करती है। यह दोनों vectors का dot product है जो उनकी लंबाइयों के गुणनफल से भाग दिया जाता है, और नतीजा -1 और 1 के बीच आता है। 1 के पास का अंक मतलब texts अर्थ में एक ही दिशा में इशारा करते हैं; 0 के पास का अंक मतलब वे असंबंधित हैं।
| Query | हिस्सा | संभावित similarity |
|---|---|---|
| Cloud hosting की लागत कैसे घटाऊं? | अपना AWS बिल घटाने के पाँच तरीक़े | ऊँची, लगभग कोई शब्द साझा न होते हुए भी |
| Cloud hosting की लागत कैसे घटाऊं? | Cloud hosting कंपनी का इतिहास और संस्थापक | कम, “cloud hosting” शब्द साझा होते हुए भी |
ठीक अंक model पर निर्भर करते हैं। जो मायने रखता है वह पैटर्न है: अर्थ साझा शब्दों से ज़्यादा गिना जाता है।
Search systems embeddings कैसे उपयोग करते हैं
कोई retrieval system हर रखे हुए हिस्से को पहले से एक embedding में बदल देता है। जब कोई सवाल आता है, वह सवाल को भी बदलता है, फिर वे हिस्से ढूँढता है जिनके vectors सबसे पास हैं। लाखों हिस्सों से ठीक ठीक तुलना करना बहुत धीमा होगा, इसलिए systems approximate nearest neighbour search उपयोग करते हैं, HNSW (hierarchical navigable small world graphs) जैसी index बनावटों के साथ, जो थोड़ी सटीकता देकर रफ़्तार में बड़ा फ़ायदा लेते हैं।
ज़्यादातर चलते हुए systems इसे BM25 जैसे keyword मिलान के साथ जोड़ते हैं। Keywords वे ठीक उत्पाद नाम, codes और संख्याएं पकड़ते हैं जिन्हें embeddings धुँधला कर सकते हैं; embeddings वह अर्थ पकड़ते हैं जो keywords छोड़ देते हैं। इस तरीक़े को hybrid retrieval कहते हैं, और इसका ज़्यादा ब्यौरा retrieval-augmented generation की guide में है।
आपके content के लिए इसका मतलब
संकल्पना समझाएं, फिर वे शब्द उपयोग करें जो लोग उपयोग करते हैं
Embedding पकड़ता है कि कोई हिस्सा किस बारे में है। वह हिस्सा जो किसी विषय को साफ़ समझाता है, उस विषय के सवाल की बहुत सी कहावटों से मेल खाएगा। वे आम शब्द भी शामिल करें जो ख़रीदार उपयोग करते हैं, क्योंकि keyword मिलान साथ साथ चलता रहता है।
हर हिस्से में एक विषय
वह हिस्सा जो क़ीमत, setup और समस्या सुधार तीनों एक ही जगह ढकता है, एक ऐसा embedding बनाता है जो तीनों के बीच कहीं बैठता है और किसी से मज़बूती से मेल नहीं खाता। अलग हिस्से अलग, तेज़ embeddings बनाते हैं।
Keyword दोहराने से कम होता है
कोई वाक्यांश दोहराने से embedding थोड़ा ही हिलता है। 2023 के GEO शोध पत्र में पाया गया कि keyword stuffing से AI जवाबों में visibility नहीं सुधरी, जबकि आँकड़े, उद्धरण और स्रोत जोड़ने से सुधरी।
नाम और संख्याओं के लिए ठीक शब्द अब भी मायने रखते हैं
उत्पादों के नाम, model नंबर, क़ीमतें और तकनीकी पहचान हूबहू उसी तरह दिखनी चाहिए जैसे लोग उन्हें खोजते हैं। यही वह जगह है जहाँ keyword मिलान वज़न उठाता है।
अक्सर पूछे जाने वाले सवाल
क्या semantic search और vector search एक ही चीज़ है?
ये शब्द अक्सर एक दूसरे की जगह उपयोग होते हैं। Semantic search लक्ष्य बताता है, अर्थ से मेल। Vector search आम तरीक़ा बताता है, embeddings की तुलना।
क्या मैं देख सकता हूँ कि मेरा पेज कैसे embed हुआ?
Google या ChatGPT में नहीं। आप अपने हिस्से और जाँच के सवाल किसी सार्वजनिक embedding model से चलाकर अंक मिला सकते हैं, जो उन हिस्सों को पकड़ने में काम का है जो बहुत से विषय मिला देते हैं, पर नतीजा किसी search engine से हूबहू नहीं मिलेगा।
क्या embeddings SEO में keywords की जगह ले लेते हैं?
नहीं। वे यह बदलते हैं कि keyword का काम किस लिए है। Keywords अब मुख्य रूप से ठीक नामों में और यह समझने में मदद करते हैं कि लोग क्या पूछते हैं, जबकि पेज को ख़ुद विषय समझाना होता है।