AI hallucination किसी language model का बनाया वह कथन है जो भरोसे से भरा लगता है पर ग़लत या बिना सहारे का होता है। Grounding वह अभ्यास है जिसमें model के जवाब को निकाले हुए स्रोतों से बाँधा जाता है, जिससे उसे जाँचा जा सके। Grounding hallucinations घटाता है पर उन्हें हटाता नहीं, जिसका मतलब है कि AI assistants किसी कंपनी का वर्णन ग़लत कर सकते हैं, उसी कंपनी की अपनी वेबसाइट को cite करते हुए भी।
Models hallucinate क्यों करते हैं
कोई language model अगले संभावित शब्दों का अनुमान लगाकर text बनाता है। उसके अंदर यह समझ नहीं होती कि कोई कथन सच है या नहीं। जब उसके training data या निकाले हुए स्रोतों में जवाब नहीं होता, तब भी वह एक धाराप्रवाह जवाब बना सकता है जो सवाल के पैटर्न पर बैठ जाए। आम वजहें हैं:
- सवाल ऐसी चीज़ पर है जिस पर model के पास कम या कोई जानकारी नहीं, जैसे कोई छोटी या नई कंपनी
- दो मिलती जुलती entities मिला दी जाती हैं, उदाहरण के लिए मिलते जुलते नामों वाली दो कंपनियां
- कोई पुराना स्रोत निकाला जाता है, जैसे कोई पुरानी directory listing
- Model किसी खाली जगह को एक संभव लगने वाले ब्यौरे से भर देता है, जैसे स्थापना का साल या कोई सेवा जो कंपनी नहीं देती
Grounding कितना काम करता है?
बिना grounding से बेहतर, पर भरोसे के साथ नहीं। Stanford के 2023 के एक अध्ययन, “Evaluating Verifiability in Generative Search Engines”, जो Nelson F. Liu, Tianyi Zhang और Percy Liang ने किया, ने चार generative search engines की जाँच की। औसतन बनाए गए वाक्यों में से केवल 51.5% अपने citations से पूरी तरह समर्थित थे, और 74.5% citations उस वाक्य का समर्थन करते थे जिससे वे जुड़े थे। तब से ये systems सुधरे हैं, पर यह निष्कर्ष उस पैटर्न को समझाता है जो व्यवसाय अब भी देखते हैं: एक ग़लत वाक्य के बग़ल में एक सही link।
किसी व्यवसाय के लिए hallucinations कैसे दिखते हैं
| प्रकार | उदाहरण | संभावित स्रोत |
|---|---|---|
| ग़लत सेवा | “कंपनी paid advertising management भी देती है” | कोई पुराना पेज, कोई directory श्रेणी, या मिलते जुलते नाम वाली कंपनी |
| ग़लत जगह | किसी दफ़्तर का शहर जो कंपनी सालों पहले छोड़ चुकी | पुरानी listings या press releases |
| ग़लत लोग | किसी पुराने कर्मचारी को संस्थापक बताया जाना | पुराना LinkedIn data या पुराना About पेज |
| गढ़े हुए तथ्य | स्थापना का साल या ग्राहक का नाम जो कहीं नहीं मिलता | जहाँ कोई स्रोत नहीं, वहाँ खाली जगह भरना |
| प्रतिस्पर्धी से घपला | आपके उत्पाद का वर्णन किसी प्रतिस्पर्धी की सुविधाओं से | वे तुलना पेज जो दोनों को साफ़ अलग किए बिना गिनाते हैं |
इन्हें कैसे ढूँढें और ठीक करें
- अपनी कंपनी के बारे में सवालों का एक सेट लिखें: वह क्या करती है, कहाँ है, कौन चलाता है, क़ीमत क्या है, किसके लिए ठीक है।
- हर बड़े assistant से कई बार पूछें, क्योंकि जवाब हर बार बदलते हैं।
- हर ग़लत कथन और उसके बग़ल में cite किए स्रोत दर्ज करें।
- हर ग़लती का पीछा करें। अगर कोई स्रोत cite हुआ है, उसे जाँचें। अगर कोई नहीं है, तो उस ग़लत तथ्य को search करके देखें कि वह web पर कहाँ आता है।
- जो आपके हाथ में है उसे सुधारें: आपके अपने पेज, profiles और listings। जो आपके हाथ में नहीं, उन तीसरे पक्ष की साइटों से अद्यतन करने को कहें।
- सही तथ्य ढूँढना आसान बनाएं: एक साफ़ About पेज, एक जैसी profiles, Organization और Person schema।
- ChatGPT, Gemini और Google के AI Overviews में दिए feedback buttons से ख़ास ग़लत जवाबों की रिपोर्ट करें।
- प्रासंगिक crawlers को सुधारे हुए पेज फिर देखने का समय मिलने के बाद दोबारा जाँचें।
वे ग़लतियां जो किसी model के training data से आती हैं, न कि live retrieval से, तभी बदलती हैं जब model फिर से train होता है। Web पर सही स्रोत ही उसे प्रभावित करने का एकमात्र तरीक़ा है।
अगर आप अपना AI assistant चलाते हैं
जो व्यवसाय अपनी ही साइट पर chatbot रखते हैं, उसके जवाबों का जोखिम उनका है। 2024 के एक मामले में, एक कनेडियन tribunal ने Air Canada को उस ग़लत refund जानकारी के लिए ज़िम्मेदार ठहराया जो उसकी वेबसाइट के chatbot ने एक ग्राहक को दी। आपकी अपनी साइट के chatbot को केवल आपके मंज़ूर किए दस्तावेज़ों से जवाब देना चाहिए, हर जवाब का स्रोत दिखाना चाहिए, और जब उसे न पता हो तो यह कहना चाहिए।
अक्सर पूछे जाने वाले सवाल
क्या मैं AI assistants को अपनी कंपनी के बारे में ग़लत कहने से रोक सकता हूँ?
पूरी तरह नहीं। आप उन स्रोतों को ठीक करके और तथ्य एक जैसे रखकर ग़लतियां घटा सकते हैं जिन पर वे टिकते हैं, और ग़लत जवाबों की रिपोर्ट कर सकते हैं। AI कंपनियों के बाहर कोई उस output को नियंत्रित नहीं करता।
क्या cite होने का मतलब है कि जवाब सही है?
नहीं। Citation दिखाता है कि system ने कौन सा स्रोत उपयोग किया। वह वाक्य उस स्रोत से मेल खाता है या नहीं, यह cite किए पेज को पढ़कर जाँचना पड़ता है।