अध्ययन से पता चलता है कि एआई चैटबॉट नेत्रहीन गलत चिकित्सा विवरण दोहरा सकते हैं

नई दिल्ली: हेल्थकेयर में आर्टिफिशियल इंटेलिजेंस टूल्स की बढ़ती उपस्थिति के बीच, एक नए अध्ययन ने चेतावनी दी कि एआई चैटबॉट झूठी चिकित्सा जानकारी पर दोहराने और विस्तृत करने के लिए अत्यधिक असुरक्षित हैं। माउंट सिनाई, यूएस में इकोन स्कूल ऑफ मेडिसिन के शोधकर्ताओं ने स्वास्थ्य देखभाल में इस तरह के उपकरणों पर भरोसा करने से पहले मजबूत सुरक्षा उपायों की महत्वपूर्ण आवश्यकता का खुलासा किया।

टीम ने यह भी प्रदर्शित किया कि एक साधारण बिल्ट-इन चेतावनी प्रॉम्प्ट उस जोखिम को सार्थक रूप से कम कर सकता है, एक व्यावहारिक मार्ग की पेशकश करता है क्योंकि प्रौद्योगिकी तेजी से विकसित होती है। “जो हमने बोर्ड में देखा था, वह यह है कि एआई चैटबॉट्स को आसानी से झूठे चिकित्सा विवरणों द्वारा गुमराह किया जा सकता है, चाहे वे त्रुटियां जानबूझकर या आकस्मिक हों,” प्रमुख लेखक महमूद उमर ने कहा, वर्सिटी से।

“उन्होंने न केवल गलत सूचनाओं को दोहराया, बल्कि अक्सर उस पर विस्तार किया, गैर-मौजूद स्थितियों के लिए आत्मविश्वास स्पष्टीकरण की पेशकश की। उत्साहजनक हिस्सा यह है कि एक सरल, एक-लाइन चेतावनी ने उन मतिभ्रम को नाटकीय रूप से काटने के लिए प्रेरित किया, यह दिखाते हुए कि छोटे सुरक्षा उपायों को एक बड़ा अंतर बना सकता है,” उमर ने कहा।

जर्नल कम्युनिकेशंस मेडिसिन में विस्तृत अध्ययन के लिए, टीम ने काल्पनिक रोगी परिदृश्य बनाए, जिनमें से प्रत्येक में एक गढ़े हुए चिकित्सा शब्द जैसे कि एक मेड-अप बीमारी, लक्षण, या परीक्षण, और उन्हें बड़े भाषा मॉडल के लिए अग्रणी करने के लिए प्रस्तुत किया गया।

पहले दौर में, चैटबॉट्स ने बिना किसी अतिरिक्त मार्गदर्शन के परिदृश्यों की समीक्षा की। दूसरे दौर में, शोधकर्ताओं ने एक-लाइन सावधानी को प्रॉम्प्ट में जोड़ा, एआई को याद दिलाया कि प्रदान की गई जानकारी गलत हो सकती है।

उस चेतावनी के बिना, चैटबॉट्स नियमित रूप से नकली चिकित्सा विवरण पर विस्तृत रूप से विस्तृत हैं, आत्मविश्वास से उन शर्तों या उपचारों के बारे में स्पष्टीकरण उत्पन्न करते हैं जो मौजूद नहीं हैं। लेकिन, अतिरिक्त संकेत के साथ, उन त्रुटियों को काफी कम कर दिया गया था।

टीम की योजना वास्तविक, डी-पहचान किए गए रोगी रिकॉर्ड के लिए एक ही दृष्टिकोण को लागू करने और अधिक उन्नत सुरक्षा संकेतों और पुनर्प्राप्ति उपकरणों का परीक्षण करने की है।

उन्हें उम्मीद है कि उनकी “नकली-अवधि” विधि नैदानिक उपयोग से पहले अस्पतालों, तकनीकी डेवलपर्स और नियामकों के लिए एक सरल लेकिन शक्तिशाली उपकरण के रूप में काम कर सकती है।