इंसानों ने अकाउंटिंग परीक्षा में चैटजीपीटी को हराया, एआई बॉट से 29% ज्यादा स्कोर

नयी दिल्ली: शोधकर्ताओं ने पाया कि छात्रों ने ओपनएआई के चैटबॉट उत्पाद चैटजीपीटी की तुलना में अकाउंटिंग परीक्षा में बेहतर प्रदर्शन किया है। इसके बावजूद, उन्होंने कहा कि चैटजीपीटी का प्रदर्शन “प्रभावशाली” था और यह एक “गेम चेंजर था जो हर किसी के पढ़ाने और सीखने के तरीके को बदल देगा – बेहतर के लिए।”

ब्रिघम यंग यूनिवर्सिटी (बीईयू), यूएस और 186 अन्य विश्वविद्यालयों के शोधकर्ता जानना चाहते थे कि ओपनएआई की तकनीक लेखा परीक्षा में कैसी होगी। उन्होंने अपने निष्कर्ष जर्नल इश्यूज इन एकाउंटिंग एजुकेशन में प्रकाशित किए हैं।

शोधकर्ताओं की लेखा परीक्षा में, छात्रों ने चैटजीपीटी के 47.4 प्रतिशत के स्कोर की तुलना में कुल औसत 76.7 प्रतिशत स्कोर किया। जबकि 11.3 प्रतिशत प्रश्नों में, ChatGPT को छात्र औसत से अधिक स्कोर करने के लिए पाया गया, विशेष रूप से लेखा सूचना प्रणाली (AIS) और ऑडिटिंग पर अच्छा प्रदर्शन करते हुए, AI बॉट को कर, वित्तीय और प्रबंधकीय आकलन पर खराब प्रदर्शन करते पाया गया। शोधकर्ताओं का मानना ​​है कि ऐसा संभवतः इसलिए हो सकता है क्योंकि चैटजीपीटी बाद वाले प्रकार के लिए आवश्यक गणितीय प्रक्रियाओं से जूझ रहा था।

एआई बॉट, जो प्राकृतिक भाषा पाठ उत्पन्न करने के लिए मशीन लर्निंग का उपयोग करता है, को सही/गलत प्रश्नों (68.7 प्रतिशत सही) और बहुविकल्पीय प्रश्नों (59.5 प्रतिशत) पर बेहतर करने के लिए पाया गया, लेकिन लघु-उत्तरीय प्रश्नों के साथ संघर्ष किया ( 28.7 और 39.1 प्रतिशत के बीच)।

सामान्य तौर पर, शोधकर्ताओं ने कहा कि चैटजीपीटी के लिए उत्तर देने के लिए उच्च-क्रम के प्रश्न कठिन थे। वास्तव में, कभी-कभी ChatGPT को गलत उत्तरों के लिए आधिकारिक लिखित विवरण प्रदान करने या एक ही प्रश्न का अलग-अलग तरीकों से उत्तर देने के लिए पाया गया।

उन्होंने यह भी पाया कि चैटजीपीटी अक्सर अपने उत्तरों के लिए स्पष्टीकरण प्रदान करता है, भले ही वे गलत हों। दूसरी बार, सटीक विवरण प्रदान करने के बावजूद, यह गलत बहुविकल्पी उत्तर का चयन करने के लिए चला गया। शोधकर्ताओं ने महत्वपूर्ण रूप से नोट किया कि चैटजीपीटी ने कभी-कभी तथ्य बनाए। उदाहरण के लिए, एक संदर्भ प्रदान करते समय, यह एक वास्तविक दिखने वाला संदर्भ उत्पन्न करता है जो पूरी तरह से गढ़ा हुआ था। काम और कभी-कभी लेखक भी मौजूद नहीं थे।

बॉट को निरर्थक गणितीय त्रुटियां करने के लिए भी देखा गया था जैसे घटाव की समस्या में दो संख्याओं को जोड़ना, या संख्याओं को गलत तरीके से विभाजित करना। चैटजीपीटी जैसे मॉडलों को शिक्षा में कैसे कारक होना चाहिए, इस बारे में गहन चल रही बहस में जोड़ना चाहते हैं, लेखा के एक बीवाईयू प्रोफेसर लीड स्टडी लेखक डेविड वुड ने यह देखने के लिए जितना संभव हो उतने प्रोफेसरों की भर्ती करने का फैसला किया कि एआई वास्तविक विश्वविद्यालय लेखा छात्रों के खिलाफ कैसा प्रदर्शन करता है। .

सोशल मीडिया पर उनके सह-लेखक भर्ती पिच में विस्फोट हुआ: 14 देशों के 186 शैक्षणिक संस्थानों के 327 सह-लेखकों ने शोध में भाग लिया, जिसमें 25,181 कक्षा लेखा परीक्षा के प्रश्नों का योगदान था। उन्होंने ChatGPT को अन्य 2,268 टेक्स्टबुक टेस्ट बैंक प्रश्नों को फीड करने के लिए अंडरग्रेजुएट BYU छात्रों की भी भर्ती की। प्रश्नों में एआईएस, ऑडिटिंग, वित्तीय लेखांकन, प्रबंधकीय लेखा और कर शामिल हैं, और कठिनाई और प्रकार में भिन्न हैं (सही/गलत, बहुविकल्पी, संक्षिप्त उत्तर)।