आराम करें, वॉल स्ट्रीट। चैटजीपीटी चार्टर्ड वित्तीय विश्लेषक परीक्षा उत्तीर्ण करने और दुनिया भर में वित्तीय पेशेवरों की नौकरियों पर खतरा मंडराने से अभी भी कोसों दूर है।
जेपी मॉर्गन चेज़ एंड कंपनी के शोधकर्ताओं और विश्वविद्यालय शिक्षाविदों की एक टीम ने परीक्षण किया कि क्या ओपनएआई के चैटजीपीटी और जीपीटी-4 चैटबॉट्स के पास परीक्षा के पहले दो स्तरों को पास करने का मौका होगा। परीक्षण के सभी तीन स्तरों को पूरा करने में मनुष्यों को आम तौर पर चार साल लगते हैं, जिससे उच्च वेतन और बेहतर नौकरी के अवसर मिल सकते हैं।
शोधकर्ताओं ने 11-पेज की रिपोर्ट में लिखा, “अनुमानित उत्तीर्ण दरों और औसत स्व-रिपोर्ट किए गए अंकों के आधार पर, हमने निष्कर्ष निकाला कि चैटजीपीटी संभवतः सभी परीक्षण सेटिंग्स के तहत सीएफए स्तर I और स्तर II को पास करने में सक्षम नहीं होगा।” यदि संकेत दिया जाए तो 4 के पास सीएफए लेवल I और लेवल II पास करने का अच्छा मौका होगा।
शोधकर्ताओं में शिक्षाविद और जेपी मॉर्गन के एआई अनुसंधान संगठन के छह कर्मचारी शामिल हैं, जिनमें समीना शाह और एंटनी पापादिमित्रीउ शामिल हैं।
सीएफए संस्थान, जो साख प्रदान करता है, ने यह सुनिश्चित करने के लिए कि अपने करियर में बढ़त हासिल करने वाले पेशेवर स्वचालन को चलाने वाली ताकतों से परिचित हैं, अपने परीक्षणों को सुधारने में वर्षों बिताए हैं। संस्थान ने घोषणा की कि वह 2017 में अपनी परीक्षाओं में कृत्रिम बुद्धिमत्ता और बड़े डेटा के विश्लेषण के तरीकों पर प्रश्न जोड़ेगा।
सीएफए संस्थान में शिक्षा के प्रबंध निदेशक क्रिस विसे ने स्वीकार किया कि बड़े भाषा मॉडल में कुछ परीक्षा प्रश्नों का सही उत्तर देने की क्षमता होगी।
विसे ने कहा, “हालांकि बहुविकल्पीय परीक्षाएं और निबंध प्रश्न एक सुरक्षित वातावरण में सीखने और समझने का आकलन करने के उत्कृष्ट तरीके हैं, वित्त में दिन-प्रतिदिन खुद को केवल छोटे, स्टैंडअलोन प्रश्नों की एक श्रृंखला के रूप में प्रस्तुत नहीं किया जाता है।” “यही कारण है कि सीएफए चार्टरधारक बनने के लिए, हमें 4,000 घंटे का योग्यता कार्य अनुभव, न्यूनतम दो संदर्भ, एक मजबूत नैतिक दिशा-निर्देश और, जल्द ही व्यावहारिक कौशल मॉड्यूल को पूरा करने की भी आवश्यकता होती है।”
उन्होंने कहा कि कंपनी सीएफए उम्मीदवारों की सीखने में सहायता के लिए बड़ी भाषा मॉडल तकनीक का उपयोग करने पर भी विचार कर रही है।
हर कुछ महीनों में, हजारों उम्मीदवार परीक्षा के तीन अलग-अलग स्तरों के लिए बैठते हैं। चार्टर के प्राप्तकर्ता आमतौर पर परीक्षा के प्रत्येक स्तर के लिए अध्ययन करने में 300 घंटे से अधिक समय बिताते हैं।
परीक्षा के लिए उत्तीर्ण होने की दर हाल के वर्षों में कम हो गई है, परीक्षा के पहले स्तर के लिए औसत उत्तीर्ण दर अगस्त में 37% तक पहुंच गई है, जबकि 2018 में यह औसत 43% थी।
आम त्रुटियों
सीएफए के स्तर I में 180 बहुविकल्पीय प्रश्न शामिल हैं, जबकि स्तर II में केस स्टडीज और 88 बहुविकल्पीय प्रश्न शामिल हैं। शोधकर्ताओं ने पाया कि दोनों बड़े भाषा मॉडलों को लेवल II पर अधिक संघर्ष करना पड़ा, चाहे इस्तेमाल किए गए संकेत का प्रकार कोई भी हो।
हालाँकि, लेवल I में, ChatGPT और GPT-4 दोनों ने डेरिवेटिव, वैकल्पिक निवेश, कॉर्पोरेट जारीकर्ता, इक्विटी निवेश और नैतिकता पर केंद्रित परीक्षा के अनुभागों में सर्वश्रेष्ठ प्रदर्शन किया। हालाँकि, दोनों चैटबॉट्स ने वित्तीय रिपोर्टिंग और पोर्टफोलियो प्रबंधन पर ध्यान केंद्रित करने वालों पर अपेक्षाकृत खराब प्रदर्शन किया।
लेवल II में, ChatGPT ने GPT-4 की तुलना में वैकल्पिक निवेश और निश्चित आय उपकरणों पर केंद्रित वर्गों पर संघर्ष किया, जबकि ChatGPT ने पोर्टफोलियो प्रबंधन और अर्थशास्त्र से जुड़े क्षेत्रों में बेहतर प्रदर्शन किया।
ChatGPT की अधिकांश त्रुटियाँ ज्ञान आधारित थीं, जबकि GPT-4 में सबसे अधिक गणना संबंधी त्रुटियाँ हुईं।
शोधकर्ताओं ने पाया, “एक त्रुटि प्रकार जो GPT-4 चैटजीपीटी की तुलना में अधिक बार करता है वह तर्क संबंधी त्रुटियां थी।” “ऐसा प्रतीत होता है कि, GPT-4 की तर्क करने की अधिक क्षमता के साथ, इसमें तर्क की गलत पंक्तियों में ‘खुद से बात करने’ की अधिक संभावना है।”
जेपी मॉर्गन चेज़ एंड कंपनी के शोधकर्ताओं और विश्वविद्यालय शिक्षाविदों की एक टीम ने परीक्षण किया कि क्या ओपनएआई के चैटजीपीटी और जीपीटी-4 चैटबॉट्स के पास परीक्षा के पहले दो स्तरों को पास करने का मौका होगा। परीक्षण के सभी तीन स्तरों को पूरा करने में मनुष्यों को आम तौर पर चार साल लगते हैं, जिससे उच्च वेतन और बेहतर नौकरी के अवसर मिल सकते हैं।
शोधकर्ताओं ने 11-पेज की रिपोर्ट में लिखा, “अनुमानित उत्तीर्ण दरों और औसत स्व-रिपोर्ट किए गए अंकों के आधार पर, हमने निष्कर्ष निकाला कि चैटजीपीटी संभवतः सभी परीक्षण सेटिंग्स के तहत सीएफए स्तर I और स्तर II को पास करने में सक्षम नहीं होगा।” यदि संकेत दिया जाए तो 4 के पास सीएफए लेवल I और लेवल II पास करने का अच्छा मौका होगा।
शोधकर्ताओं में शिक्षाविद और जेपी मॉर्गन के एआई अनुसंधान संगठन के छह कर्मचारी शामिल हैं, जिनमें समीना शाह और एंटनी पापादिमित्रीउ शामिल हैं।
सीएफए संस्थान, जो साख प्रदान करता है, ने यह सुनिश्चित करने के लिए कि अपने करियर में बढ़त हासिल करने वाले पेशेवर स्वचालन को चलाने वाली ताकतों से परिचित हैं, अपने परीक्षणों को सुधारने में वर्षों बिताए हैं। संस्थान ने घोषणा की कि वह 2017 में अपनी परीक्षाओं में कृत्रिम बुद्धिमत्ता और बड़े डेटा के विश्लेषण के तरीकों पर प्रश्न जोड़ेगा।
सीएफए संस्थान में शिक्षा के प्रबंध निदेशक क्रिस विसे ने स्वीकार किया कि बड़े भाषा मॉडल में कुछ परीक्षा प्रश्नों का सही उत्तर देने की क्षमता होगी।
विसे ने कहा, “हालांकि बहुविकल्पीय परीक्षाएं और निबंध प्रश्न एक सुरक्षित वातावरण में सीखने और समझने का आकलन करने के उत्कृष्ट तरीके हैं, वित्त में दिन-प्रतिदिन खुद को केवल छोटे, स्टैंडअलोन प्रश्नों की एक श्रृंखला के रूप में प्रस्तुत नहीं किया जाता है।” “यही कारण है कि सीएफए चार्टरधारक बनने के लिए, हमें 4,000 घंटे का योग्यता कार्य अनुभव, न्यूनतम दो संदर्भ, एक मजबूत नैतिक दिशा-निर्देश और, जल्द ही व्यावहारिक कौशल मॉड्यूल को पूरा करने की भी आवश्यकता होती है।”
उन्होंने कहा कि कंपनी सीएफए उम्मीदवारों की सीखने में सहायता के लिए बड़ी भाषा मॉडल तकनीक का उपयोग करने पर भी विचार कर रही है।
हर कुछ महीनों में, हजारों उम्मीदवार परीक्षा के तीन अलग-अलग स्तरों के लिए बैठते हैं। चार्टर के प्राप्तकर्ता आमतौर पर परीक्षा के प्रत्येक स्तर के लिए अध्ययन करने में 300 घंटे से अधिक समय बिताते हैं।
परीक्षा के लिए उत्तीर्ण होने की दर हाल के वर्षों में कम हो गई है, परीक्षा के पहले स्तर के लिए औसत उत्तीर्ण दर अगस्त में 37% तक पहुंच गई है, जबकि 2018 में यह औसत 43% थी।
आम त्रुटियों
सीएफए के स्तर I में 180 बहुविकल्पीय प्रश्न शामिल हैं, जबकि स्तर II में केस स्टडीज और 88 बहुविकल्पीय प्रश्न शामिल हैं। शोधकर्ताओं ने पाया कि दोनों बड़े भाषा मॉडलों को लेवल II पर अधिक संघर्ष करना पड़ा, चाहे इस्तेमाल किए गए संकेत का प्रकार कोई भी हो।
हालाँकि, लेवल I में, ChatGPT और GPT-4 दोनों ने डेरिवेटिव, वैकल्पिक निवेश, कॉर्पोरेट जारीकर्ता, इक्विटी निवेश और नैतिकता पर केंद्रित परीक्षा के अनुभागों में सर्वश्रेष्ठ प्रदर्शन किया। हालाँकि, दोनों चैटबॉट्स ने वित्तीय रिपोर्टिंग और पोर्टफोलियो प्रबंधन पर ध्यान केंद्रित करने वालों पर अपेक्षाकृत खराब प्रदर्शन किया।
लेवल II में, ChatGPT ने GPT-4 की तुलना में वैकल्पिक निवेश और निश्चित आय उपकरणों पर केंद्रित वर्गों पर संघर्ष किया, जबकि ChatGPT ने पोर्टफोलियो प्रबंधन और अर्थशास्त्र से जुड़े क्षेत्रों में बेहतर प्रदर्शन किया।
ChatGPT की अधिकांश त्रुटियाँ ज्ञान आधारित थीं, जबकि GPT-4 में सबसे अधिक गणना संबंधी त्रुटियाँ हुईं।
शोधकर्ताओं ने पाया, “एक त्रुटि प्रकार जो GPT-4 चैटजीपीटी की तुलना में अधिक बार करता है वह तर्क संबंधी त्रुटियां थी।” “ऐसा प्रतीत होता है कि, GPT-4 की तर्क करने की अधिक क्षमता के साथ, इसमें तर्क की गलत पंक्तियों में ‘खुद से बात करने’ की अधिक संभावना है।”
