नई दिल्ली: Apple शोधकर्ताओं की एक टीम ने विशेष रूप से गणित में बड़े भाषा मॉडल (एलएलएम) की औपचारिक तर्क क्षमताओं पर सवाल उठाया है। उन्होंने पाया कि एलएलएम एक ही प्रश्न के विभिन्न तात्कालिकताओं का उत्तर देते समय ध्यान देने योग्य भिन्नता प्रदर्शित करते हैं।
साहित्य सुझाव देता है कि एलएलएम में तर्क प्रक्रिया औपचारिक तर्क के बजाय संभाव्य पैटर्न-मिलान है। यद्यपि एलएलएम अधिक अमूर्त तर्क पैटर्न से मेल खा सकते हैं, लेकिन वे सच्चे तार्किक तर्क से कम हैं। इनपुट टोकन में छोटे बदलाव मॉडल आउटपुट में भारी बदलाव ला सकते हैं, जो एक मजबूत टोकन पूर्वाग्रह का संकेत देता है और सुझाव देता है कि ये मॉडल अत्यधिक संवेदनशील और नाजुक हैं।
“इसके अतिरिक्त, कई टोकन के सही चयन की आवश्यकता वाले कार्यों में, सटीक उत्तर पर पहुंचने की संभावना टोकन या चरणों की संख्या के साथ तेजी से घट जाती है, जो जटिल तर्क परिदृश्यों में उनकी अंतर्निहित अविश्वसनीयता को रेखांकित करती है,” ऐप्पल के शोधकर्ताओं ने अपने पेपर में कहा। जीएसएम-प्रतीकात्मक: बड़े भाषा मॉडल में गणितीय तर्क की सीमाओं को समझना।
ग्रेड-स्कूल स्तर के प्रश्नों पर मॉडल के गणितीय तर्क का आकलन करने के लिए 'जीएसएम8के' बेंचमार्क का व्यापक रूप से उपयोग किया जाता है। जबकि GSM8K पर एलएलएम के प्रदर्शन में हाल के वर्षों में काफी सुधार हुआ है, यह स्पष्ट नहीं है कि उनकी गणितीय तर्क क्षमताएं वास्तव में उन्नत हुई हैं या नहीं, जिससे रिपोर्ट किए गए मेट्रिक्स की विश्वसनीयता पर सवाल उठ रहे हैं।
इन चिंताओं को दूर करने के लिए, शोधकर्ताओं ने कई अत्याधुनिक खुले और बंद मॉडलों पर बड़े पैमाने पर अध्ययन किया। लेखकों ने लिखा, “मौजूदा मूल्यांकन की सीमाओं को दूर करने के लिए, हम जीएसएम-सिम्बोलिक पेश करते हैं, जो प्रतीकात्मक टेम्पलेट्स से बनाया गया एक बेहतर बेंचमार्क है जो प्रश्नों के विविध सेट की पीढ़ी की अनुमति देता है।”
जीएसएम-सिम्बोलिक अधिक नियंत्रणीय मूल्यांकन सक्षम बनाता है, मॉडलों की तर्क क्षमताओं को मापने के लिए महत्वपूर्ण अंतर्दृष्टि और अधिक विश्वसनीय मैट्रिक्स प्रदान करता है।
“हमारे निष्कर्षों से पता चलता है कि एलएलएम एक ही प्रश्न के विभिन्न तात्कालिकताओं का जवाब देते समय ध्यान देने योग्य भिन्नता प्रदर्शित करते हैं,” शोधकर्ताओं ने कहा, कुल मिलाकर, “हमारा काम गणितीय तर्क में एलएलएम की क्षमताओं और सीमाओं की अधिक सूक्ष्म समझ प्रदान करता है”।
