GPT-4 Outperforms Human Analysts in Financial Statement Analysis, Claims Research

एक नए शोध पत्र में दावा किया गया है कि वित्तीय विवरण विश्लेषण के आधार पर भविष्य की भविष्यवाणी करने के मामले में GPT-4 मानव विश्लेषकों से बेहतर प्रदर्शन कर सकता है। एक प्रीप्रिंट जर्नल में प्रकाशित इस शोध पत्र में पाया गया है कि GPT-4 ने अपने परीक्षणों में अल्पावधि अवधि (एक महीने से छह महीने के बीच) में मानव समकक्षों की तुलना में बेहतर परिणाम दिए हैं। इसने अपने पूर्वानुमानों में 60.31 प्रतिशत सटीकता हासिल की, जबकि मानव विश्लेषकों की 56.7 प्रतिशत सटीकता थी। हालांकि, शोध पत्र ने यह सुझाव नहीं दिया कि AI मॉडल मनुष्यों की जगह ले सकता है।

शोध पत्र का उद्देश्य

प्रीप्रिंट जर्नल सोशल साइंस रिसर्च नेटवर्क (एसएसआरएन) में प्रकाशित, “फाइनेंशियल स्टेटमेंट एनालिसिस विद लार्ज लैंग्वेज मॉडल्स” शीर्षक वाले 54-पृष्ठ के पेपर में यह पता लगाने का प्रयास किया गया कि पारंपरिक आर्टिफिशियल इंटेलिजेंस (एआई) मॉडल किसी संगठन के वित्तीय विवरणों का विश्लेषण करने और निकट भविष्य में शेयर बाजार में उसके प्रदर्शन की भविष्यवाणी करने में क्या भूमिका निभा सकते हैं।

इस तरह के विश्लेषण को हमेशा बहुत जटिल माना जाता है क्योंकि कई तरह के कारक कंपनियों के प्रदर्शन को प्रभावित कर सकते हैं। भले ही कुछ वित्तीय फर्म अपने विश्लेषण में व्यक्तियों की सहायता के लिए कृत्रिम तंत्रिका नेटवर्क (एएनएन) का उपयोग करते हैं, लेकिन इसके लिए बड़े भाषा मॉडल (एलएलएम) का उपयोग नहीं किया गया है। शोधकर्ता यह देखना चाहते थे कि क्या GPT-4 जैसे अत्याधुनिक (SOTA) LLM इसमें एक मूल्यवान अतिरिक्त हो सकते हैं या नहीं।

जीपीटी-4 शोध पत्र में क्या पाया गया?

शोधकर्ताओं ने GPT-4 को गुमनाम और मानकीकृत कॉर्पोरेट वित्तीय विवरण दिए (ताकि कंपनी के नाम का उल्लेख करने से पूर्वाग्रहों को रोका जा सके)। इसके बाद, शोधकर्ताओं ने LLM की क्षमताओं का परीक्षण करने के लिए दो तरीकों का इस्तेमाल किया। पहला एक सरल प्रॉम्प्ट डिज़ाइन करना था जो चैटबॉट को स्टेटमेंट का विश्लेषण करने और भविष्य की आय का अनुमान लगाने का निर्देश देता था। दूसरा “चेन-ऑफ़-थॉट” (CoT) प्रॉम्प्ट का उपयोग करना था जो AI मॉडल को वित्तीय विश्लेषकों की नकल करना सिखाता था।

CoT विधि ने GPT-4 को उल्लेखनीय रुझानों की पहचान करने, प्रमुख वित्तीय अनुपातों की गणना करने और भविष्य की आय के बारे में अपेक्षाएँ बनाने के लिए कहा। जबकि सरल संकेत से उल्लेखनीय परिणाम नहीं मिले, CoT संकेतों ने 60.31 प्रतिशत हासिल किया जो औसत मानव विश्लेषक के प्रदर्शन से अधिक था।

जीपीटी-4 बनाम मानव विश्लेषक
फोटो क्रेडिट: शोध पत्र: बड़े भाषा मॉडल के साथ वित्तीय विवरण विश्लेषण

“हमने पाया है कि एलएलएम ऐसे मात्रात्मक कार्य में उत्कृष्ट है जिसके लिए अंतर्ज्ञान और मानवीय तर्क की आवश्यकता होती है। डोमेन में कार्य करने की क्षमता आर्टिफिशियल जनरल इंटेलिजेंस के उद्भव की ओर इशारा करती है,” पेपर में कहा गया है।

हालांकि, शोधकर्ताओं ने जल्दी से यह इंगित किया कि जीपीटी और मानव विश्लेषक पूरक हैं, न कि पूर्व बाद वाले की जगह लेते हैं। विशेष रूप से, पेपर ने दावा किया कि एलएलएम को उन क्षेत्रों में लाभ होता है जहां मनुष्य पक्षपात और असहमति दिखाते हैं। इसी तरह, मनुष्य तब मूल्य जोड़ते हैं जब विश्लेषण के लिए अतिरिक्त प्रासंगिक जानकारी की आवश्यकता होती है जो वित्तीय डेटा के भीतर उपलब्ध होने की संभावना नहीं है।