Alibaba Releases QwQ-32B Reasoning-Focused AI Model in Preview to Take on OpenAI’s GPT-o1
अलीबाबा ने गुरुवार को एक नया कृत्रिम बुद्धिमत्ता (एआई) मॉडल जारी किया, जिसके बारे में कहा जाता है कि यह तर्क क्षमता में ओपनएआई के जीपीटी-ओ1 श्रृंखला मॉडल को टक्कर देगा। पूर्वावलोकन में लॉन्च किया गया, QwQ-32B बड़े भाषा मॉडल (एलएलएम) के बारे में कहा जाता है कि यह कई गणितीय और तार्किक तर्क-संबंधी बेंचमार्क में GPT-o1-पूर्वावलोकन से बेहतर प्रदर्शन करता है। नया एआई मॉडल हगिंग फेस पर डाउनलोड करने के लिए उपलब्ध है, हालांकि यह पूरी तरह से ओपन-सोर्स नहीं है। हाल ही में, एक अन्य चीनी एआई फर्म ने एक ओपन-सोर्स एआई मॉडल डीपसीक-आर1 जारी किया, जिसके बारे में दावा किया गया था कि यह चैटजीपीटी-निर्माता के तर्क-केंद्रित फाउंडेशन मॉडल को टक्कर देगा।
अलीबाबा QwQ-32B AI मॉडल
एक ब्लॉग पोस्ट में, अलीबाबा ने अपने नए तर्क-केंद्रित एलएलएम के बारे में विस्तार से बताया और इसकी क्षमताओं और सीमाओं पर प्रकाश डाला। QwQ-32B वर्तमान में पूर्वावलोकन के रूप में उपलब्ध है। जैसा कि नाम से पता चलता है, यह 32 बिलियन मापदंडों पर बनाया गया है और इसमें 32,000 टोकन की एक संदर्भ विंडो है। मॉडल ने प्रशिक्षण-पूर्व और प्रशिक्षण-पश्चात दोनों चरणों को पूरा कर लिया है।
इसके आर्किटेक्चर की बात करें तो चीनी तकनीकी दिग्गज ने खुलासा किया कि एआई मॉडल ट्रांसफॉर्मर तकनीक पर आधारित है। स्थितीय एन्कोडिंग के लिए, QwQ-32B स्विच्ड गेटेड लीनियर यूनिट (SwiGLU) और रूट मीन स्क्वायर नॉर्मलाइज़ेशन (RMSNorm) फ़ंक्शंस के साथ-साथ अटेंशन क्वेरी-की-वैल्यू बायस (अटेंशन QKV) बायस के साथ रोटरी पोज़िशन एंबेडिंग (RoPE) का उपयोग करता है।
OpenAI GPT-o1 की तरह, AI मॉडल उपयोगकर्ता की क्वेरी का आकलन करते समय और सही प्रतिक्रिया खोजने का प्रयास करते समय अपना आंतरिक एकालाप दिखाता है। यह आंतरिक विचार प्रक्रिया QwQ-32B को अंतिम उत्तर प्रस्तुत करने से पहले विभिन्न सिद्धांतों का परीक्षण करने और तथ्य-जाँच करने देती है। अलीबाबा का दावा है कि एलएलएम ने आंतरिक परीक्षण के दौरान MATH-500 बेंचमार्क में 90.6 प्रतिशत और AI गणितीय मूल्यांकन (AIME) बेंचमार्क में 50 प्रतिशत स्कोर किया और OpenAI के तर्क-केंद्रित मॉडल से बेहतर प्रदर्शन किया।
विशेष रूप से, बेहतर तर्क वाले एआई मॉडल मॉडल के अधिक बुद्धिमान या सक्षम होने का प्रमाण नहीं हैं। यह बस एक नया दृष्टिकोण है, जिसे परीक्षण-समय गणना के रूप में भी जाना जाता है, जो मॉडल को किसी कार्य को पूरा करने के लिए अतिरिक्त प्रसंस्करण समय खर्च करने देता है। परिणामस्वरूप, AI अधिक सटीक प्रतिक्रियाएँ प्रदान कर सकता है और अधिक जटिल प्रश्नों को हल कर सकता है। कई उद्योग के दिग्गजों ने बताया है कि नए एलएलएम अपने पुराने संस्करणों की तरह उसी दर से सुधार नहीं कर रहे हैं, जिससे पता चलता है कि मौजूदा आर्किटेक्चर संतृप्ति बिंदु तक पहुंच रहे हैं।
चूँकि QwQ-32B प्रश्नों पर अतिरिक्त प्रसंस्करण समय खर्च करता है, इसकी कई सीमाएँ भी हैं। अलीबाबा ने कहा कि एआई मॉडल कभी-कभी भाषाओं को मिश्रित कर सकता है या उनके बीच स्विच कर सकता है, जिससे भाषा-मिश्रण और कोड-स्विचिंग जैसे मुद्दे सामने आते हैं। यह तर्क चक्र में भी प्रवेश करता है और गणितीय और तर्क कौशल के अलावा, अन्य क्षेत्रों में अभी भी सुधार की आवश्यकता है।
विशेष रूप से, अलीबाबा ने एआई मॉडल को हगिंग फेस लिस्टिंग के माध्यम से उपलब्ध कराया है और व्यक्ति और उद्यम दोनों इसे अपाचे 2.0 लाइसेंस के तहत व्यक्तिगत, शैक्षणिक और व्यावसायिक उद्देश्यों के लिए डाउनलोड कर सकते हैं। हालाँकि, कंपनी ने मॉडल का वजन और डेटा उपलब्ध नहीं कराया है, जिसका अर्थ है कि उपयोगकर्ता मॉडल की नकल नहीं कर सकते हैं या यह नहीं समझ सकते हैं कि आर्किटेक्चर कैसे काम करता है।
