Microsoft Phi-3.5 Open-Source AI Models Released, Claimed to Outperform Gemini 1.5 Flash, GPT-4o Mini
Microsoft ने मंगलवार को Phi-3.5 आर्टिफिशियल इंटेलिजेंस (AI) मॉडल का परिवार जारी किया, जो अप्रैल में पेश किए गए Phi-3 मॉडल का उत्तराधिकारी है। नए रिलीज़ में Phi-3.5 मिक्सचर ऑफ़ एक्सपर्ट्स (MoE), Phi-3.5 विज़न और Phi-3.5 मिनी मॉडल शामिल हैं। ये निर्देश मॉडल हैं, इसलिए वे एक सामान्य संवादी AI के रूप में काम नहीं करेंगे, लेकिन उपयोगकर्ताओं को वांछित आउटपुट प्राप्त करने के लिए विशिष्ट निर्देश जोड़ने की आवश्यकता होगी। ओपन-सोर्स AI मॉडल टेक दिग्गज की हगिंग फेस लिस्टिंग से डाउनलोड करने के लिए उपलब्ध हैं।
माइक्रोसॉफ्ट ने Phi-3.5 AI मॉडल जारी किया
नए AI मॉडल की रिलीज़ की घोषणा Microsoft के कार्यकारी वेइझू चेन ने X (जिसे पहले Twitter के नाम से जाना जाता था) पर एक पोस्ट में की थी। Phi-3.5 मॉडल पिछले मॉडल की तुलना में उन्नत क्षमताएँ प्रदान करते हैं, लेकिन आर्किटेक्चर, डेटासेट और प्रशिक्षण विधियाँ काफी हद तक समान हैं। मिनी मॉडल को बहुभाषी समर्थन के साथ अपडेट किया गया है, और MoE और विज़न मॉडल AI मॉडल परिवार में नए समावेश हैं।
तकनीकी पहलुओं की बात करें तो, Phi-3.5 मिनी में 3.8 बिलियन पैरामीटर हैं। यह उसी टोकनाइज़र (एक उपकरण जो टेक्स्ट को छोटी इकाइयों में विभाजित करता है) और एक सघन डिकोडर-ओनली ट्रांसफ़ॉर्मर का उपयोग करता है। मॉडल केवल टेक्स्ट को इनपुट के रूप में सपोर्ट करता है और 1,28,000 टोकन की संदर्भ विंडो को सपोर्ट करता है। कंपनी का दावा है कि इसे जून और अगस्त के बीच 3.4 ट्रिलियन टोकन का उपयोग करके प्रशिक्षित किया गया था, और इसका ज्ञान कट-ऑफ अक्टूबर 2023 है।
इस मॉडल की एक प्रमुख विशेषता यह है कि यह अब अरबी, चीनी, चेक, डेनिश, डच, अंग्रेजी, फिनिश, फ्रेंच, जर्मन, हिब्रू, हंगेरियन, इतालवी, जापानी, कोरियाई, नॉर्वेजियन, पोलिश, पुर्तगाली, रूसी, स्पेनिश, स्वीडिश, थाई, तुर्की और यूक्रेनी सहित कई नई भाषाओं का समर्थन करता है।
फी-3.5 विज़न एआई मॉडल में 4.2 बिलियन पैरामीटर हैं और इसमें एक इमेज एनकोडर शामिल है जो इसे एक इमेज के भीतर सूचना को प्रोसेस करने की अनुमति देता है। मिनी मॉडल के समान संदर्भ लंबाई के साथ, यह इनपुट के रूप में टेक्स्ट और इमेज दोनों को स्वीकार करता है। इसे जुलाई और अगस्त के बीच 500 बिलियन टोकन डेटा पर प्रशिक्षित किया गया था और इसका टेक्स्ट नॉलेज कटऑफ मार्च है।
अंत में, Phi-3.5 MoE AI मॉडल में 16×3.8 बिलियन पैरामीटर हैं। हालाँकि, दो विशेषज्ञों का उपयोग करते समय उनमें से केवल 6.6 बिलियन सक्रिय पैरामीटर हैं। विशेष रूप से, MoE एक ऐसी तकनीक है जहाँ कई मॉडल (विशेषज्ञ) स्वतंत्र रूप से प्रशिक्षित किए जाते हैं और फिर मॉडल की सटीकता और दक्षता में सुधार करने के लिए संयुक्त होते हैं। इस मॉडल को अप्रैल और अगस्त के बीच डेटा के 4.9 ट्रिलियन टोकन पर प्रशिक्षित किया गया था, और इसकी ज्ञान कटऑफ तिथि अक्टूबर 2023 है।
प्रदर्शन के मामले में, माइक्रोसॉफ्ट ने सभी अलग-अलग मॉडलों के बेंचमार्क स्कोर साझा किए, और साझा किए गए डेटा के आधार पर, Phi-3.5 MoE SQuALITY बेंचमार्क में जेमिनी 1.5 फ्लैश और GPT-4o मिनी दोनों से बेहतर प्रदर्शन करता है, जो टेक्स्ट के लंबे ब्लॉक को सारांशित करते समय पठनीयता और सटीकता का परीक्षण करता है। यह AI मॉडल की लंबी संदर्भ विंडो का परीक्षण करता है।
हालांकि, यह उल्लेख किया जाना चाहिए कि यह उचित तुलना नहीं है क्योंकि MoE मॉडल एक अलग आर्किटेक्चर का उपयोग करते हैं और उन्हें चलाने के लिए अधिक स्टोरेज स्पेस और अधिक परिष्कृत हार्डवेयर की आवश्यकता होती है। अलग-अलग, Phi-3.5 मिनी और विज़न मॉडल ने भी कुछ मेट्रिक्स में उसी सेगमेंट में प्रासंगिक प्रतिस्पर्धी AI मॉडल से बेहतर प्रदर्शन किया है।
जो लोग Phi-3.5 AI मॉडल को आजमाना चाहते हैं, वे हगिंग फेस लिस्टिंग के ज़रिए उन्हें एक्सेस कर सकते हैं। Microsoft ने कहा कि ये मॉडल फ़्लैश अटेंशन का इस्तेमाल करते हैं, जिसके लिए उपयोगकर्ताओं को सिस्टम को एडवांस्ड GPU पर चलाना होगा। कंपनी ने इनका परीक्षण Nvidia A100, A6000 और H100 GPU पर किया है।
