Microsoft Phi-3.5 Open-Source AI Models Released, Claimed to Outperform Gemini 1.5 Flash, GPT-4o Mini

माइक्रोसॉफ्ट ने अप्रैल में पेश किए गए Phi-3 मॉडल के उत्तराधिकारी के रूप में मंगलवार को Phi-3.5 कृत्रिम बुद्धिमत्ता (AI) मॉडल का परिवार जारी किया। नई रिलीज़ में Phi-3.5 मिक्सचर ऑफ़ एक्सपर्ट्स (MoE), Phi-3.5 विज़न और Phi-3.5 मिनी मॉडल शामिल हैं। ये निर्देश मॉडल हैं, इसलिए वे एक विशिष्ट संवादी एआई के रूप में काम नहीं करेंगे, लेकिन उपयोगकर्ताओं को वांछित आउटपुट प्राप्त करने के लिए विशिष्ट निर्देश जोड़ने की आवश्यकता होगी। ओपन-सोर्स एआई मॉडल टेक दिग्गज की हगिंग फेस लिस्टिंग से डाउनलोड करने के लिए उपलब्ध हैं।

माइक्रोसॉफ्ट ने Phi-3.5 AI मॉडल जारी किया

नए एआई मॉडल की रिलीज की घोषणा माइक्रोसॉफ्ट के कार्यकारी वेइज़ु चेन ने एक्स (पहले ट्विटर के नाम से जाना जाता था) पर एक पोस्ट में की थी। Phi-3.5 मॉडल पूर्ववर्ती की तुलना में उन्नत क्षमताएं प्रदान करते हैं, लेकिन वास्तुकला, डेटासेट और प्रशिक्षण विधियां काफी हद तक समान रहती हैं। मिनी मॉडल को बहुभाषी समर्थन के साथ अद्यतन किया गया है, और एमओई और विज़न मॉडल एआई मॉडल परिवार में नए समावेश हैं।

तकनीकी बातों की बात करें तो Phi-3.5 Mini में 3.8 बिलियन पैरामीटर हैं। यह समान टोकननाइज़र (एक उपकरण जो पाठ को छोटी इकाइयों में तोड़ता है) और एक घने डिकोडर-केवल ट्रांसफार्मर का उपयोग करता है। मॉडल इनपुट के रूप में केवल टेक्स्ट का समर्थन करता है और 1,28,000 टोकन की संदर्भ विंडो का समर्थन करता है। कंपनी का दावा है कि उसे जून और अगस्त के बीच 3.4 ट्रिलियन टोकन का उपयोग करके प्रशिक्षित किया गया था, और इसका ज्ञान कट-ऑफ अक्टूबर 2023 है।

इस मॉडल का एक मुख्य आकर्षण यह है कि यह अब अरबी, चीनी, चेक, डेनिश, डच, अंग्रेजी, फिनिश, फ्रेंच, जर्मन, हिब्रू, हंगेरियन, इतालवी, जापानी, कोरियाई, नॉर्वेजियन, पोलिश, पुर्तगाली, रूसी सहित कई नई भाषाओं का समर्थन करता है। , स्पेनिश, स्वीडिश, थाई, तुर्की और यूक्रेनी।

Phi-3.5 विज़न AI मॉडल में 4.2 बिलियन पैरामीटर हैं और इसमें एक छवि एनकोडर शामिल है जो इसे एक छवि के भीतर जानकारी संसाधित करने की अनुमति देता है। मिनी मॉडल के समान संदर्भ लंबाई के साथ, यह टेक्स्ट और छवियों दोनों को इनपुट के रूप में स्वीकार करता है। इसे जुलाई और अगस्त के बीच 500 बिलियन टोकन डेटा पर प्रशिक्षित किया गया था और इसमें मार्च का टेक्स्ट ज्ञान कटऑफ है।

अंत में, Phi-3.5 MoE AI मॉडल में 16×3.8 बिलियन पैरामीटर हैं। हालाँकि, दो विशेषज्ञों का उपयोग करते समय उनमें से केवल 6.6 बिलियन ही सक्रिय पैरामीटर हैं। विशेष रूप से, MoE एक ऐसी तकनीक है जहां कई मॉडलों (विशेषज्ञों) को स्वतंत्र रूप से प्रशिक्षित किया जाता है और फिर मॉडल की सटीकता और दक्षता में सुधार करने के लिए संयोजित किया जाता है। इस मॉडल को अप्रैल और अगस्त के बीच 4.9 ट्रिलियन टोकन डेटा पर प्रशिक्षित किया गया था, और इसकी ज्ञान कटऑफ तिथि अक्टूबर 2023 है।

प्रदर्शन के मामले में, Microsoft ने सभी व्यक्तिगत मॉडलों के बेंचमार्क स्कोर साझा किए, और साझा किए गए डेटा के आधार पर, Phi-3.5 MoE SQuALITY बेंचमार्क में जेमिनी 1.5 फ्लैश और GPT-4o मिनी दोनों से बेहतर प्रदर्शन करता है, जो लंबे समय तक सारांशित करते समय पठनीयता और सटीकता का परीक्षण करता है। पाठ का ब्लॉक. यह एआई मॉडल की लंबी संदर्भ विंडो का परीक्षण करता है।

हालाँकि, यह उल्लेख किया जाना चाहिए कि यह उचित तुलना नहीं है क्योंकि MoE मॉडल एक अलग वास्तुकला का उपयोग करते हैं और चलाने के लिए अधिक भंडारण स्थान और अधिक परिष्कृत हार्डवेयर की आवश्यकता होती है। अलग से, Phi-3.5 मिनी और विज़न मॉडल ने कुछ मेट्रिक्स में एक ही सेगमेंट में प्रासंगिक प्रतिस्पर्धी AI मॉडल से बेहतर प्रदर्शन किया है।

जो लोग Phi-3.5 AI मॉडल को आज़माने में रुचि रखते हैं, वे हगिंग फेस लिस्टिंग के माध्यम से उन तक पहुंच सकते हैं। माइक्रोसॉफ्ट ने कहा कि ये मॉडल फ्लैश अटेंशन का उपयोग करते हैं जिसके लिए उपयोगकर्ताओं को उन्नत जीपीयू पर सिस्टम चलाने की आवश्यकता होगी। कंपनी ने इन्हें Nvidia A100, A6000 और H100 GPU पर टेस्ट किया है।