Meta Llama 3.1 405B Released as Company’s Largest Open Source AI Model to Date, Beats OpenAI’s GPT-4o
मेटा ने मंगलवार को अपना नवीनतम और सबसे बड़ा कृत्रिम बुद्धिमत्ता (एआई) मॉडल जनता के लिए जारी किया। कंपनी का कहना है कि मेटा लामा 3.1 405बी कहा जाने वाला ओपन-सोर्स मॉडल कई बेंचमार्क में जीपीटी-4, जीपीटी-4ओ और क्लाउड 3.5 सॉनेट जैसे प्रमुख बंद एआई मॉडल से बेहतर प्रदर्शन करता है। पहले जारी किए गए लामा 3 8बी और 70बी एआई मॉडल को भी अपग्रेड किया गया है। नए संस्करण 405B मॉडल से डिस्टिलिंग कर रहे थे और अब 1,28,000 टोकन संदर्भ विंडो प्रदान करते हैं। मेटा का दावा है कि ये दोनों मॉडल अब अपने आकार के लिए अग्रणी ओपन-सोर्स बड़े भाषा मॉडल (एलएलएम) हैं।
एक ब्लॉग पोस्ट में नए एआई मॉडल की घोषणा करते हुए, प्रौद्योगिकी समूह ने कहा, “लामा 3.1 405बी पहला खुले तौर पर उपलब्ध मॉडल है जो सामान्य ज्ञान, संचालन, गणित में अत्याधुनिक क्षमताओं की बात आने पर शीर्ष एआई मॉडल को टक्कर देता है। , उपकरण का उपयोग, और बहुभाषी अनुवाद।
विशेष रूप से, 405बी यहां 405 बिलियन मापदंडों को संदर्भित करता है, जिसे एलएलएम के ज्ञान नोड्स की संख्या के रूप में समझा जा सकता है। पैरामीटर आकार जितना अधिक होगा, एआई मॉडल जटिल प्रश्नों को संभालने में उतना ही अधिक कुशल होगा। मॉडल की संदर्भ विंडो 128,000 टोकन है। यह अंग्रेजी, जर्मन, फ्रेंच, इतालवी, पुर्तगाली, हिंदी, स्पेनिश और थाई भाषाओं को सपोर्ट करता है।
कंपनी का दावा है कि लामा 3.1 405बी का मूल्यांकन कई विशेषज्ञताओं में 150 से अधिक बेंचमार्क परीक्षणों पर किया गया था। पोस्ट में साझा किए गए डेटा के आधार पर, मेटा के AI मॉडल ने ग्रेड स्कूल मैथ 8K (GSM8K) में 96.8, GPT-4 में 94.2, GPT-4o में 96.1 और क्लाउड 3.5 सॉनेट में 96.4 स्कोर किया। इसने विज्ञान दक्षता के लिए एआई2 के रीज़निंग चैलेंज (एआरसी) बेंचमार्क, टूल उपयोग के लिए नेक्सस और बहुभाषी ग्रेड स्कूल गणित (एमजीएसएम) बेंचमार्क में भी इन मॉडलों से बेहतर प्रदर्शन किया।
मेटा के सबसे बड़े एआई मॉडल को 16 हजार से अधिक एनवीडिया एच100 जीपीयू के साथ 15 ट्रिलियन से अधिक टोकन पर प्रशिक्षित किया गया था। लामा 3.1 405बी में प्रमुख परिचयों में से एक टूल-कॉलिंग के लिए आधिकारिक समर्थन है जो डेवलपर्स को वेब खोजों के लिए ब्रेव सर्च, जटिल गणितीय गणना करने के लिए वोल्फ्राम अल्फा और पायथन कोड उत्पन्न करने के लिए कोड इंटरप्रेटर का उपयोग करने की अनुमति देगा।
चूंकि मेटा लामा 3.1 405बी ओपन सोर्स में उपलब्ध है, इसलिए व्यक्ति इसे कंपनी की वेबसाइट या हगिंग फेस लिस्टिंग से एक्सेस कर सकते हैं। हालाँकि, एक बड़ा मॉडल होने के कारण, इसे चलाने के लिए लगभग 750GB डिस्क स्टोरेज स्थान की आवश्यकता होती है। अनुमान लगाने के लिए, मॉडल पैरेलल 16 (MP16) पर दो नोड्स भी आवश्यक होंगे। मॉडल पैरेललिज्म 16 मॉडल पैरेललिज्म का एक विशिष्ट कार्यान्वयन है जहां एक बड़े तंत्रिका नेटवर्क को 16 उपकरणों या प्रोसेसर में विभाजित किया जाता है।
सार्वजनिक रूप से उपलब्ध होने के अलावा, मॉडल एडब्ल्यूएस, एनवीडिया, डेटाब्रिक्स, ग्रोक, डेल, एज़्योर, गूगल क्लाउड, स्नोफ्लेक और अन्य प्रमुख एआई प्लेटफार्मों पर भी उपलब्ध है। कंपनी का कहना है कि ऐसे कुल 25 प्लेटफॉर्म Llama 3.1 405B द्वारा संचालित होंगे। सुरक्षा और सुरक्षा के लिए, कंपनी ने लामा गार्ड 3 और प्रॉम्प्ट गार्ड्स का उपयोग किया है, दो नए उपकरण जो एलएलएम को संभावित नुकसान और दुरुपयोग से बचाते हैं।
