Meta Llama 3 AI Models With 8B and 70B Parameters Launched, Said to Outperform Google’s Gemini 1.5 Pro
मेटा ने गुरुवार को अपने आर्टिफिशियल इंटेलिजेंस (AI) मॉडल की अगली पीढ़ी, लामा 3 8B और 70B को पेश किया। लार्ज लैंग्वेज मॉडल मेटा AI के लिए संक्षिप्त, लामा 3 अपने पूर्ववर्ती की तुलना में बेहतर क्षमताओं के साथ आता है। कंपनी ने मॉडल की दक्षता को अनुकूलित करने के लिए नए प्रशिक्षण तरीकों को भी अपनाया। दिलचस्प बात यह है कि लामा 2 के साथ, सबसे बड़ा मॉडल 70B था, लेकिन इस बार कंपनी ने कहा कि इसके बड़े मॉडल में 400 बिलियन से अधिक पैरामीटर होंगे। विशेष रूप से, पिछले सप्ताह एक रिपोर्ट से पता चला है कि मेटा अप्रैल में अपने छोटे AI मॉडल और बाद में गर्मियों में अपने बड़े मॉडल का अनावरण करेगा।
नए AI मॉडल को आजमाने में रुचि रखने वाले लोग भाग्यशाली हैं क्योंकि मेटा लामा 3 के साथ समुदाय-प्रथम दृष्टिकोण अपना रहा है। नए फाउंडेशन मॉडल पिछले मॉडल की तरह ही ओपन सोर्स होंगे। मेटा ने अपने ब्लॉग पोस्ट में कहा, “लामा 3 मॉडल जल्द ही AWS, डेटाब्रिक्स, गूगल क्लाउड, हगिंग फेस, कागल, आईबीएम वॉटसनएक्स, माइक्रोसॉफ्ट एज़्योर, एनवीआईडीआईए एनआईएम और स्नोफ्लेक पर उपलब्ध होंगे, और AMD, AWS, डेल, इंटेल, एनवीआईडीआईए और क्वालकॉम द्वारा पेश किए गए हार्डवेयर प्लेटफ़ॉर्म के समर्थन के साथ उपलब्ध होंगे।”
इस सूची में सभी प्रमुख क्लाउड, होस्टिंग और हार्डवेयर प्लेटफ़ॉर्म शामिल हैं, जिससे उत्साही लोगों के लिए AI मॉडल पर अपना हाथ रखना आसान हो जाएगा। इसके अलावा, मेटा ने लामा 3 को अपने मेटा AI के साथ भी एकीकृत किया है जिसे समर्थित देशों में फेसबुक मैसेंजर, इंस्टाग्राम और व्हाट्सएप के माध्यम से एक्सेस किया जा सकता है।
प्रदर्शन की बात करें तो, सोशल मीडिया दिग्गज ने अपने प्री-ट्रेन्ड और इंस्ट्रक्ट मॉडल दोनों के लिए लामा 3 के बेंचमार्क स्कोर साझा किए। संदर्भ के लिए, प्री-ट्रेन्ड सामान्य संवादी AI है जबकि इंस्ट्रक्ट मॉडल विशिष्ट कार्यों को पूरा करने के उद्देश्य से हैं। कंपनी द्वारा साझा किए गए डेटा के आधार पर, लामा 3 70B के प्री-ट्रेन्ड मॉडल ने MMLU (79.5 बनाम 71.8), BIG-बेंच हार्ड (81.3 बनाम 75.0), और DROP (79.7 बनाम 74.1) बेंचमार्क में Google के Gemini 1.0 Pro को पछाड़ दिया, जबकि 70B इंस्ट्रक्ट मॉडल ने MMLU, HumanEval और GSM-8K बेंचमार्क में Gemini 1.5 Pro मॉडल को पछाड़ दिया।
मेटा ने नए AI मॉडल के लिए केवल डिकोडर ट्रांसफॉर्मर आर्किटेक्चर का विकल्प चुना है, लेकिन पिछले मॉडल की तुलना में इसमें कई सुधार किए हैं। लामा 3 अब 128K टोकन की शब्दावली वाले टोकनाइज़र का उपयोग करता है, और कंपनी ने अनुमान दक्षता में सुधार के लिए समूहीकृत क्वेरी अटेंशन (GQA) को अपनाया है। GQA AI के ध्यान को बेहतर बनाने में मदद करता है ताकि प्रश्नों का उत्तर देते समय यह अपने निर्दिष्ट संदर्भ से बाहर न जाए। सोशल मीडिया की दिग्गज कंपनी ने 15T से अधिक टोकन के साथ मॉडल को पहले से प्रशिक्षित किया है, जिसके बारे में उसका दावा है कि यह सार्वजनिक रूप से उपलब्ध डेटा से प्राप्त किया गया है।
