Anthropic to Fund Initiative to Develop New Third-Party AI Benchmarks to Assess AI Models
एंथ्रोपिक ने मंगलवार को उन्नत कृत्रिम बुद्धिमत्ता (एआई) मॉडल की क्षमताओं का परीक्षण करने के लिए नए मानक विकसित करने की एक नई पहल की घोषणा की। एआई फर्म इस परियोजना को वित्तपोषित करेगी और इच्छुक संस्थाओं से आवेदन आमंत्रित किए हैं। कंपनी ने कहा कि मौजूदा मानक नए बड़े भाषा मॉडल (एलएलएम) की क्षमताओं और प्रभाव का पूरी तरह से परीक्षण करने के लिए पर्याप्त नहीं हैं। परिणामस्वरूप, एआई सुरक्षा, उन्नत क्षमताओं और इसके सामाजिक प्रभाव पर केंद्रित मूल्यांकन का एक नया सेट विकसित करने की आवश्यकता है, एंथ्रोपिक ने कहा।
एंथ्रोपिक एआई मॉडल के लिए नए बेंचमार्क को वित्तपोषित करेगा
न्यूज़रूम पोस्ट में, एंथ्रोपिक ने मौजूदा बेंचमार्क के सीमित दायरे को दूर करने के लिए एक व्यापक तृतीय-पक्ष मूल्यांकन पारिस्थितिकी तंत्र की आवश्यकता पर प्रकाश डाला। एआई फर्म ने घोषणा की कि अपनी पहल के माध्यम से, यह उन तृतीय-पक्ष संगठनों को निधि देगा जो गुणवत्ता और उच्च सुरक्षा मानकों पर केंद्रित एआई मॉडल के लिए नए मूल्यांकन विकसित करना चाहते हैं।
एंथ्रोपिक के लिए, उच्च प्राथमिकता वाले क्षेत्रों में ऐसे कार्य और प्रश्न शामिल हैं जो एलएलएम के एआई सुरक्षा स्तर (एएसएल), विचारों और प्रतिक्रियाओं को उत्पन्न करने में उन्नत क्षमताओं, साथ ही इन क्षमताओं के सामाजिक प्रभाव को माप सकते हैं।
एएसएल श्रेणी के अंतर्गत, कंपनी ने कई मापदंडों पर प्रकाश डाला, जिनमें साइबर हमलों को चलाने में स्वायत्त रूप से सहायता करने या कार्य करने के लिए एआई मॉडल की क्षमता, रासायनिक, जैविक, रेडियोलॉजिकल और परमाणु (सीबीआरएन) जोखिमों के निर्माण या ज्ञान को बढ़ाने में सहायता करने के लिए मॉडल की क्षमता, राष्ट्रीय सुरक्षा जोखिम मूल्यांकन, आदि शामिल हैं।
उन्नत क्षमताओं के संदर्भ में, एंथ्रोपिक ने इस बात पर प्रकाश डाला कि बेंचमार्क वैज्ञानिक अनुसंधान, भागीदारी और हानिकारकता के प्रति इनकार, और बहुभाषी क्षमताओं को बदलने के लिए एआई की क्षमता का आकलन करने में सक्षम होना चाहिए। इसके अलावा, एआई फर्म ने कहा कि समाज को प्रभावित करने के लिए एआई मॉडल की क्षमता को समझना आवश्यक है। इसके लिए, मूल्यांकन “हानिकारक पूर्वाग्रह, भेदभाव, अति-निर्भरता, निर्भरता, लगाव, मनोवैज्ञानिक प्रभाव, आर्थिक प्रभाव, समरूपता और अन्य व्यापक सामाजिक प्रभावों” जैसी अवधारणाओं को लक्षित करने में सक्षम होना चाहिए।
इसके अलावा, AI फर्म ने अच्छे मूल्यांकन के लिए कुछ सिद्धांत भी सूचीबद्ध किए। इसने कहा कि AI द्वारा उपयोग किए जाने वाले प्रशिक्षण डेटा में मूल्यांकन उपलब्ध नहीं होना चाहिए क्योंकि यह अक्सर मॉडल के लिए याद रखने की परीक्षा में बदल जाता है। इसने AI का परीक्षण करने के लिए 1,000 से 10,000 कार्यों या प्रश्नों को रखने के लिए भी प्रोत्साहित किया। इसने संगठनों से किसी विशिष्ट डोमेन में प्रदर्शन का परीक्षण करने वाले कार्यों को बनाने के लिए विषय वस्तु विशेषज्ञों का उपयोग करने के लिए भी कहा।
