ओपनएआई ने गुरुवार को एक नए आर्टिफिशियल इंटेलिजेंस (एआई) मॉडल के बारे में एक अध्ययन प्रकाशित किया जो कोड जनरेशन में GPT-4 की गलतियों को पकड़ सकता है। एआई फर्म ने कहा कि नए चैटबॉट को मानव प्रतिक्रिया (RLHF) फ्रेमवर्क से सुदृढीकरण सीखने का उपयोग करके प्रशिक्षित किया गया था और यह GPT-4 मॉडल में से एक द्वारा संचालित था। विकासाधीन चैटबॉट को उपयोगकर्ताओं द्वारा बड़े भाषा मॉडल से प्राप्त एआई-जनरेटेड कोड की गुणवत्ता में सुधार करने के लिए डिज़ाइन किया गया था। वर्तमान में, मॉडल उपयोगकर्ताओं या परीक्षकों के लिए उपलब्ध नहीं है। ओपनएआई ने मॉडल की कई सीमाओं को भी उजागर किया।

ओपनएआई ने क्रिटिकजीपीटी के बारे में विवरण साझा किया

AI फर्म ने एक ब्लॉग पोस्ट में नए CriticGPT मॉडल का विवरण साझा किया, जिसमें कहा गया कि यह GPT-4 पर आधारित है और ChatGPT द्वारा उत्पन्न कोड में त्रुटियों की पहचान करने के लिए डिज़ाइन किया गया है। कंपनी का दावा है, “हमने पाया कि जब लोग ChatGPT कोड की समीक्षा करने के लिए CriticGPT से मदद लेते हैं तो वे 60 प्रतिशत मामलों में बिना मदद वाले लोगों से बेहतर प्रदर्शन करते हैं।” मॉडल को RLHF फ्रेमवर्क का उपयोग करके विकसित किया गया था और निष्कर्ष एक पेपर में प्रकाशित किए गए हैं।

आरएलएचएफ एक मशीन लर्निंग तकनीक है जो एआई सिस्टम को प्रशिक्षित करने के लिए मशीन आउटपुट को इंसानों के साथ जोड़ती है। ऐसी प्रणाली में, मानव मूल्यांकनकर्ता एआई के प्रदर्शन को फीडबैक देते हैं। इसका उपयोग मॉडल के व्यवहार को समायोजित करने और सुधारने के लिए किया जाता है। एआई को फीडबैक देने वाले इंसानों को एआई ट्रेनर कहा जाता है।

क्रिटिकजीपीटी को बड़ी मात्रा में कोड डेटा पर प्रशिक्षित किया गया था जिसमें त्रुटियाँ थीं। एआई मॉडल को इन गलतियों को खोजने और कोड की आलोचना करने का काम सौंपा गया था। इसके लिए, एआई प्रशिक्षकों को कोड में स्वाभाविक रूप से होने वाली गलतियों के ऊपर गलतियाँ लिखने और फिर उदाहरण फ़ीडबैक लिखने के लिए कहा गया था जैसे कि उन्होंने उन त्रुटियों को पकड़ लिया हो।

एक बार जब क्रिटिकजीपीटी ने अपनी आलोचना के कई रूप साझा किए, तो प्रशिक्षकों से पूछा गया कि क्या उनके द्वारा डाली गई त्रुटियाँ स्वाभाविक रूप से होने वाली त्रुटियों के साथ-साथ एआई द्वारा पकड़ी गई थीं। ओपनएआई ने अपने शोध में पाया कि क्रिटिकजीपीटी ने त्रुटियों को पकड़ने में चैटजीपीटी की तुलना में 63 प्रतिशत बेहतर प्रदर्शन किया।

हालाँकि, मॉडल में अभी भी कुछ सीमाएँ हैं। CriticGPT को OpenAI द्वारा उत्पन्न कोड की छोटी स्ट्रिंग पर प्रशिक्षित किया गया था। मॉडल को अभी भी कार्यों के लंबे और जटिल सेट पर प्रशिक्षित किया जाना है। AI फर्म ने यह भी पाया कि नया चैटबॉट लगातार भ्रम पैदा करता है (गलत तथ्यात्मक प्रतिक्रियाएँ उत्पन्न करता है)। इसके अलावा, मॉडल का परीक्षण ऐसे परिदृश्यों में नहीं किया गया है जहाँ कोड में कई त्रुटियाँ फैली हुई हों।

इस मॉडल को सार्वजनिक किए जाने की संभावना नहीं है क्योंकि इसे ओपनएआई को प्रशिक्षण तकनीकों को बेहतर ढंग से समझने में मदद करने के लिए डिज़ाइन किया गया है जो उच्च गुणवत्ता वाले आउटपुट उत्पन्न कर सकते हैं। यदि क्रिटिकजीपीटी इसे सार्वजनिक करता है, तो माना जाता है कि इसे चैटजीपीटी के भीतर एकीकृत किया गया है।