सोशल मीडिया प्लेटफॉर्म रेडिट ने मंगलवार को कहा कि वह अपने प्लेटफॉर्म द्वारा उपयोग किए जाने वाले वेब मानक को अपडेट करेगा, ताकि अपनी वेबसाइट से स्वचालित डेटा स्क्रैपिंग को रोका जा सके। यह अपडेट ऐसी रिपोर्ट के बाद किया गया है, जिसमें कहा गया था कि एआई स्टार्टअप अपने सिस्टम के लिए सामग्री एकत्र करने के लिए नियम को दरकिनार कर रहे हैं।

यह कदम ऐसे समय में उठाया गया है जब कृत्रिम बुद्धिमत्ता फर्मों पर प्रकाशकों की सामग्री की चोरी करके बिना श्रेय दिए या अनुमति लिए एआई-जनरेटेड सारांश बनाने का आरोप लगाया गया है।

रेडिट ने कहा कि वह रोबोट एक्सक्लूजन प्रोटोकॉल या “robots.txt” को अपडेट करेगा, जो एक व्यापक रूप से स्वीकृत मानक है जिसका उद्देश्य यह निर्धारित करना है कि साइट के किन भागों को क्रॉल करने की अनुमति है।

कंपनी ने यह भी कहा कि वह दर-सीमा (रेट-लिमिटिंग) को बनाए रखेगी, जो एक विशेष इकाई से अनुरोधों की संख्या को नियंत्रित करने के लिए उपयोग की जाने वाली तकनीक है, और अपनी वेबसाइट पर अज्ञात बॉट्स और क्रॉलर्स को डेटा स्क्रैपिंग (कच्ची जानकारी एकत्र करना और सहेजना) से रोकेगी।

हाल ही में, robots.txt एक प्रमुख उपकरण बन गया है, जिसका उपयोग प्रकाशक तकनीकी कंपनियों को उनकी सामग्री का निःशुल्क उपयोग करके AI एल्गोरिदम को प्रशिक्षित करने और कुछ खोज प्रश्नों के जवाब में सारांश तैयार करने से रोकने के लिए करते हैं।

पिछले सप्ताह, कंटेंट लाइसेंसिंग स्टार्टअप टोलबिट द्वारा प्रकाशकों को लिखे गए एक पत्र में कहा गया था कि कई एआई फर्म प्रकाशक साइटों को नष्ट करने के लिए वेब मानक को दरकिनार कर रही हैं।

यह वायर्ड जांच के बाद हुआ है, जिसमें पाया गया कि एआई सर्च स्टार्टअप पेरप्लेक्सिटी ने संभवतः robots.txt के माध्यम से अपने वेब क्रॉलर को ब्लॉक करने के प्रयासों को नजरअंदाज कर दिया।

इससे पहले जून में, बिजनेस मीडिया प्रकाशक फोर्ब्स ने पेरप्लेक्सिटी पर आरोप लगाया था कि उसने जनरेटिव एआई सिस्टम में उपयोग के लिए उसकी खोजी कहानियों की नकल की है, लेकिन इसका श्रेय नहीं दिया था।

रेडिट ने मंगलवार को कहा कि शोधकर्ताओं और इंटरनेट आर्काइव जैसे संगठनों को गैर-व्यावसायिक उपयोग के लिए इसकी सामग्री तक पहुंच जारी रहेगी।

© थॉमसन रॉयटर्स 2024