सोशल मीडिया प्लेटफॉर्म रेडिट ने मंगलवार को कहा कि वह अपनी वेबसाइट से स्वचालित डेटा स्क्रैपिंग को रोकने के लिए प्लेटफॉर्म द्वारा उपयोग किए जाने वाले वेब मानक को अपडेट करेगा, रिपोर्ट के बाद कि एआई स्टार्टअप अपने सिस्टम के लिए सामग्री इकट्ठा करने के लिए नियम को दरकिनार कर रहे थे।
यह कदम ऐसे समय में आया है जब कृत्रिम बुद्धिमत्ता फर्मों पर बिना श्रेय दिए या अनुमति मांगे एआई-जनरेटेड सारांश बनाने के लिए प्रकाशकों से सामग्री चोरी करने का आरोप लगाया गया है।
Reddit ने कहा कि वह रोबोट्स एक्सक्लूजन प्रोटोकॉल, या “robots.txt” को अपडेट करेगा, जो एक व्यापक रूप से स्वीकृत मानक है जो यह निर्धारित करता है कि किसी साइट के किन हिस्सों को क्रॉल करने की अनुमति है।
कंपनी ने यह भी कहा कि वह रेट-लिमिटिंग को बनाए रखेगी, एक तकनीक जिसका उपयोग एक विशेष इकाई से अनुरोधों की संख्या को नियंत्रित करने के लिए किया जाता है, और अज्ञात बॉट्स और क्रॉलर्स को अपनी वेबसाइट पर डेटा स्क्रैपिंग – कच्ची जानकारी एकत्र करने और सहेजने से रोक देगा।
हाल ही में, robots.txt एक प्रमुख उपकरण बन गया है जिसका उपयोग प्रकाशक तकनीकी कंपनियों को एआई एल्गोरिदम को प्रशिक्षित करने और कुछ खोज प्रश्नों के जवाब में सारांश बनाने के लिए अपनी सामग्री का निःशुल्क उपयोग करने से रोकने के लिए करते हैं।
पिछले हफ्ते, कंटेंट लाइसेंसिंग स्टार्टअप टोलबिट द्वारा प्रकाशकों को लिखे एक पत्र में कहा गया था कि कई एआई कंपनियां प्रकाशक साइटों को खत्म करने के लिए वेब मानक को दरकिनार कर रही थीं।
यह एक वायर्ड जांच का अनुसरण करता है जिसमें पाया गया कि एआई सर्च स्टार्टअप पर्प्लेक्सिटी ने संभवतः robots.txt के माध्यम से अपने वेब क्रॉलर को ब्लॉक करने के प्रयासों को नजरअंदाज कर दिया है।
इससे पहले जून में, बिजनेस मीडिया प्रकाशक फोर्ब्स ने पर्प्लेक्सिटी पर क्रेडिट दिए बिना जेनेरिक एआई सिस्टम में उपयोग के लिए अपनी खोजी कहानियों को चुराने का आरोप लगाया था।
रेडिट ने मंगलवार को कहा कि शोधकर्ताओं और इंटरनेट आर्काइव जैसे संगठनों को गैर-व्यावसायिक उपयोग के लिए इसकी सामग्री तक पहुंच जारी रहेगी।
© थॉमसन रॉयटर्स 2024
