Nvidia Releases Chat With RTX, an AI Chatbot That Runs Locally on Windows PC
Nvidia ने चैट विद RTX नामक एक आर्टिफिशियल इंटेलिजेंस (AI)-संचालित चैटबॉट जारी किया है जो स्थानीय रूप से PC पर चलता है और इसे इंटरनेट से कनेक्ट करने की आवश्यकता नहीं है। GPU निर्माता जनरेटिव AI बूम के बाद से AI उद्योग में सबसे आगे रहा है, इसके उन्नत AI चिप्स AI उत्पादों और सेवाओं को शक्ति प्रदान करते हैं। Nvidia के पास एक AI प्लेटफ़ॉर्म भी है जो उद्यमों के लिए एंड-टू-एंड समाधान प्रदान करता है। कंपनी अब अपने स्वयं के चैटबॉट बना रही है, और चैट विद RTX इसकी पहली पेशकश है। Nvidia चैटबॉट वर्तमान में एक डेमो ऐप है जो मुफ़्त में उपलब्ध है।
इसे पर्सनलाइज्ड AI चैटबॉट कहते हुए, Nvidia ने मंगलवार (13 फरवरी) को यह टूल जारी किया। सॉफ़्टवेयर डाउनलोड करने के इच्छुक उपयोगकर्ताओं को एक विंडोज पीसी या वर्कस्टेशन की आवश्यकता होगी जो RTX 30 या 40-सीरीज़ GPU पर चलता हो और जिसमें कम से कम 8GB VRAM हो। एक बार डाउनलोड हो जाने के बाद, ऐप को कुछ क्लिक के साथ इंस्टॉल किया जा सकता है और तुरंत इस्तेमाल किया जा सकता है।
चूंकि यह एक स्थानीय चैटबॉट है, इसलिए चैट विद RTX को बाहरी दुनिया के बारे में कोई जानकारी नहीं है। हालाँकि, उपयोगकर्ता इसे अपने व्यक्तिगत डेटा, जैसे कि दस्तावेज़, फ़ाइलें, और बहुत कुछ खिला सकते हैं, और उन पर क्वेरी चलाने के लिए इसे कस्टमाइज़ कर सकते हैं। ऐसा ही एक उपयोग मामला इसे काम से संबंधित बड़ी मात्रा में दस्तावेज़ खिलाना और फिर इसे किसी विशिष्ट प्रश्न का सारांश, विश्लेषण या उत्तर देने के लिए कहना हो सकता है, जिसे मैन्युअल रूप से खोजने में घंटों लग सकते हैं। इसी तरह, यह कई अध्ययनों और पत्रों को देखने के लिए एक प्रभावी शोध उपकरण हो सकता है। यह टेक्स्ट, पीडीएफ, डॉक/डॉक्स और एक्सएमएल फ़ाइल स्वरूपों का समर्थन करता है। इसके अतिरिक्त, AI बॉट YouTube वीडियो और प्लेलिस्ट URL भी स्वीकार करता है और वीडियो के ट्रांसक्रिप्शन का उपयोग करके, यह प्रश्नों का उत्तर दे सकता है या वीडियो का सारांश दे सकता है। इस कार्यक्षमता के लिए, इसे इंटरनेट एक्सेस की आवश्यकता होगी।
डेमो वीडियो के अनुसार, चैट विद RTX मूलतः एक वेब सर्वर है जिसमें एक पायथन इंस्टेंस है जिसमें नए डाउनलोड होने पर बड़े भाषा मॉडल (LLM) की जानकारी नहीं होती है। उपयोगकर्ता इसे प्रशिक्षित करने के लिए मिस्ट्रल या लामा 2 मॉडल में से चुन सकते हैं, और फिर क्वेरी चलाने के लिए अपने स्वयं के डेटा का उपयोग कर सकते हैं। कंपनी का कहना है कि चैटबॉट अपनी कार्यक्षमता के लिए रिट्रीवल-ऑगमेंटेड जेनरेशन (RAG), TensorRT-LLM और RTX एक्सेलेरेशन जैसे ओपन-सोर्स प्रोजेक्ट का लाभ उठाता है।
द वर्ज की एक रिपोर्ट के अनुसार, ऐप का आकार लगभग 40GB है और पायथन इंस्टेंस 3GB तक रैम ले सकता है। प्रकाशन द्वारा बताई गई एक विशेष समस्या यह है कि चैटबॉट आपके द्वारा इंडेक्स करने के लिए कहे गए फ़ोल्डरों के अंदर JSON फ़ाइलें बनाता है। इसलिए, इसे अपना पूरा दस्तावेज़ फ़ोल्डर या एक बड़ा पैरेंट फ़ोल्डर फीड करना परेशानी भरा हो सकता है।
