We Tried Google’s Gemini AI Chatbot and Found It to Be More Capable but Still Prone to Hallucinations

Google ने अपने जनरेटिव आर्टिफिशियल इंटेलिजेंस (AI) ऑफ़रिंग के साथ एक लंबा सफ़र तय किया है। एक साल पहले, जब टेक दिग्गज ने पहली बार अपने AI असिस्टेंट, बार्ड का अनावरण किया, तो यह एक विफलता बन गई क्योंकि इसने जेम्स वेब स्पेस टेलीस्कोप के बारे में एक सवाल का जवाब देते समय एक तथ्यात्मक त्रुटि की। तब से, टेक दिग्गज ने चैटबॉट की प्रतिक्रियाओं में सुधार किया है, प्रतिक्रियाओं के पीछे के स्रोत की जाँच करने के लिए एक फीडबैक तंत्र जोड़ा है, और भी बहुत कुछ। लेकिन सबसे बड़ा अपग्रेड तब हुआ जब कंपनी ने बड़े भाषा मॉडल (LLM) को बदल दिया, चैटबॉट को दिसंबर 2023 में पाथवेज लैंग्वेज मॉडल 2 (PaLM 2) से जेमिनी तक संचालित किया।

कंपनी ने जेमिनी एआई को अब तक का अपना सबसे शक्तिशाली भाषा मॉडल बताया है। इसने चैटबॉट में एआई इमेज जेनरेशन क्षमता भी जोड़ी, जिससे यह मल्टीमॉडल बन गया और इसका नाम बदलकर जेमिनी भी रख दिया। लेकिन एआई चैटबॉट के लिए यह कितनी बड़ी छलांग है? क्या यह अब माइक्रोसॉफ्ट कोपायलट से मुकाबला कर सकता है, जो GPT-4 पर आधारित है और इसमें क्षमताएं हैं? और एआई भ्रम (ऐसी घटना जहां एआई गलत या गैर-मौजूद जानकारी को तथ्यों के रूप में पेश करता है) के उदाहरणों के बारे में क्या? हमने इसका पता लगाने का फैसला किया।

Google AI को वर्तमान में कई तरीकों से एक्सेस किया जा सकता है। Google Advanced, Google One AI प्रीमियम प्लान के साथ एक पेड सब्सक्रिप्शन है, जिसकी मासिक कीमत 1,950 रुपये है। Google Gemini का एक Android ऐप भी है। हालाँकि, यह अभी भारत में उपलब्ध नहीं है। Google Pixel 8 Pro भी Gemini Nano मॉडल के साथ आता है। हमारे परीक्षण उद्देश्यों के लिए, हमने Google के Gemini Pro-संचालित वेब पोर्टल का उपयोग करने का निर्णय लिया, जो 230 से अधिक देशों और क्षेत्रों में उपलब्ध है और इसका उपयोग करना मुफ़्त है।

गूगल जेमिनी की जनरेटिव क्षमताएं

वेबसाइट का यूजर इंटरफेस वही रहेगा, लेकिन नाम बदलकर बार्ड से जेमिनी कर दिया गया है। अगर आप अपने Google खाते से साइन इन हैं, तो AI आपका नाम लेकर आपका स्वागत करेगा और पूछेगा, “मैं आज आपकी कैसे मदद कर सकता हूँ?” नीचे कुछ मददगार, त्वरित सुझाव दिए गए हैं जो अलग-अलग कार्यों को हाइलाइट करते हैं जो यह कर सकता है।

सबसे पहले, हमने इसे अपने बुनियादी उत्पादक कौशल का परीक्षण करने के लिए एक ईमेल लिखने के लिए कहा। यह देखते हुए कि यह छंटनी का मौसम है, हमने इसे “एक प्रबंधक से एक कर्मचारी को एक सहानुभूतिपूर्ण ईमेल का मसौदा तैयार करने के लिए कहा, जिसमें उन्हें सूचित किया गया कि उन्हें निकाल दिया गया है।” इसके प्रदर्शन का परीक्षण करने के लिए, हमने कोपायलट को भी ऐसा ही करने के लिए कहा। हमने पाया कि जेमिनी का जवाब काफी नीरस और रोबोट जैसा था, जो शुरुआत में ही बहुत अधिक जानकारी फिट करने की कोशिश कर रहा था। पहले पैराग्राफ में कहा गया था, “यह बहुत खेद के साथ है कि मैं आपको एक कठिन निर्णय के बारे में सूचित करने के लिए लिख रहा हूँ जो हमें लेना पड़ा है। [Company Name]। इस कारण [reason]हमें अपने कार्यबल में कटौती करने की आवश्यकता है, और आपकी स्थिति प्रभावी रूप से समाप्त कर दी जाएगी [date].”

इसकी तुलना में, कोपायलट का जवाब अधिक सहानुभूतिपूर्ण और मानवीय लगा। इसमें लिखा था, “मुझे उम्मीद है कि यह ईमेल आपको अच्छा लगेगा। मुझे आपको यह बताते हुए खेद है कि हाल ही में हुए संगठनात्मक परिवर्तनों के कारण, हमें कुछ कठिन निर्णय लेने पड़े हैं। दुर्भाग्य से, आपकी स्थिति [Company Name] प्रभावित हुआ है, और मुझे आपको यह बताते हुए बहुत दुख हो रहा है कि आपको नौकरी से निकाल दिया गया है।”

यह आश्चर्य की बात नहीं है क्योंकि Google के चैटबॉट को औपचारिक सामग्री निर्माण के मामले में थोड़ा नीरस माना जाता है, और यह जेमिनी मॉडल के साथ भी नहीं बदला है। हालाँकि, जब अनौपचारिक सामग्री निर्माण की बात आती है, तो जेमिनी अपनी क्षमताएँ दिखाना शुरू कर देता है।

हमने दोनों चैटबॉट्स से कहा कि “अपनी मां को एक पत्र लिखकर बताएं कि मुझे नौकरी से निकाल दिया गया है और अपनी मां को एक छोटा नोट लिखकर बताएं कि मुझे नौकरी से निकाल दिया गया है। मेरी उदासी और दुख की भावनाओं को व्यक्त करना सुनिश्चित करें।”

कोपायलट ने इसे शाब्दिक रूप से लिया और लिखा, “यह सब अचानक होने से मुझे कई तरह की भावनाएँ महसूस हुईं- दुख, शोक और आगे क्या होने वाला है, इस बारे में अनिश्चितता।” लेकिन Google ने अंतर्निहित संदेश को समझा और भावनाओं को व्यक्त करने में बहुत बेहतर काम किया। इसने लिखा, “मुझे पता है कि आप हमेशा नौकरी की सुरक्षा के बारे में चिंतित रहते हैं, और काश मैं आपको बता पाता कि यह अलग था। यह कुछ भी ऐसा नहीं था जो मैंने गलत किया हो, वे [reason]मैं सकारात्मक रहने की कोशिश कर रहा हूँ, लेकिन निराश न होना मुश्किल है। हालाँकि, मैं नहीं चाहता कि आप बहुत ज़्यादा चिंता करें। मैं घबराया नहीं हूँ, और मैं पहले से ही अपने अगले कदमों के बारे में सोचना शुरू कर रहा हूँ।”

यह बहुत बेहतर तरीके से रचित था, और किसी को यह सोचने के लिए माफ़ किया जा सकता है कि इसे एक वास्तविक इंसान ने लिखा है। हमने कुछ और परीक्षण किए, और हर बार GPT-4-संचालित कोपायलट की तुलना में जेमिनी की प्रतिक्रियाएँ बहुत अधिक संतुलित थीं।

गूगल जेमिनी की सटीकता

अगला परीक्षण AI मॉडल की सटीकता की जांच करना था। कई लोग किसी प्रश्न का उत्तर पाने के लिए AI का उपयोग करते हैं, और हम भी ऐसा ही करना चाहते थे। इसने स्थिर सामान्य ज्ञान-आधारित प्रश्नों को अच्छी तरह से संभाला। यहां तक ​​कि जब हमने कुछ ग्रे-ज़ोन प्रश्न भेजे, तो यह तथ्यों पर टिका रहा और इसमें कोई अतिरिक्त जानकारी शामिल नहीं की। जब प्रश्न विवादास्पद थे, तो इसने उनका उत्तर देने से इनकार कर दिया, जो कि आप एक जिम्मेदार AI चैटबॉट से उम्मीद करेंगे।

समस्या तब आई जब हमने उससे एक लोकप्रिय ट्रिक प्रश्न पूछा, जिसने चैटबॉट की पुरानी पीढ़ी को अतीत में परेशान किया है। जब हमने प्रश्न पूछा, “अफ्रीका में ऐसे देश जो K अक्षर से शुरू होते हैं”, तो उसने अनजाने में जवाब दिया, “आज, 12 फरवरी, 2024 तक अफ्रीका में कोई भी ऐसा देश नहीं है जो “K” अक्षर से शुरू होता है। जबकि समय के साथ परिस्थितियाँ बदल सकती हैं, यह तथ्य कुछ समय से स्थिर है।” अनजान लोगों के लिए, समस्या इसलिए होती है क्योंकि जिस LLM पर इसे प्रशिक्षित किया गया था, उसमें उसी प्रतिक्रिया के साथ संकेतित वाक्यांश था। दिलचस्प बात यह है कि यह विशेष गड़बड़ी Copilot और ChatGPT पर मौजूद है, और नियमित रिपोर्टों के बावजूद, इसे अभी भी किसी भी चैटबॉट के लिए हटाया नहीं गया है।

हालाँकि, AI भ्रम की समस्या यहीं खत्म नहीं हुई। हमें Gemini द्वारा दिए गए कई अन्य गलत जवाब भी मिले। जब हमने पूछा, “समीक्षाओं के आधार पर, मुझे iPhone 15 Pro के फायदे और नुकसान बताएं”, तो उसने जवाब दिया, “iPhone 15 Pro की अभी आधिकारिक घोषणा नहीं की गई है”। वास्तव में, Apple स्मार्टफोन पिछले साल सितंबर में लॉन्च किया गया था। इसकी तुलना में, Copilot ने तकनीकी सवालों में बेहतर प्रदर्शन किया।

सहायक कार्यों में गूगल जेमिनी

एक और कौशल जो अधिकांश AI चैटबॉट का दावा है, वह है उनकी सहायक विशेषताएँ। वे किसी विचार पर विचार-विमर्श कर सकते हैं, यात्रा के लिए यात्रा कार्यक्रम बना सकते हैं, आपके विकल्पों की तुलना कर सकते हैं और आपसे बातचीत भी कर सकते हैं। हमने इसे बजट पर गोवा की 5-दिवसीय यात्रा के लिए यात्रा कार्यक्रम बनाने और लोगों द्वारा की जा सकने वाली चीज़ों को शामिल करने के लिए कहा। चूँकि लेखक हाल ही में गोवा में था, इसलिए हमारे लिए इसका परीक्षण करना आसान था। जबकि जेमिनी ने सभी लोकप्रिय स्थलों को उजागर करने में एक अच्छा काम किया, उत्तर विस्तृत नहीं था और किसी भी यात्रा वेबसाइट से बहुत अलग नहीं था। इसका एक सकारात्मक पहलू यह है कि चैटबॉट संभवतः कुछ भी गलत सुझाव नहीं देगा।

दूसरी ओर, मैं कोपायलट के विस्तृत उत्तर से प्रभावित हुआ, जिसमें छिपे हुए रत्न और यहां तक ​​कि उन व्यंजनों के नाम भी शामिल थे जिन्हें हर किसी को आज़माना चाहिए। हमने अलग-अलग बदलावों के साथ परीक्षण दोहराया, लेकिन परिणाम एक जैसा ही रहा।

इसके बाद, हमने पूछा, “मैं भारत में रहता हूँ। क्या मुझे Amazon Prime Videos या Netflix का सब्सक्रिप्शन खरीदना चाहिए?” जवाब विस्तृत था और इसमें कंटेंट की गहराई, कीमत, सुविधाएँ और लाभ सहित विभिन्न पैरामीटर शामिल थे। हालाँकि इसने सीधे तौर पर उनमें से किसी एक का सुझाव नहीं दिया, लेकिन इसने सूचीबद्ध किया कि उपयोगकर्ता को इनमें से कोई एक विकल्प क्यों चुनना चाहिए। कोपायलट का जवाब भी वही था।

अंत में, हमने जेमिनी के साथ चैटिंग में समय बिताया। यह परीक्षण कुछ घंटों तक चला, और हमने चैटबॉट को आकर्षक, मनोरंजक, जानकारीपूर्ण और प्रासंगिक होने की इसकी क्षमता पर परखा। इन सभी मापदंडों में, जेमिनी ने बहुत अच्छा प्रदर्शन किया। यह आपको एक चुटकुला सुना सकता है, कम ज्ञात तथ्य साझा कर सकता है, आपको सलाह दे सकता है, और यहां तक ​​कि आपके साथ शब्द और चित्र-आधारित गेम भी खेल सकता है। हमने इसकी मेमोरी का भी परीक्षण किया, लेकिन यह एक घंटे तक टेक्स्ट करने के बाद भी बातचीत को याद रख सकता था। केवल एक चीज जो यह नहीं कर सकता है वह है संदेशों पर एक-लाइन प्रतिक्रिया देना जैसा कि एक मानव मित्र करता है।

गूगल जेमिनी की छवि निर्माण क्षमता

हमारे परीक्षण में, हमें जेमिनी एआई की छवि-निर्माण क्षमताओं के बारे में कई रोचक बातें पता चलीं। उदाहरण के लिए, उत्पन्न सभी छवियों का रिज़ॉल्यूशन 1536×1536 है, जिसे बदला नहीं जा सकता। चैटबॉट वास्तविक जीवन के लोगों की छवियों को बनाने की आवश्यकता वाले किसी भी अनुरोध को पूरा करने से भी इनकार कर देता है, जिससे डीपफेक (वास्तविक दिखने वाले लोगों और वस्तुओं की एआई-जनरेटेड तस्वीरें बनाना) के जोखिम कम हो जाएंगे।

लेकिन गुणवत्ता की बात करें तो, जेमिनी ने प्रॉम्प्ट पर टिके रहने और इमेज बनाने का एक ईमानदार काम किया। यह एक विशेष शैली में यादृच्छिक फ़ोटो बना सकता है, जैसे कि उत्तर आधुनिक, यथार्थवादी और आइकनोग्राफ़िक। चैटबॉट इतिहास में लोकप्रिय कलाकारों की शैली में भी इमेज बना सकता है। हालाँकि, इसमें कई प्रतिबंध हैं, और यदि आप कुछ बहुत विशिष्ट मांगते हैं तो आप पाएंगे कि जेमिनी आपके अनुरोध को अस्वीकार कर देगा। लेकिन कोपायलट के साथ इसकी तुलना करने पर, मैंने पाया कि इमेज तेज़ी से बनीं, प्रॉम्प्ट के प्रति सच्ची रहीं, और ऐसा प्रतीत हुआ कि उनमें शैलियों की एक विस्तृत श्रृंखला थी जिसका हम उपयोग कर सकते थे। हालाँकि, इसकी तुलना DALL-E और Midjourney जैसे समर्पित इमेज-जनरेटिंग AI मॉडल से नहीं की जा सकती।

गूगल जेमिनी: अंतिम परिणाम

कुल मिलाकर, हमने पाया कि जेमिनी एआई अधिकांश श्रेणियों में काफी सक्षम है। एक ऐसे व्यक्ति के रूप में जिसने एआई चैटबॉट का उपयोग इसके उपलब्ध होने के बाद से कभी-कभार ही किया है, मैं विश्वास के साथ कह सकता हूँ कि जेमिनी प्रो मॉडल ने प्राकृतिक भाषा संचार को समझना और प्रश्नों की प्रासंगिक समझ हासिल करना बेहतर बना दिया है। यदि किसी को विचार उत्पन्न करने, अनौपचारिक नोट लिखने, यात्रा की योजना बनाने या यहाँ तक कि बुनियादी चित्र बनाने की आवश्यकता है, तो मुफ़्त चैटबॉट संस्करण एक विश्वसनीय साथी है। हालाँकि, इसका उपयोग शोध उपकरण या औपचारिक लेखन के लिए नहीं किया जाना चाहिए, क्योंकि ये दो ऐसे क्षेत्र हैं जहाँ यह बहुत संघर्ष करता है।

तुलनात्मक रूप से, कोपायलट औपचारिक लेखन और यात्रा कार्यक्रम निर्माण में बेहतर है, बातचीत करने (हालांकि कम मेमोरी के साथ) और तुलना करने के बराबर है। छवि निर्माण, अनौपचारिक सामग्री निर्माण और उपयोगकर्ता को आकर्षित करने में जेमिनी ने बाजी मारी। यह देखते हुए कि यह जेमिनी एलएलएम का पहला संस्करण है, जीपीटी के चौथे संस्करण के विपरीत, हम यह देखने के लिए उत्सुक हैं कि तकनीकी दिग्गज अपने एआई सहायक को और बेहतर बनाने के विभिन्न तरीके क्या हैं।