Runway Act-One With AI-Powered Facial Expression Capture Capability Added to Gen-3 Alpha Model

वीडियो जेनरेशन मॉडल पर ध्यान केंद्रित करने वाली एक कृत्रिम बुद्धिमत्ता (एआई) फर्म रनवे एआई ने मंगलवार को एक नई सुविधा की घोषणा की। डब एक्ट-वन, नई क्षमता कंपनी के नवीनतम जेन-3 अल्फा बड़े भाषा मॉडल (एलएलएम) के भीतर उपलब्ध है और कहा जाता है कि यह स्रोत वीडियो से चेहरे के भावों को सटीक रूप से कैप्चर करता है और फिर उन्हें वीडियो में एआई-जनरेटेड चरित्र पर पुन: पेश करता है। यह सुविधा एआई वीडियो जेनरेशन तकनीक में एक महत्वपूर्ण समस्या का समाधान करती है जो यथार्थवादी अभिव्यक्तियों को खोए बिना वास्तविक लोगों को एआई पात्रों में परिवर्तित कर रही है।

जेन-3 अल्फा में रनवे एक्ट-वन क्षमता का परिचय दिया गया

एक ब्लॉग पोस्ट में, एआई फर्म ने नई वीडियो पीढ़ी क्षमता के बारे में विस्तार से बताया। रनवे ने कहा कि एक्ट-वन टूल इनपुट के रूप में वीडियो और आवाज प्रदर्शन का उपयोग करके लाइव-एक्शन और एनिमेटेड सामग्री बना सकता है। इस टूल का उद्देश्य एआई-जनरेटेड वीडियो में अभिव्यंजक चरित्र प्रदर्शन की पेशकश करना है।

एआई-जनित वीडियो ने वीडियो सामग्री निर्माण प्रक्रिया को महत्वपूर्ण रूप से बदल दिया है क्योंकि व्यक्ति अब प्राकृतिक भाषा में टेक्स्ट संकेतों का उपयोग करके विशिष्ट वीडियो तैयार कर सकते हैं। हालाँकि, कुछ सीमाएँ हैं जिन्होंने इस तकनीक के अनुकूलन को रोका है। ऐसी ही एक सीमा है किसी वीडियो में किसी पात्र के भावों को बदलने या किसी वाक्य के प्रस्तुतिकरण, हावभाव और आंखों की गति के संदर्भ में उनके प्रदर्शन में सुधार करने के लिए नियंत्रण की कमी।

हालाँकि, एक्ट-वन के साथ, रनवे उस अंतर को पाटने की कोशिश कर रहा है। उपकरण, जो केवल जेन-3 अल्फा मॉडल के साथ काम करता है, चेहरे की एनीमेशन प्रक्रिया को सरल बनाता है, जो अक्सर जटिल हो सकता है और बहु-चरणीय वर्कफ़्लो की आवश्यकता होती है। आज, ऐसे पात्रों को एनिमेट करने के लिए एक व्यक्ति के कई कोणों से वीडियो रिकॉर्ड करने, मैन्युअल रूप से चेहरे की हेराफेरी करने और उनके चेहरे की गति को अलग से कैप्चर करने की आवश्यकता होती है।

रनवे का दावा है कि एक्ट-वन वर्कफ़्लो को प्रतिस्थापित करता है और इसे दो-चरणीय प्रक्रिया में बदल देता है। उपयोगकर्ता अब सिंगल-पॉइंट कैमरे से अपना या किसी अभिनेता का वीडियो रिकॉर्ड कर सकते हैं, जो एक स्मार्टफोन भी हो सकता है, और एक एआई चरित्र का चयन कर सकते हैं। एक बार हो जाने के बाद, यह उपकरण न केवल चेहरे के भावों को बल्कि आंखों की गतिविधियों, सूक्ष्म भावों के साथ-साथ प्रस्तुति की शैली जैसे छोटे विवरणों को भी ईमानदारी से पकड़ने का दावा करता है।

इस सुविधा के दायरे पर प्रकाश डालते हुए, कंपनी ने ब्लॉग पोस्ट में कहा, “मॉडल यथार्थवादी चेहरे के भावों को संरक्षित करता है और मूल स्रोत वीडियो से भिन्न अनुपात वाले पात्रों में प्रदर्शन का सटीक अनुवाद करता है। यह बहुमुखी प्रतिभा आविष्कारशील चरित्र डिजाइन और एनीमेशन के लिए नई संभावनाएं खोलती है।

विशेष रूप से, जबकि एक्ट-वन का उपयोग एनिमेटेड पात्रों के लिए किया जा सकता है, इसका उपयोग सिनेमाई अनुक्रम में लाइव-एक्शन पात्रों के लिए भी किया जा सकता है। इसके अलावा, टूल विवरण भी कैप्चर कर सकता है, भले ही अभिनेता के चेहरे का कोण एआई चरित्र के चेहरे के कोण से भिन्न हो।

यह सुविधा वर्तमान में धीरे-धीरे सभी उपयोगकर्ताओं के लिए शुरू की जा रही है, हालांकि, चूंकि यह केवल जेन-3 अल्फा के साथ काम करता है, इसलिए फ्री टियर पर मौजूद लोगों को इस टूल के साथ वीडियो बनाने के लिए सीमित संख्या में टोकन मिलेंगे।