ByteDance تطور نموذجًا جديدًا قادرًا على إنشاء مقاطع فيديو واقعية للبشر

شاركت ByteDance، الشركة التي تقف خلف TikTok، أبحاثًا جديدة حول إطار عمل جديد للذكاء الاصطناعي (AI) يطلق عليه اسم OmniHuman، وهو عبارة عن إطار عمل لتوليد الفيديو يمكنه إنشاء مقاطع فيديو بشرية واقعية مع حركة الجسم بالكامل ومزامنة الشفاه.

ByteDance تقوم  بتطوير OmniHuman،

وذكر الباحثون أن الأمر يتطلب صورة بشرية إلى جانب إشارات الحركة مثل الفيديو أو الصوت لتوليد الإخراج، وقد تمت أيضًا مشاركة العديد من مقاطع الفيديو التوضيحية التي تم إنشاؤها باستخدام نموذج الذكاء الاصطناعي، والتي تعرض واقعية الناتج النهائي.

جدير بالذكر أن الشركة ذكرت أن نموذج الذكاء الاصطناعي متاح في المجال العام.

كما يمكن لـ OmniHuman إنشاء مقاطع فيديو بشرية واقعية، فقد شارك الباحثون العديد من العروض التوضيحية وقاموا بتفصيل إطار العمل على موقعهم الإلكتروني، الذى يعد نظام شامل تم إنشاؤه باستخدام استراتيجية تدريب مختلط جديدة متعددة الوسائط لتكييف الحركة.

وعلى الرغم من أن الباحثين لم يشاركوا أي مقاييس مرجعية، إلا أنهم زعموا أن نموذج الذكاء الاصطناعي "يتفوق بشكل كبير على الأساليب الحالية".

كما يمكن لـ OmniHuman إنشاء مقاطع فيديو باستخدام صورة الشخص وإشارة الحركة، و يمكن أن تكون إشارات الحركة صوتية فقط، أو فيديو فقط، أو مزيجًا من الصوت والفيديو.

كما يمكن لنموذج الذكاء الاصطناعي إنشاء مقاطع فيديو واقعية بناءً على المطالبات النصية، كما  يمكن أن تكون مقاطع الفيديو هذه لكامل الجسم حيث يمكن مزامنة الأطراف وتعبيرات الوجه وحركة الشفاه مع الصوت أو الموسيقى التي يتم تشغيلها في الخلفية.

ويمكن لـ OmniHuman إنشاء مقاطع فيديو بنسب عرض إلى ارتفاع مختلفة، مما يتيح المرونة للمستخدمين، ويعد استخدام إشارات الحركة تقنية جديدة تسميها الشركة بالتدريب متعدد الشروط، ومن خلال ذلك، يتم تدريب نموذج الذكاء الاصطناعي على طرق مختلفة، بما في ذلك النص والصورة والصوت والفيديو.

وقال الباحثون إن هذا سمح للنموذج بتعلم التكييف المختلط الذي تغلب على ندرة البيانات عالية الجودة.

جدير بالذكر أنه تم تدريب النموذج على 18700 ساعة من بيانات الفيديو البشرية، حيث تم توثيق التفاصيل المتعلقة بعملية التدريب في ورقة بحثية منشورة في مجلة arXiv الإلكترونية.

وشاركت الشركة أيضًا العديد من العروض التوضيحية لمقاطع الفيديو التي تم إنشاؤها باستخدام النموذج، ويبدو أن النتائج واقعية للغاية مع حركات الجسم الطبيعية وإيماءات اليد وحركات الشفاه.

وقد أثارت هذه الواقعية أيضًا مخاوف بشأن التزييف العميق. ومع ذلك، فقد حددت الشركة أن نموذج الذكاء الاصطناعي غير متاح حاليًا للتنزيل، ولا توجد خدمة يمكن للأشخاص استخدامها للوصول إلى إمكاناته.