الموناليزا تغني الراب! .. "مايكروسوفت" تطور نموذج ذكاء اصطناعي "واقعي بشكل مخيف"
طورت شركة "مايكروسوفت" نموذج ذكاء اصطناعي، يحول صور وجه الشخص ومقاطع الصوت إلى فيديو مع مزامنة الشفاه وتعبيرات الوجه وحركات الرأس بشكل مناسب.
وتم تطوير نموذج الذكاء الاصطناعي الجديد بواسطة فريق من العلماء في مجال الذكاء الاصطناعي في Microsoft Research Asia، ويسمى VASA-1.
7. Potencia de desentrañamiento 1
— Adam (@Adamaestr0_) April 19, 2024
Ejemplo de la misma secuencia de movimiento con diferentes fotos pic.twitter.com/vStLKyyGEN
وقال الفريق في ورقة بحثية: "لقد قدمنا VASA، وهو إطار عمل لتوليد وجوه ناطقة نابضة بالحياة مع مهارات عاطفية بصرية جذابة (VAS) من خلال صورة ثابتة واحدة ومقطع صوتي للكلام. إن نموذجنا الأول، VASA-1، قادر ليس فقط على إنتاج حركات الشفاه المتزامنة بشكل رائع مع الصوت، ولكن أيضا التقاط مجموعة كبيرة من الفروق الدقيقة في الوجه وحركات الرأس الطبيعية التي تساهم في إدراك الأصالة والحيوية".
Microsoft acaba de lanzar VASA-1.
— Adam (@Adamaestr0_) April 19, 2024
Esta IA puede hacer que una sola imagen cante y hable a partir de una referencia de audio de forma expresiva. Similar a EMO de Alibaba
10 ejemplos salvajes ↓
1. Mona Lisa rapeando a Paparazzi pic.twitter.com/74mZH9fTQO
ويدعي الفريق أن طريقتهم لا توفر جودة فيديو عالية مع ديناميكيات واقعية للوجه والرأس فحسب، بل تدعم أيضا إنشاء مقاطع فيديو بحجم 512 × 512 عبر الإنترنت بسرعة تصل إلى 40 إطارا في الثانية مع زمن انتقال لا يكاد يذكر.
وهذا يمهد الطريق للتفاعلات في الوقت الفعلي مع الصور الرمزية النابضة بالحياة التي تحاكي سلوكيات المحادثة البشرية، وفقا لما ذكره العلماء.
ويشار إلى أن VASA هو اختصار لـ Visual Affective Skills Animator (بمعنى الرسوم المتحركة للمهارات البصرية العاطفية)، وهو نموذج قادر على تحويل أي صور ثابتة سواء تم التقاطها بواسطة الكاميرا، أو رسمها، إلى رسوم متحركة "متزامنة بشكل رائع".
ويمكن لـ VASA إنشاء فيديو حقيقي "مخيف"، حيث تحاكي "الوجوه الناطقة الواقعية" سلوكيات المحادثة البشرية من خلال إيماءات الوجه وحركة العين والرأس الطبيعية، وكل ذلك من صورة ثابتة واحدة للرأس.
واستخدم الفريق مجموعة بيانات VoxCeleb2 المتاحة للجمهور والتي تحتوي على مقاطع فيديو لأكثر من 6000 من المشاهير الواقعيين.
وبعد التخلص من المقاطع التي تتضمن عدة أفراد وذات جودة منخفضة، قام الفريق بتدريب نموذجهم على مجموعة البيانات المعالجة.
ومن اللافت للنظر أن نموذجهم يمكنه التعامل مع المدخلات خارج مجموعة التدريب، مثل الصور الفنية والكلام بغير الإنجليزية.
غناء الموناليزا
وباستخدام مقطع صوتي لأغنية Paparazzi بصوت آن هاثاواي، أجرى العلماء تجارب على الموناليزا.
وادعى الفريق أن نظام الذكاء الاصطناعي يمكن أن يعمل في الوقت الفعلي، حيث أظهروا مقطعا يوضح الأداة وهي تقوم على الفور بتحريك الصور باستخدام تعبيرات الوجه وحركات الرأس. كما يوفر النموذج التحكم في النظرة والمسافة والعواطف في الفيديو الذي تم إنشاؤه.
مخاوف انتحال الشخصية
في حين أن قدرات النموذج تثير مخاوف انتحال الشخصية، فإن العلماء يصرون على أن هدفهم من الأداة ليس تعزيز التزييف العميق.
وكتبوا في منشور: "نحن نستكشف توليد المهارات العاطفية البصرية للشخصيات الافتراضية والتفاعلية، وليس انتحال شخصية أي شخص في العالم الحقيقي".
ويؤكد فريق البحث أن النموذج سيتم استخدامه للتعليم وتوفير الرفقة. وقد رفضوا أيضا إصدار الكود الذي يدعم النموذج.
وأكد الفريق اهتمامه بتطبيق التقنية الجديدة لتعزيز اكتشاف التزوير. وأكدوا: "ليس لدينا أي خطط لإصدار عرض توضيحي عبر الإنترنت أو واجهة برمجة تطبيقات أو منتج أو تفاصيل تنفيذ إضافية أو أي عروض ذات صلة حتى نتأكد من استخدام التكنولوجيا بشكل مسؤول ووفقا للوائح المناسبة".
المصدر: Interesting Engineering
