يتم بالفعل إساءة استخدام أداة صوت AI جديدة لتزييف مقاطع صوتية لمشاهير

قبل بضعة أيام ، أطلقت شركة ElevenLabs لبدء تشغيل الكلام ، إصدارًا تجريبيًا من نظامها الأساسي الذي يمنح المستخدمين القدرة على إنشاء أصوات اصطناعية جديدة تمامًا لتحويل الصوت إلى كلام أو استنساخ صوت شخص ما. حسنًا ، لقد استغرق الإنترنت بضعة أيام فقط لبدء استخدام هذا الأخير لأغراض خسيسة. تمتلك الشركة كشفت على تويتر أنه يرى “عددًا متزايدًا من حالات إساءة استخدام استنساخ الصوت” وأنه يفكر في طريقة لمعالجة المشكلة من خلال “تنفيذ إجراءات وقائية إضافية”.

في حين أن ElevenLabs لم تشرح بالتفصيل ما تعنيه بـ “حالات إساءة الاستخدام” ، اللوحة الأم وجدت 4chan منشورات مع مقاطع تعرض أصواتًا مولدة تبدو كأن المشاهير يقرؤون أو يقولون شيئًا مشكوكًا فيه. أحد المقاطع ، على سبيل المثال ، ورد أنه ظهر بصوت يشبه إيما واتسون تقرأ جزءًا من Mein Kampf. كما نشر المستخدمون مقاطع صوتية تظهر فيها مشاعر كراهية المثليين والمتحولين جنسياً والعنف والعنصرية. ليس من الواضح تمامًا ما إذا كانت جميع المقاطع تستخدم تقنية ElevenLab ، ولكن المنشور الذي يحتوي على مجموعة كبيرة من الملفات الصوتية على 4chan تضمن رابطًا لمنصة بدء التشغيل.

ربما لا ينبغي أن يكون ظهور المقاطع الصوتية “deepfake” هذا مفاجئًا ، حيث رأينا قبل بضع سنوات ، حدوث ظاهرة مماثلة. أدت التطورات في مجال الذكاء الاصطناعي والتعلم الآلي إلى زيادة عدد مقاطع الفيديو المزيفة ، وتحديداً المواد الإباحية المزيفة ، حيث يتم تغيير المواد الإباحية الموجودة لاستخدام وجوه المشاهير. ونعم ، استخدم الناس وجه إيما واتسون لبعض مقاطع الفيديو هذه.

تجمع ElevenLabs الآن التعليقات حول كيفية منع المستخدمين من إساءة استخدام تقنيتها. في الوقت الحالي ، تتضمن أفكاره الحالية إضافة المزيد من الطبقات إلى التحقق من الحساب لتمكين استنساخ الصوت ، مثل مطالبة المستخدمين بإدخال معلومات الدفع أو المعرف. كما تفكر أيضًا في جعل المستخدمين يتحققون من ملكية حقوق الطبع والنشر للصوت الذي يريدون استنساخه ، مثل حملهم على إرسال عينة بنص مطلوب. أخيرًا ، تفكر الشركة في إسقاط أداة Voice Lab الخاصة بها تمامًا وجعل المستخدمين يرسلون طلبات استنساخ الصوت التي يتعين عليها التحقق منها يدويًا.