Intelligence artificielle Cinéma et Deepfake : zoom sur la synchronisation des lèvres avec le...

Pour approfondir le sujet

Sur le même thème :

Atos lance sa plateforme de vision par ordinateur prenant en compte de nombreux cas d’usage

C'est dans le cadre de l'édition 2021 des Atos Technology Days que l'entreprise Atos a dévoilé son nouvel outil Atos Computer Vision Plateform. Cette...

Un projet de recherche vise à repérer et diagnostiquer des troubles autistiques grâce à l’intelligence artificielle

Une équipe de recherche de l'Université de Genève (UNIGE) a mis au point une méthode basée sur l'IA afin de détecter et de diagnostiquer...

La start-up française Bio Logbook, lauréate de l’appel à projets européen COVID-X

Bio Logbook, une start-up spécialisée dans la médecine de précision, a remporté l'appel à projets européen COVID-X. La jeune pousse va être subventionnée à...

Podcast – Deepfake : faut-il le voir pour le croire ?

L'avant dernier numéro de la saison de La Méthode scientifique, émisson diffusée sur France Culture, est consacré aux Deepfakes, les vidéos manipulées grâce au...

Cinéma et Deepfake : zoom sur la synchronisation des lèvres avec le doublage en langue étrangère

Le deepfake est une technique reposant sur l’intelligence artificielle qui permet de superposer des fichiers audio ou vidéos sur d’autres fichiers déjà existants pour reproduire la voix d’une personne ou de changer son visage et donc faire en sorte de lui faire dire des propos ou faire des actions que ces individus n’ont jamais fait. Cette technologie est souvent utilisée pour créer des canulars ou pour faire en sorte de véhiculer des fake news. Toutefois, elle pourrait être utilisée dans le cinéma à bon escient pour le doublage des acteurs dans plusieurs langues.

Un logiciel d’IA pour contourner les problèmes de doublage et d’articulation des lèvres

Habituellement, le deepfake est utilisé pour modifier les traits du visage, les gestes ou la voix d’une personne dans une image ou une vidéo, dans le but de lui faire dire quelque chose qu’elle n’a jamais dit ou jamais fait en réalité. Si cette pratique est en réalité associée aux intox et aux memes internet, elle pourrait être, à terme, utilisée pour le cinéma pour permettre un doublage plus réaliste et facile à réaliser.

La société britannique Flawless a annoncé le développement d’un logiciel, intitulé TrueSync qui permet d’analyser les schémas faciaux des acteurs et de les modifier afin qu’ils puissent s’intégrer dans la vocalisation d’une autre langue. Pour être plus précis : un des problèmes récurrents du doublage consiste à faire en sorte que les paroles dans la langue doublée puissent coller avec le mouvement des lèvres. Une difficulté que les experts en IA de la firme britannique souhaitent atténuer.

C’est ce qu’explique Scott Mann, un des réalisateurs qui a décidé d’exploiter la technologie de Flawless :

“Je suis déconcerté lorsque je regarde les films que je réalise, mais doublés dans d’autres langues, car le scénario orignal est rarement conservé. Si vous faites un petit changement dans un mot ou dans une performance, vous pouvez avoir un grand changement dans la personnalité d’un personnage ou dans le rythme de l’histoire, et donc sur la compréhension du film.”

Le deepfake, une pratique utile dans certaines circonstances, sujet aux questions éthiques

TrueSync permet une synchronisation réaliste en adaptant le mouvement de la bouche et des lèvres des acteurs originaux à l’articulation que l’on peut retrouver dans plusieurs langues étrangères. Il y a quelques semaines, Flawless a publié une vidéo où l’on pouvait voir certains résultats de l’utilisation de l’outil pour doubler des films avec des acteurs célèbres comme Robert de Niro, Tom Hanks, Jack Nicholson ou encore Tom Cruise.

Toutefois, l’utilisation d’un logiciel comme celui-ci présente plusieurs problématiques d’ordre éthique notamment. Certains professionnels ont noté que si le logiciel tombait entre de mauvaises mains, il pourrait être exploité pour commettre des délits. De plus, il faut aussi partir du principe que les acteurs doivent accepter que leurs lèvres (et donc une partie de leur corps) soient modifiées pour faciliter les doublages dans les autres langues.

Plusieurs interrogations qui vont sans douter faire repousser l’utilisation future et massive des techniques deepfakes dans le cinéma.


1ère Marketplace de l'IA et de la transformation numérique vous recommande :
 
Zacharie Tazrout

Partager l'article

Le Conseil de l’UE invite les Etats Membres à poursuivre leurs efforts dans la lutte contre le terrorisme

Début juin, le Conseil de l'UE a adopté des conclusions sur les actions accomplies et les prochaines étapes à franchir pour assurer la protection...

Village by CA Paris dévoile les duos lauréats des « Village Awards 2022 »

Le 30 juin dernier, le Village by CA Paris a organisé la cinquième édition des Village Awards en collaboration avec Les Echos Entrepreneurs et...

Focus sur les recommandations de la CNCDH visant à promouvoir un encadrement juridique ambitieux de l’IA

Le 21 avril 2021, la Commission Européenne présentait son projet de réglementation de l'IA. Plus récemment, en décembre dernier, la Slovénie qui assurait alors...

Le groupe La Poste investit 800 millions d’euros dans sa « Branche Grand Public et Numérique »

Dans le cadre du plan stratégique « La Poste 2030, engagée pour vous », le groupe La Poste a créé, en 2021, la Branche...
Recevoir une notification en cas d'actualité importante    OK Non merci