Intelligence artificielle Cinéma et Deepfake : zoom sur la synchronisation des lèvres avec le...

Pour approfondir le sujet

Skoda ouvre son laboratoire dédié à l’intelligence artificielle pour améliorer sa production de véhicules électriques

Au sein de l'Université technique d'Ostrava, en République tchèque, le constructeur automobile Skoda a inauguré un laboratoire de production par intelligence artificielle (AIM.Lab). Cette...

Recevez le numéro 5 d’ActuIA, le magazine de l’intelligence artificielle

Le numéro 5 d’ActuIA, le magazine de l’intelligence artificielle, arrive en kiosques et en version numérique le 21 septembre 2021 ! Recevez-le directement chez...

Québec : création d’une chaire de recherche en numérique de la santé pour mieux soigner les maladies rares

Mieux comprendre les maladies rares afin de mieux les diagnostiquer et les traiter efficacement constitue un défi de taille en raison de la multiplicité...

Greenly lève 3 millions de dollars pour déployer sa solution de comptabilité carbone alimentée par l’IA

Greenly, une start-up technologique spécialisée dans l'aide aux organisations à réduire leurs émissions de dioxyde de carbone, a annoncé cette semaine une levée de...

Cinéma et Deepfake : zoom sur la synchronisation des lèvres avec le doublage en langue étrangère

Le deepfake est une technique reposant sur l’intelligence artificielle qui permet de superposer des fichiers audio ou vidéos sur d’autres fichiers déjà existants pour reproduire la voix d’une personne ou de changer son visage et donc faire en sorte de lui faire dire des propos ou faire des actions que ces individus n’ont jamais fait. Cette technologie est souvent utilisée pour créer des canulars ou pour faire en sorte de véhiculer des fake news. Toutefois, elle pourrait être utilisée dans le cinéma à bon escient pour le doublage des acteurs dans plusieurs langues.

Un logiciel d’IA pour contourner les problèmes de doublage et d’articulation des lèvres

Habituellement, le deepfake est utilisé pour modifier les traits du visage, les gestes ou la voix d’une personne dans une image ou une vidéo, dans le but de lui faire dire quelque chose qu’elle n’a jamais dit ou jamais fait en réalité. Si cette pratique est en réalité associée aux intox et aux memes internet, elle pourrait être, à terme, utilisée pour le cinéma pour permettre un doublage plus réaliste et facile à réaliser.

La société britannique Flawless a annoncé le développement d’un logiciel, intitulé TrueSync qui permet d’analyser les schémas faciaux des acteurs et de les modifier afin qu’ils puissent s’intégrer dans la vocalisation d’une autre langue. Pour être plus précis : un des problèmes récurrents du doublage consiste à faire en sorte que les paroles dans la langue doublée puissent coller avec le mouvement des lèvres. Une difficulté que les experts en IA de la firme britannique souhaitent atténuer.

C’est ce qu’explique Scott Mann, un des réalisateurs qui a décidé d’exploiter la technologie de Flawless :

“Je suis déconcerté lorsque je regarde les films que je réalise, mais doublés dans d’autres langues, car le scénario orignal est rarement conservé. Si vous faites un petit changement dans un mot ou dans une performance, vous pouvez avoir un grand changement dans la personnalité d’un personnage ou dans le rythme de l’histoire, et donc sur la compréhension du film.”

Le deepfake, une pratique utile dans certaines circonstances, sujet aux questions éthiques

TrueSync permet une synchronisation réaliste en adaptant le mouvement de la bouche et des lèvres des acteurs originaux à l’articulation que l’on peut retrouver dans plusieurs langues étrangères. Il y a quelques semaines, Flawless a publié une vidéo où l’on pouvait voir certains résultats de l’utilisation de l’outil pour doubler des films avec des acteurs célèbres comme Robert de Niro, Tom Hanks, Jack Nicholson ou encore Tom Cruise.

Toutefois, l’utilisation d’un logiciel comme celui-ci présente plusieurs problématiques d’ordre éthique notamment. Certains professionnels ont noté que si le logiciel tombait entre de mauvaises mains, il pourrait être exploité pour commettre des délits. De plus, il faut aussi partir du principe que les acteurs doivent accepter que leurs lèvres (et donc une partie de leur corps) soient modifiées pour faciliter les doublages dans les autres langues.

Plusieurs interrogations qui vont sans douter faire repousser l’utilisation future et massive des techniques deepfakes dans le cinéma.


1ère Marketplace de l'IA et de la transformation numérique vous recommande :
 
Zacharie Tazrout

Partager l'article

Skoda ouvre son laboratoire dédié à l’intelligence artificielle pour améliorer sa production de véhicules électriques

Au sein de l'Université technique d'Ostrava, en République tchèque, le constructeur automobile Skoda a inauguré un laboratoire de production par intelligence artificielle (AIM.Lab). Cette...

Recevez le numéro 5 d’ActuIA, le magazine de l’intelligence artificielle

Le numéro 5 d’ActuIA, le magazine de l’intelligence artificielle, arrive en kiosques et en version numérique le 21 septembre 2021 ! Recevez-le directement chez...

Québec : création d’une chaire de recherche en numérique de la santé pour mieux soigner les maladies rares

Mieux comprendre les maladies rares afin de mieux les diagnostiquer et les traiter efficacement constitue un défi de taille en raison de la multiplicité...

Greenly lève 3 millions de dollars pour déployer sa solution de comptabilité carbone alimentée par l’IA

Greenly, une start-up technologique spécialisée dans l'aide aux organisations à réduire leurs émissions de dioxyde de carbone, a annoncé cette semaine une levée de...