Intelligence artificielle Cinéma et Deepfake : zoom sur la synchronisation des lèvres avec le...

Pour approfondir le sujet

Sur le même thème :

Atos lance sa plateforme de vision par ordinateur prenant en compte de nombreux cas d’usage

C'est dans le cadre de l'édition 2021 des Atos Technology Days que l'entreprise Atos a dévoilé son nouvel outil Atos Computer Vision Plateform. Cette...

Un projet de recherche vise à repérer et diagnostiquer des troubles autistiques grâce à l’intelligence artificielle

Une équipe de recherche de l'Université de Genève (UNIGE) a mis au point une méthode basée sur l'IA afin de détecter et de diagnostiquer...

La start-up française Bio Logbook, lauréate de l’appel à projets européen COVID-X

Bio Logbook, une start-up spécialisée dans la médecine de précision, a remporté l'appel à projets européen COVID-X. La jeune pousse va être subventionnée à...

Podcast – Deepfake : faut-il le voir pour le croire ?

L'avant dernier numéro de la saison de La Méthode scientifique, émisson diffusée sur France Culture, est consacré aux Deepfakes, les vidéos manipulées grâce au...

Cinéma et Deepfake : zoom sur la synchronisation des lèvres avec le doublage en langue étrangère

Le deepfake est une technique reposant sur l’intelligence artificielle qui permet de superposer des fichiers audio ou vidéos sur d’autres fichiers déjà existants pour reproduire la voix d’une personne ou de changer son visage et donc faire en sorte de lui faire dire des propos ou faire des actions que ces individus n’ont jamais fait. Cette technologie est souvent utilisée pour créer des canulars ou pour faire en sorte de véhiculer des fake news. Toutefois, elle pourrait être utilisée dans le cinéma à bon escient pour le doublage des acteurs dans plusieurs langues.

Un logiciel d’IA pour contourner les problèmes de doublage et d’articulation des lèvres

Habituellement, le deepfake est utilisé pour modifier les traits du visage, les gestes ou la voix d’une personne dans une image ou une vidéo, dans le but de lui faire dire quelque chose qu’elle n’a jamais dit ou jamais fait en réalité. Si cette pratique est en réalité associée aux intox et aux memes internet, elle pourrait être, à terme, utilisée pour le cinéma pour permettre un doublage plus réaliste et facile à réaliser.

La société britannique Flawless a annoncé le développement d’un logiciel, intitulé TrueSync qui permet d’analyser les schémas faciaux des acteurs et de les modifier afin qu’ils puissent s’intégrer dans la vocalisation d’une autre langue. Pour être plus précis : un des problèmes récurrents du doublage consiste à faire en sorte que les paroles dans la langue doublée puissent coller avec le mouvement des lèvres. Une difficulté que les experts en IA de la firme britannique souhaitent atténuer.

C’est ce qu’explique Scott Mann, un des réalisateurs qui a décidé d’exploiter la technologie de Flawless :

“Je suis déconcerté lorsque je regarde les films que je réalise, mais doublés dans d’autres langues, car le scénario orignal est rarement conservé. Si vous faites un petit changement dans un mot ou dans une performance, vous pouvez avoir un grand changement dans la personnalité d’un personnage ou dans le rythme de l’histoire, et donc sur la compréhension du film.”

Le deepfake, une pratique utile dans certaines circonstances, sujet aux questions éthiques

TrueSync permet une synchronisation réaliste en adaptant le mouvement de la bouche et des lèvres des acteurs originaux à l’articulation que l’on peut retrouver dans plusieurs langues étrangères. Il y a quelques semaines, Flawless a publié une vidéo où l’on pouvait voir certains résultats de l’utilisation de l’outil pour doubler des films avec des acteurs célèbres comme Robert de Niro, Tom Hanks, Jack Nicholson ou encore Tom Cruise.

Toutefois, l’utilisation d’un logiciel comme celui-ci présente plusieurs problématiques d’ordre éthique notamment. Certains professionnels ont noté que si le logiciel tombait entre de mauvaises mains, il pourrait être exploité pour commettre des délits. De plus, il faut aussi partir du principe que les acteurs doivent accepter que leurs lèvres (et donc une partie de leur corps) soient modifiées pour faciliter les doublages dans les autres langues.

Plusieurs interrogations qui vont sans douter faire repousser l’utilisation future et massive des techniques deepfakes dans le cinéma.


1ère Marketplace de l'IA et de la transformation numérique vous recommande :
 
Zacharie Tazrout

Partager l'article

Covid-19 : Focus sur Early Warning System (EWS) développé par BioNTech et InstaDeep pour détecter les variants à haut risque du SARS-CoV-2

En ce moment, nous entendons beaucoup parler de Delta et Omicron, les deux variants circulant le plus en France, mais on est loin d'imaginer...

La CNIL lance une consultation publique sur l’usage des caméras intelligentes dans les espaces publics

Devant la recrudescence des caméras intelligentes ou augmentées dans les espaces publics et les problèmes éthiques ou juridiques que ces dispositifs posent, la CNIL,...

Est-ce que Python est sécurisé ? Etude réalisée par Snyk

Selon une étude réalisée par Snyk, aujourd'hui, 43 % de toutes les fuites de données sont directement liées à des vulnérabilités découvertes au sein...

Bouches-du-Rhône et Var : 12 000 piscines non déclarées détectées grâce à l’Intelligence Artificielle

Il y a et il y aura toujours des fraudeurs... L'intelligence artificielle va permettre de repérer ceux qui ont «omis» de déclarer certains bâtis...
Recevoir une notification en cas d'actualité importante    OK Non merci