Une intelligence artificielle qui rend invisible / Deep Flow-Guided Video Inpainting

Pour approfondir le sujet

Sur le même thème :

META AI dévoile BlenderBot 3, un projet de recherche sur l’IA conversationnelle

Après avoir présenté BlenderBot en 2020, la mouture BlenderBot 2.0 en 2021, META a dévoilé BlenderBot 3 le 5 août dernier. Comme pour ses...

Reconnaissance faciale : la plateforme « From Numbers to Name » aide à identifier les victimes de l’Holocauste

Le deep learning est aujourd'hui utilisé dans de nombreux domaines, il l'est de plus en plus dans celui de l'histoire. Daniel Patt, un ingénieur...

Lancement de l’appel à candidatures de la phase V des pôles de compétitivité

Alors que la phase IV (2019-2022) des pôles de compétitivité prendra fin en décembre 2022, Bruno Le Maire, Ministre de l’Economie, des Finances et...

Focus sur SMART, programme de l’IARPA visant à identifier et surveiller les constructions à grande échelle grâce au machine learning

L'IARPA (Intelligence Advanced Research Projects Activity), la branche de recherche de la communauté du renseignement aux Etats-Unis, a lancé le programme SMART (Space-based Machine...

Une intelligence artificielle qui rend invisible / Deep Flow-Guided Video Inpainting

Depuis l’invention du cinéma et de la pellicule, de nombreux traitements manuels devaient être réalisés. Lorsque l’on souhaitait “couper” une scène, on prenait véritable paire de ciseaux !

Du Pixel au “data”…

Avec l’arrivée du numérique, le cinéma, la vidéo est devenu “pixel”, avec l’arrivée de l’IA la vidéo est devenue “data”. Avec les bons modèles, et la quantité de données adéquate, il est possible de détecter des objets dans une image, segmenter une vidéo (découper l’avant-plan de l’arrière-plan et des sujets présents), et créer des effets spéciaux qui demandaient un temps de travail “humain” important : détourage, corrections image par image… un travail si éprouvant que nombre de studios préfèrent parfois abandonner et tourner de nouveau un scène si un objet inattendu apparaît dans le champ.

Des outils vidéos toujours plus performants et automatisés

En vidéo, remplacer un visage par un autre est une technique assez connue aujourd’hui avec le “DeepFake” (et sa dernière évolution capable d’animer un visage avec une seule photo avec Few-Shot Adversarial Learning of Realistic Neural Talking Head Models de Samsung), NVidia nous a prouvé qu’il était possible de reconstruire des zones endommagées d’une photo. Ce qui est plus complexe encore est de faire disparaître totalement un objet dans une vidéo sans utilisation de fond vert ou autre subterfuge physique, mais bien à base d’une solution 100% logicielle avec une IA.

On sélectionne un objet et il disparaît…

Cette solution permet, par une sélection d’une zone de l’objet : le détourer / segmenter, de la retirer, puis de combler l’espace manquant : en résumé l’objet devient invisible ! Une véritable prouesse pour un outil 100% automatique. Il est également possible de supprimer watermark / signature ou tout autre défaut qui apparaîtrait dans une séquence vidéo que l’on souhaite effacer. D’autres modèles antérieurs permettaient d’effacer en partie l’objet avec quelques parasites très visible, cette solution sera très certainement bientôt intégrée à nombre de studios de cinéma voire TV petit à petit. Il ne sera peut-être plus nécessaire de flouter les objets publicitaires dans les reportages TV quand on sait les faire disparaître… Une solution également aux problèmes de vie privée pour les personnes qui ne souhaitent pas apparaître en vidéo ?

Liens :
https://www.groundai.com/project/deep-flow-guided-video-inpainting/1
https://arxiv.org/abs/1905.02884

 

Contributeur expert

Cedric Vasseur

Cédric Vasseur est conférencier, formateur, chroniqueur spécialiste des nouvelles technologies

Partager l'article

META AI dévoile BlenderBot 3, un projet de recherche sur l’IA conversationnelle

Après avoir présenté BlenderBot en 2020, la mouture BlenderBot 2.0 en 2021, META a dévoilé BlenderBot 3 le 5 août dernier. Comme pour ses...

Reconnaissance faciale : la plateforme « From Numbers to Name » aide à identifier les victimes de l’Holocauste

Le deep learning est aujourd'hui utilisé dans de nombreux domaines, il l'est de plus en plus dans celui de l'histoire. Daniel Patt, un ingénieur...

Lancement de l’appel à candidatures de la phase V des pôles de compétitivité

Alors que la phase IV (2019-2022) des pôles de compétitivité prendra fin en décembre 2022, Bruno Le Maire, Ministre de l’Economie, des Finances et...

Focus sur SMART, programme de l’IARPA visant à identifier et surveiller les constructions à grande échelle grâce au machine learning

L'IARPA (Intelligence Advanced Research Projects Activity), la branche de recherche de la communauté du renseignement aux Etats-Unis, a lancé le programme SMART (Space-based Machine...
Recevoir une notification en cas d'actualité importante    OK Non merci