Une intelligence artificielle qui rend invisible / Deep Flow-Guided Video Inpainting

Pour approfondir le sujet

Lancement des Challenges IA Lauréats Vague 2 portés par SAFE et SCS sur la thématique Défense/Sécurité

Dans le cadre de la stratégie nationale d’IA mise en place par le gouvernement, les challenges IA ont été lancés en 2019 pour une...

Replay : L’intelligence artificielle – défis et opportunités pour la philanthropie | ESSEC Chair

Le 5 mai dernier, dans le cadre de son Lunch & Learn, la Chaire Philantropie de l'ESSEC s'est intéressée à la thématique de l'intelligence...

Replay : “iHuman – L’intelligence artificielle et nous” de Tonje Hessen Schei

Arte propose actuellement sur arte.tv le documentaire norvégien "iHuman – L'intelligence artificielle et nous", de Tonje Hessen Schei. Il pose la question du remplacement de...

Une intelligence artificielle qui rend invisible / Deep Flow-Guided Video Inpainting

Depuis l’invention du cinéma et de la pellicule, de nombreux traitements manuels devaient être réalisés. Lorsque l’on souhaitait “couper” une scène, on prenait véritable paire de ciseaux !

Du Pixel au “data”…

Avec l’arrivée du numérique, le cinéma, la vidéo est devenu “pixel”, avec l’arrivée de l’IA la vidéo est devenue “data”. Avec les bons modèles, et la quantité de données adéquate, il est possible de détecter des objets dans une image, segmenter une vidéo (découper l’avant-plan de l’arrière-plan et des sujets présents), et créer des effets spéciaux qui demandaient un temps de travail “humain” important : détourage, corrections image par image… un travail si éprouvant que nombre de studios préfèrent parfois abandonner et tourner de nouveau un scène si un objet inattendu apparaît dans le champ.

Des outils vidéos toujours plus performants et automatisés

En vidéo, remplacer un visage par un autre est une technique assez connue aujourd’hui avec le “DeepFake” (et sa dernière évolution capable d’animer un visage avec une seule photo avec Few-Shot Adversarial Learning of Realistic Neural Talking Head Models de Samsung), NVidia nous a prouvé qu’il était possible de reconstruire des zones endommagées d’une photo. Ce qui est plus complexe encore est de faire disparaître totalement un objet dans une vidéo sans utilisation de fond vert ou autre subterfuge physique, mais bien à base d’une solution 100% logicielle avec une IA.

On sélectionne un objet et il disparaît…

Cette solution permet, par une sélection d’une zone de l’objet : le détourer / segmenter, de la retirer, puis de combler l’espace manquant : en résumé l’objet devient invisible ! Une véritable prouesse pour un outil 100% automatique. Il est également possible de supprimer watermark / signature ou tout autre défaut qui apparaîtrait dans une séquence vidéo que l’on souhaite effacer. D’autres modèles antérieurs permettaient d’effacer en partie l’objet avec quelques parasites très visible, cette solution sera très certainement bientôt intégrée à nombre de studios de cinéma voire TV petit à petit. Il ne sera peut-être plus nécessaire de flouter les objets publicitaires dans les reportages TV quand on sait les faire disparaître… Une solution également aux problèmes de vie privée pour les personnes qui ne souhaitent pas apparaître en vidéo ?

Liens :
https://www.groundai.com/project/deep-flow-guided-video-inpainting/1
https://arxiv.org/abs/1905.02884

Contributeur expert

blank
Cedric Vasseur

Cédric Vasseur est conférencier, formateur, chroniqueur spécialiste des nouvelles technologies

Partager l'article

Lancement des Challenges IA Lauréats Vague 2 portés par SAFE et SCS sur la thématique Défense/Sécurité

Dans le cadre de la stratégie nationale d’IA mise en place par le gouvernement, les challenges IA ont été lancés en 2019 pour une...

Replay : L’intelligence artificielle – défis et opportunités pour la philanthropie | ESSEC Chair

Le 5 mai dernier, dans le cadre de son Lunch & Learn, la Chaire Philantropie de l'ESSEC s'est intéressée à la thématique de l'intelligence...

Replay : “iHuman – L’intelligence artificielle et nous” de Tonje Hessen Schei

Arte propose actuellement sur arte.tv le documentaire norvégien "iHuman – L'intelligence artificielle et nous", de Tonje Hessen Schei. Il pose la question du remplacement de...

Appel à contribution pour le premier colloque international sur l’intelligence artificielle dans la fiction

Le premier colloque sur le thème de l’intelligence artificielle dans la fiction (littérature, séries, films, bande dessinée, jeux vidéo, arts plastiques) se tiendra à...