NVIDIA utilise l’IA pour transformer des vidéos standard en slow motion

NVIDIA utilise l’IA pour transformer des vidéos standard en slow motion
Actu IA

NVIDIA a présenté une nouvelle démo de ses recherches en machine learning. Dans un article publié sur son site et via la vidéo ci-dessus, on peut découvrir comment l’algorithme développé transforme artificiellement des vidéos en slow motion. Une technologie très intéressante qui permettrait un réel gain de résolution et d’espace de stockage par rapport aux techniques actuelles présentes sur smartphones et caméras. Comme l’indique NVIDIA dans son article :

« Il y a beaucoup de moments mémorables dans votre vie que vous pourriez vouloir enregistrer avec une caméra au ralenti parce qu’ils sont difficiles à voir clairement avec vos yeux : la première fois qu’un bébé marche, un tour de skateboard difficile, un chien qui attrape une balle. Bien qu’il soit possible de prendre des vidéos de 240 images par seconde avec un téléphone cellulaire, il n’est pas pratique d’enregistrer tout cela à des fréquences d’images élevées, car cela nécessite de grandes quantités de mémoire et exige beaucoup d’énergie pour les appareils mobiles. »

L’algorithme sélectionne deux images et créé artificiellement une ou plusieurs images entre elles. Pour ce faire, NVIDIA s’est basé sur ses GPU Tesla V100, un framework cuDNN pour développer un algorithme deep learning et un réseau de neurones convolutifs (CNN) entraîné sur 11.000 vidéos et près de 300.000 images.

« Notre méthode peut générer de multiples images intermédiaires qui sont cohérentes dans l’espace et dans le temps. Notre approche multi-images surpasse constamment les méthodes de pointe d’images uniques. »

Comme aucun des paramètres du CNN n’est dépendant du temps, il est possible de générer autant de trames intermédiaires que nécessaire. C’est ce qui fait la différence par rapport aux autres approches.