L’équipe de recherche fondamentale sur l’IA (FAIR) de Meta AI a lancé Animated Drawings, un projet open source visant à aider les créateurs et les développeurs à créer facilement leurs propres expériences ou produits de dessin à animation. Elle a publié le code d’animation ainsi qu’un nouvel ensemble de données de près de 180 000 dessins amateurs annotés pour aider d’autres chercheurs et créateurs d’IA à innover davantage. Une page de démonstration web gratuite est disponible.
En décembre 2021, les chercheurs de FAIR publiaient, dans le cadre de leurs travaux sur la vision par ordinateur leur recherche Using AI to bring children’s drawings to life. Ils ont utilisé des modèles de détection d’objets, des modèles d’estimation de pose et des méthodes de segmentation basées sur le traitement d’images pour créer rapidement une version numérique du dessin, déformée et animée à l’aide de techniques traditionnelles d’infographie.
Pour former leur modèle de vision par ordinateur, les chercheurs ont créé une démo de dessins animés, un outil Web accessible au public où les créateurs pouvaient télécharger leurs dessins, visualiser, corriger quelques prédictions de modèles et recevoir une animation mettant en vedette un personnage dans les dessins – le tout en moins d’une minute.
Les parents pouvaient choisir de permettre à Meta de conserver l’image et les annotations à des fins de recherche futures. Les chercheurs, qui espéraient collecter une dizaine de milliers de dessins pour améliorer les performances de leur modèle ont reçu leur consentement pour utiliser plus de 1,6 million d’images.
Alors que la démo spécifiait la nécessité de figures humaines dans les instructions, de nombreuses images téléchargées n’étaient pas des dessins amateurs, mais des images de logos d’entreprise, d’animaux en peluche ou domestiques, de figurines…
Les utilisateurs voulaient un outil plus complet : des arrière-plans transparents, la prise en charge de différents types de squelettes, plusieurs personnages en interaction, des effets sonores, des décors d’arrière-plan et des superpositions de texte.
Plutôt que d’étendre la démo pour prendre en charge toutes les nouvelles demandes de fonctionnalités, les chercheurs ont décidé de publier une version open source des modèles et du code utilisés par la démo de dessins animés.
Comment tester Animated Drawings ?
Il suffit de prendre une photo du dessin d’un seul personnage (où les bras et les jambes ne chevauchent pas le corps) réalisé sur une feuille blanche sans ligne. Il est demandé de ne pas inclure d’informations identifiables, de contenu offensant ou de dessins qui enfreignent les droits d’auteur d’autrui.
Ensuite, il faut télécharger la photo sur la page de démonstration et paramétrer les emplacements des yeux et des articulations du personnage dessiné.
Une fois l’animation obtenue, on peut l’enregistrer ou la partager.
Références : blog Meta AI
L’équipe de FAIR a publié la nouvelle recherche “A Method for Animating Children’s Drawings of the Human Figure” sur arXiv , le 4 avril dernier.
Code : https://github.com/facebookresearch/AnimatedDraings
Pour tester Animated Drawings : page de démonstration
