Intelligence artificielle Des chercheurs de l'Université de Stanford et de NVIDIA publient l'étude «...

Pour approfondir le sujet

Sur le même thème :

Une équipe de chercheurs entraîne un réseau de neurones à une dégustation virtuelle

Une équipe de chercheurs du National Institute of Standards and Technology (NIST), de l'Université du Maryland ainsi que de Western Digital a développé un...

Vision par ordinateur : Reconnaître les objets plus rapidement et plus précisément grâce aux CNN

Malgré des mouvements incessants du corps, de la tête ou des yeux, la perception visuelle que nous avons des objets nous entourant reste stable...

Une étude analyse le lien entre le score esthétique attribué aux poissons coralliens et leur statut de conservation grâce aux CNN

Préserver la biodiversité est un enjeu scientifique et sociétal majeur pour répondre aux défis posés par le changement climatique et contribuer aux objectifs du...

Owkin annonce une collaboration stratégique pluri-annuelle avec Bristol Myers Squibb

Le 8 juin dernier, Owkin, start-up franco-américaine spécialisée dans l'IA et l'apprentissage fédéré appliqué à la recherche médicale, a annoncé avoir conclu une collaboration...

Des chercheurs de l’Université de Stanford et de NVIDIA publient l’étude « EG3D : GAN 3D efficaces et sensibles à la géométrie »

Transformer les images 2D en scènes 3D est le sujet de nombreuses recherches, Nvidia Research a récemment présenté Instant NeRf, un modèle d’IA capable de le faire très rapidement, différents logiciels sont proposés gratuitement dans ce but sur Internet. Des chercheurs de l’Université de Stanford et de NVIDIA ont utilisé les GAN (Generative Antagonist Networks ou Réseaux antagonistes Génératifs) pour créer des rendus 3D réalistes. Leur étude intitulée « Efficient Geometry-aware 3D Generative Adversarial Networks » a été publiée sur Arxiv et partagée sur la plateforme Github.

La génération non supervisée d’images 3D de haute qualité utilisant uniquement des collections de photographies 2D à vue unique est un défi de longue date. Les GAN 3D existants sont soit gourmands en calcul, soit font des approximations qui ne sont pas cohérentes en 3D, limitant la qualité et la résolution des images générées.

Dans cette étude, les chercheurs de Stanford et de Nvidia ont amélioré l’efficacité de calcul et la qualité d’image des GAN 3D sans trop se fier à ces approximations. La formation d’un GAN avec un rendu neuronal est coûteuse, ils ont choisi d’introduire une architecture de réseau expressive hybride explicite-implicite qui, associée à d’autres choix de conception, synthétise non seulement des images haute résolution multi-vues cohérentes en temps réel, mais produit également une géométrie 3D de haute qualité.

Cette représentation combine une colonne vertébrale explicite, qui produit des caractéristiques alignées sur trois plans orthogonaux, avec un petit décodeur implicite. Par rapport à une représentation de perceptron multicouche typique, elle est plus de sept fois plus rapide et utilise moins d’un seizième de plus de mémoire.

En découplant la génération de caractéristiques et le rendu neuronal, leur cadre peut  tirer parti des générateurs CNN 2D de pointe, tels que StyleGAN2, et hérite de leur efficacité et de leur expressivité.

Les résultats de l’étude

Bien que les formes obtenues montrent des améliorations significatives par rapport à celles générées par les précédents GAN compatibles 3D, ils peuvent encore contenir des artefacts et manquer des détails plus fins, tels que des dents et nécessitent quelques améliorations.

Toutefois, en combinant une efficace explicite-implicite représentation neuronale avec un générateur convolutif expressif sensible à la pose et un double discriminateur, cette approche pourrait permettre des avancées significatives vers la synthèse d’images photoréalistes prenant en charge la 3D et la génération de formes non supervisées de haute qualité.

Cela peut permettre le prototypage rapide de modèles 3D, une synthèse d’images plus contrôlable et de nouvelles techniques pour la reconstruction de forme à partir de données temporelles.

Sources de l’article :
Efficient Geometry-aware 3D Generative Adversarial Networks ArXiv:2112.07945v2

AUTEURS :
Eric R. Chan, Stanford University, NVIDIA,
Connor Z. Lin, Stanford University
Matthew A. Chan, Stanford University
Koki Nagano, NVIDIA
Boxiao Pan, Stanford University
Shalini De Mello, NVIDIA
Orazio Gallo, NVIDIA
Leonidas Guibas, Stanford University
Jonathan Tremblay, NVIDIA
Sameh Khamis, NVIDIA
Tero Karras, NVIDIA
Gordon Wetzstein, Stanford University


1ère Marketplace de l'IA et de la transformation numérique vous recommande :
SCOP - Plateforme d'optimisation de la supply chain par EURODECISION

La plateforme scop regroupe plusieurs modules en optimisation de la supply chain : - module de network design, pour l’optimisation de la localisation...

 
Pierre-yves Gerlat

Partager l'article

IA et Santé : levée de fonds de 27 millions d’euros pour Incepto, spécialiste de la santé digitale

Incepto, plateforme de solutions d’IA appliquées à l’imagerie médicale, a annoncé le 19 septembre dernier, avoir levé 27 Ms€ lors d’un tour de table...

Supply Chain : l’IMT Mines Albi et Scalian dressent le bilan de leurs travaux de recherche au sein de leur laboratoire commun SCAN

Le 2 septembre 2019, Scalian, groupe à dimension internationale spécialisé dans le conseil et l'ingénierie, et l'école d'ingénieurs IMT Mines Albi signaient un partenariat...

Région Occitanie : ANITI et Ekitia lancent une consultation régionale sur le rapport des citoyens à l’IA

Dans le cadre de sa stratégie de diffusion des connaissances en lien avec l’IA, l’Institut Interdisciplinaire d’Intelligence Artificielle de Toulouse (ANITI) et Ekitia (ex...

Les Galeries Lafayette lancent « Tailored Insights », une plateforme de retail media

Pour les entreprises, la compréhension et l’amélioration continue de l’expérience client sont devenues aussi importantes que le développement de produits, l’innovation ou le marketing....
Recevoir une notification en cas d'actualité importante    OK Non merci