Intelligence artificielle Saint George on a Bike : Quand l'Intelligence Artificielle améliore la compréhension...

Pour approfondir le sujet

Sur le même thème :

Utilisation de l’IA dans les médias : La commission de la culture demande à la Commission européenne un cadre éthique clair

Suite à la publication de son livre blanc sur l'IA, la Commission européenne travaille sur un cadre législatif pour une IA fiable qui devrait...

Intelligence artificielle et Culture : Le CSPLA publie son rapport de mission sur ses enjeux juridiques et économiques

La semaine dernière, le Conseil Supérieur de la Propriété Littéraire et Artistique (CSPLA) a présenté son rapport de mission sur les enjeux juridiques et...

L’intelligence artificielle au secours de la faune sous-marine calédonienne

La faune sous-marine calédonienne est très variée, mais ce sont ses grands représentants qui ont retenu l'attention de Laura Manocci. Pour mieux protéger ces...

Recevez le magazine de l’intelligence artificielle ActuIA N°3

Le magazine de l'intelligence artificielle, ActuIA N°3 du 15 février 2021, paraîtra très prochainement. En ce contexte de pandémie, nous vous recommandons fortement de...

Saint George on a Bike : Quand l’Intelligence Artificielle améliore la compréhension des œuvres d’art

L’objectif du projet Saint George on a Bike (SGoaB) est d’améliorer la qualité et la quantité des métadonnées ouvertes associées aux images du patrimoine culturel européen (CH). Le Barcelona Supercomputing Center s’appuie sur le deep learning pour former des modèles de détection d’objets et de reconnaissance d’images, complétés par le traitement du langage naturel (NLP) pour produire des légendes d’images nouvelles ou enrichies des collections Europeana.

Le projet Saint George on a Bike a débuté le 1er septembre 2019 et prendra fin le 31 août prochain. Des chercheurs du Barcelona Supercomputing Center et de la Fondation Europeana collaborent pour aider les institutions du patrimoine culturel à décrire et classer automatiquement leurs œuvres d’art.

La Fondation Europeana est une organisation chargée par la Commission européenne de développer une plateforme numérique du patrimoine culturel pour l’Europe. Sur celle-ci, des millions d’éléments du patrimoine culturel d’environ 4 000 institutions à travers l’Europe sont disponibles en ligne.

Pour atteindre l’objectif du projet, les chercheurs devaient :

  • transcrire des informations sur la culture, les symboles et des siècles de traditions iconographiques en évolution dans une représentation des connaissances accessible à l’apprentissage automatique et à l’intelligence artificielle,
  • étendre les approches conventionnelles du deep learning, centrées sur la reconnaissance d’images, avec la capacité de déchiffrer le langage pictural complexe qui caractérise les symboles iconographiques et l’imagerie sacrée.

Intelligence artificielle

SGoaB s’appuie sur le deep learning pour former des modèles de détection d’objets et de reconnaissance d’images, complétés par le traitement du langage naturel (NLP) et ainsi aligner le contenu de l’image sur le texte descriptif, en s’appuyant à la fois sur la détection classique d’objets et sur l’analyse de la sémantique picturale de l’image.

Les étapes de l’approche

Détection d’objet :

Les chercheurs ont tout d’abord défini les classes d’objets pertinentes pour l’iconographie. Puis, ils ont formé des CNN (Convolutional Neural Network) en combinant la fréquence de marquage d’objets d’ensembles de données ouverts avec des bases de connaissances (DBpedia, Wikidata, Wikimedia Commons).

Puis, ils envisagent la segmentation des images grâce à des modèles Mask-RCNN (Mask-Region Convolutional Neural Network) améliorés (prise en compte du style de peinture, de l’action ou des motifs représentés).

Génération de sous-titres :

Les chercheurs génèrent les images grâce à un modèle d’extracteur d’images préformé, à un processeur de séquence complété par une couche de réseau de neurones récurrents à mémoire longue et à court terme (LSTM) complétée par un modèle de langage pour déduire les objets représentés. Pour finir, ils ont utilisé un décodeur.

Architecture HPC

Le calcul haute performance est essentiel pour des projets comme celui de SGoaB où le sous-titrage automatique des images nécessite le traitement de gros volumes de données. Augmenter le traitement de reconnaissance d’images avec de nouvelles images trouvées dans l’iconographie européenne et le traitement NLP rend la tâche encore plus complexe.

Le Barcelona Supercomputing Center a l’infrastructure HPC nécessaire à la prise en charge des services de données et de calcul intensifs, ainsi que des capacités d’accès en lecture-écriture pour les ensembles de données et les métadonnées d’image nouvellement générées.

Joindre une description de bonne qualité à chaque image numérisée devrait permettre à tous les utilisateurs, y compris les personnes malvoyantes, de mieux saisir la portée, la nature et la pertinence du contenu d’un site Web du patrimoine culturel.
Maria-Cristina Marinescu, coordinatrice du projet, déclare :

« Notre projet permettra d’accéder rapidement à une information culturelle enrichie, qui pourra servir aussi bien à des fins culturelles et sociales, d’éducation, de tourisme, et éventuellement d’historiens ou d’anthropologues. Indirectement, les citoyens peuvent bénéficier de meilleurs services publics, lorsque ceux-ci sont basés sur l’idée que les métadonnées plus riches que nous produisons offrent – telles que l’accessibilité du Web pour les malvoyants ou les récits qui peuvent exposer l’injustice sociale ou les problèmes d’intégration et de genre à travers des corpus d’héritage culturel et aider à créer une identité européenne plus tolérante. »


1ère Marketplace de l'IA et de la transformation numérique vous recommande :
 
Thierry Maubant

Partager l'article

Découvrez ActuIA n°8, le nouveau numéro du magazine de l’intelligence artificielle

L’été est bien là et c’est déjà l’heure du nouveau numéro d’ActuIA, votre magazine de l’intelligence artificielle ! Pour ce n°8 d’ActuIA, disponible dès...

Victor Schmidt, doctorant sous la direction de Yoshua Bengio, est le lauréat de la 6ème bourse Antidote en TAL

Druide informatique a annoncé fin mai la nomination du lauréat de la 6e Bourse Antidote en traitement automatique de la langue (TAL). Victor Schmidt,...

Retour sur le lauréat du Prix CNIL-INRIA pour la protection de la vie privée

Fin mai, François Pelligrini et Mathieu Cunche, co-présidents du Jury du Prix CNIL-Inria, ont remis le prix pour la protection de la vie privée...

La Lufthansa s’appuie sur le logiciel « Virtual Aviation Training » de NMY pour former ses équipes de cabine

La pandémie a fortement impacté les compagnies aériennes. Depuis la levée des restrictions sanitaires, elles doivent affronter un autre problème : malgré une forte...
Recevoir une notification en cas d'actualité importante    OK Non merci