Intelligence artificielle Avec TextStyleBrush, Facebook permet de substituer des textes en respectant leur style...

Pour approfondir le sujet

Sur le même thème :

L’apprentissage supervisé et par renforcement pour aider les robots à s’adapter à tout type d’environnement

A travers Rapid Motor Adaptation (RMA), Facebook progresse dans l'adaptation des robots à leur environnement, afin de développer leur motricité. Adapter les robots à un...

Recevez le numéro 4 d’ActuIA, le magazine de l’intelligence artificielle !

Le numéro 4 d'ActuIA, le magazine de l'intelligence artificielle, arrive en kiosques et en version numérique le 18 mai 2021 ! Recevez-le directement chez...

La Méthode scientifique invite Yann LeCun pour son émission “Y a-t-il un cerveau dans la machine ?”

"Y a-t-il un cerveau dans la machine ?" C'est la question que s'est posée La Méthode scientifique dans son émission du 30 août dernier. La...

Projet Cap’FALC : l’outil numérique au service d’une société inclusive d’Inria, Facebook Artificial Intelligence Research et l’Unapei

Face à la crise sanitaire et économique actuelle, il est important que pouvoir transmettre à tous les citoyens les informations leur permettant de comprendre...

Avec TextStyleBrush, Facebook permet de substituer des textes en respectant leur style en temps réel

Après avoir présenté une méthode de deep learning pour que les modèles d’IA puissent oublier certaines informations et ses travaux en matière de vision par ordinateur et d’apprentissage supervisé, Facebook AI a récemment dévoilé TextStyleBrush, un projet de recherche permettant de remplacer des textes par d’autres, tout en respectant le style et l’apparence de la police d’origine. Les auteurs estiment que l’outil pourrait avoir de nombreuses applications et jetterait les bases de futures innovations comme la traduction linguistique photoréaliste en réalité augmentée. 

Le défi d’un modèle d’IA auto-supervisé pour conserver le style d’écriture d’origine

Facebook IA a annoncé la conception d’un modèle d’IA auto-supervisé pouvant conserver le style d’écriture manuscrite ou typographique de son choix, à partir d’un seul mot écrit de cette manière. L’outil peut ainsi reproduire le style d’un mot d’origine et le généraliser en l’appliquant au texte souhaité.

Mais l’outil devient plus impressionnant lorsqu’il s’agit de substituer les textes selon le même procédé, en contexte :

 

Rien en soi que Photoshop ne permette déjà de faire, mais la révolution est dans l’instantanéité, qui ouvre la porte à de nouveaux usages, tels que la traduction automatique en temps réel, à l’image de ce que permet l’application smartphone Google Lens. La différence est dans le réalisme de la substitution. Les applications possibles en matière de réalité augmentée ou de personnalisation à la volée de contenus visuels sont nombreuses. Pour les équipes de Facebook, ce nouveau modèle, basé sur l’apprentissage auto-supervisé se distingue par sa flexibilité.

Les auteurs précisent la difficulté de la tâche :

“Alors que la plupart des systèmes d’IA peuvent le faire pour des tâches bien définies et spécialisées, la construction d’un système d’IA suffisamment flexible pour comprendre les nuances du texte dans les scènes du monde réel et de l’écriture manuscrite est un défi d’IA beaucoup plus difficile.”

Le modèle fonctionne à la fois avec les écritures manuscrites et typographiques, il est en mesure d’analyser les différentes subtilités de style et prend en compte les transofrmations et déformations telles que rotations et torsions. Les auteurs notent toutefois que des améliorations restent à porter, notamment dans le réalisme des substitutions sur supports metalliques et dans le traitement des reflets.

apprentissage auto-supervisée
Architecture du modèle.

L’architecture de générateur est basée sur le modèle StyleGAN2 qui présente toutefois deux notions importantes à prendre en compte :

  • StyleGAN2 est un modèle inconditionnel, ce qui signifie qu’il génère des images en échantillonnant un vecteur latent aléatoire alors que les chercheurs doivent contrôler la sortie en fonction de deux sources distinctes proposées par l’utilisateur : le contenu et le style de texte souhaités.
  • La représentation des styles de texte implique une combinaison d’informations globales, par exemple, la palette de couleurs et la transformation spatiale, avec des informations détaillées et à petite échelle, comme les variations infimes de la calligraphie individuelle.

Cet outil ouvre de nouvelles perspectives dans la création de modèles de traduction linguistique photoréaliste, pour la mise en place de publicités personnalisées mais également pour générer des fake news. Les auteurs précisent avoir conscience de ce fait et expliquent que l’un des objectifs de ces travaux est justement d’avoir une longueur d’avance sur les auteurs de fake news.

Lien vers la publication : https://ai.facebook.com/research/publications/textstylebrush-transfer-of-text-aesthetics-from-a-single-example/


1ère Marketplace de l'IA et de la transformation numérique vous recommande :
XLOPTIM® par Addinsoft

Le solveur pour microsoft excel® alliant puissance et simplicité xloptim® résout vos problèmes d'optimisation directement dans une feuille excel®, en...

 
Thomas Calvi

Partager l'article

Canada : l’Alberta teste « Heads-Up », la solution de détection de téléphone au volant d’Acusensus

L'usage du téléphone au volant, bien que réprimandé par la loi, est une des principales causes de distraction des conducteurs. Malgré toutes les campagnes...

IA et génomique : la perte de l’homéostasie neuronale joue un rôle central dans la maladie de Huntington

La maladie de Huntington est une maladie génétique et héréditaire rare qui conduit à une dégénérescence progressive des cellules nerveuses dans le cerveau, entraînant...

Les Etats membres de l’OMS/Europe adoptent le tout premier plan d’action pour la santé numérique de la Région

Du 12 au 14 septembre dernier, après deux années en ligne, les 53 Etats membres de toute l’Europe et d’Asie centrale ont été...

PyTorch renforce sa gouvernance avec la création de la PyTorch Foundation, qui sera gérée par la Linux Foundation

PyTorch est l'un des frameworks ML open source les plus utilisés, il a été développé par Meta AI. Soumith Chintala, l'un de ses créateurs,...
Recevoir une notification en cas d'actualité importante    OK Non merci