Plus de 40% des 7 000 langues vivantes dans le monde se transmettent oralement de génération en génération et n’ont pas de système d’écriture formel. Meta, qui vise à développer un traducteur universel de la parole, présente un nouveau système de traduction speech-to-speech basé sur l’IA dédié au Hokkien, une langue principalement orale largement parlée au sein de la diaspora chinoise. Il permet de traduire en temps réel une phrase en Hokkien en Anglais et inversement.
L’IA pour éliminer les barrières du langage
Les systèmes IA de traduction automatique ne concernent pas des milliers de langues, ainsi plus de 20% de la population mondiale ne peut y recourir à partir de sa langue natale. La rareté des données pour ces langues est un obstacle, car l’apprentissage se fait généralement à partir de millions de phrases. Quant à la traduction directe orale, le défi est encore plus ardu.
Meta s’attèle à ces défis avec notamment le projet « Universal Speech Translator », annoncé en février dernier lors de l‘événement virtuel Meta AI « Inside the Lab » visant à construire des systèmes qui traduisent directement la parole en temps réel d’une langue à une autre sans avoir besoin d’un système d’écriture standard.
Mark Zuckerberg, fondateur et PDG de Meta, avait alors déclaré :
« La capacité de communiquer avec n’importe qui dans n’importe quelle langue – c’est une superpuissance dont les gens rêvent depuis toujours, et l’IA va fournir cela de notre vivant ».
Surmonter le problème de manque de données
Les chercheurs de Meta Ai se sont confrontés à deux problèmes : il n’existe pas de système d’écriture standard largement connu pour le hokkien et, de leur côté, les données vocales appariées disponibles sont très peu nombreuses par rapport à des langues universelles comme l’espagnol ou l’anglais. De plus, les traducteurs de l’anglais vers le hokkien sont relativement rares, ce qui complique la collecte et l’annotation de données pour l’entraînement du modèle.
Pour surmonter ces problèmes, les chercheurs ont utilisé du texte écrit en mandarin, une langue qui offre de nombreuses similarités avec le hokkien et disposant de ressources en grande quantité. Ils ont travaillé en étroite collaboration avec les locuteurs de hokkien pour s’assurer que les traductions étaient correctes.
Juan Pito, chercheur chez Meta, déclare :
« Notre équipe a d’abord traduit l’anglais ou le discours hokkien en texte mandarin, puis l’a traduit en hokkien ou en anglais – à la fois avec des annotateurs humains et automatiquement. Ils ont ensuite ajouté les phrases appariées aux données utilisées pour former le modèle d’IA. »
Un système de traduction parole à parole
Dans une récente étude, une équipe de Meta avait appliqué un encodeur de parole discret auto-supervisé sur une parole cible et formé un modèle de traduction séquence-à-séquence parole-unité (S2UT) pour prédire les représentations discrètes de la parole cible.
Les chercheurs ont utilisé cette méthode de traduction parole-unité S2UT pour convertir directement les entrées de parole en une séquence d’unités acoustiques. Ils ont ensuite généré des ondes à partir des unités. UnitY a été utilisé comme système de décodage en deux étapes : le premier décodeur génère du texte en mandarin, le deuxième crée des unités.
Dans sa phase actuelle, cette approche permet aux personnes parlant le hokkien de converser avec des anglophones. Meta déclare que ce modèle est toujours en cours d’amélioration et bien qu’il ne permette de traduire qu’une seule phrase à la fois, « c’est une étape qui nous rapproche d’un futur où la traduction simultanée entre les langues sera possible. »
Les chercheurs mettront d’ailleurs gratuitement à disposition leurs données de modèle, de code et de référence pour permettre à d’autres de s’appuyer sur leurs travaux.
