Deux anciens chercheurs de Google, David Ha et Llion Jones, ont annoncé début août avoir créé Sakana.ai, une start-up axée sur la R&D, basée à Tokyo, au Japon. Ils ont l’intention de créer un nouveau type de modèle de fondation basé sur l’intelligence inspirée par la nature.
Llion Jones est notamment connu comme l’un des auteurs de l’article de recherche intitulé “Attention is All You Need” par Vaswani et al., publié en 2017, qui a introduit l’architecture “Transformer”, un type fondamental de réseau de neurones artificiels utilisé principalement pour le traitement du langage naturel (NLP) et d’autres tâches liées au traitement séquentiel, tels que la traduction automatique, la génération de texte et la compréhension du langage. Elle a rapidement révolutionné le domaine du NLP et ouvert la voie à l’IA générative.
Il a récemment quitté Google Brain, où il a travaillé plus de huit ans, pour créer ce laboratoire d’IA avec David Ha, anciennement directeur de la division de recherche sur l’IA de Google au Japon avant d’être responsable de la stratégie chez Stability AI, la start-up qui se consacre au développement de modèles text-to-image.
Il déclarait sur son compte twitter (aujourd’hui X) en juin dernier :
“Je crois que le domaine de l’IA est soit trop occidentalo-centré, soit trop centré sur la Chine, selon l’endroit où vous vivez. Je pense qu’il est temps pour le Japon de briller dans l’espace de l’IA. Mon avenir idéal est celui où la technologie ne sera PAS dictée par la région de la baie de San Francisco ou par Pékin. Je ferai en sorte que cela se produise”.
Sakana AI
Pour David Ha et Llion Jones, les limites des modèles d’IA actuels viennent du fait qu’ils soient conçus comme des structures fixes, à l’image de ponts ou de bâtiments. Par contre, les systèmes naturels, où l’intelligence collective joue un rôle, s’adaptent et font partie de leur environnement.
Sakana signifie poisson en japonais. David Ha explique :
“Notre logo est destiné à évoquer l’idée d’un banc de poissons (en forme de porte logique) se réunissant et formant une entité cohérente à partir de règles simples, car nous voulons utiliser des idées de la nature telles que l’évolution et l’intelligence collective dans nos recherches. Le poisson rouge « rebelle » qui nage au loin représente notre désir de ne pas faire ce que tout le monde fait et de vraiment travailler sur ce qui va suivre !”.
