Yann LeCun, Prix Turing 2018, Chief Scientist de FAIR (Facebook Artificial Intelligence Research), Professeur à NYU, nous a accordé un entretien dans le cadre du premier numéro du magazine de l’intelligence Artificielle, ActuIA. Nous vous proposons ici un extrait de cette interview de l’un des pères du Deep Learning.
Qu’est-ce qui vous a poussé à vous lancer et persévérer dans le domaine de l’intelligence artificielle à une époque où le domaine n’était pas aussi populaire qu’aujourd’hui ?
Yann LeCun: Au départ, la motivation était plutôt d’essayer de comprendre l’intelligence humaine. Ayant la fibre de l’ingénieur, j’ai toujours pensé que pour comprendre comment fonctionne un système il faut le construire soi-même. C’est un peu la raison de tout ça. Ça conduit un peu aussi à cette idée de s’inspirer du fonctionnement du cerveau pour construire des machines intelligentes. C’est une idée qui me fascinait depuis assez longtemps. J’ai découvert, quand j’étais encore étudiant, qu’il y avait eu des travaux sur la question dans les années 50, qui avaient un petit peu disparu dans les années 60 et je me demandais pourquoi. Quand j’ai commencé à m’intéresser à ça, il n’y avait plus personne qui s’y intéressait, que ce soit en France aux États-Unis, ou dans le reste du monde, à part quelques chercheurs isolés, principalement japonais, qui travaillaient sur la question des réseaux de neurones.
J’ai toujours pensé que l’intelligence était inséparable de l’apprentissage. Ce qui me choquait un petit peu dans les approches de l’intelligence artificielle de l’époque, c’est que l’on parlait très peu d’apprentissage, voir pas du tout, et puis les approches d’apprentissage à l’époque étaient très différentes de ce que l’on pouvait observer dans la biologie, dans l’humain, donc il me semblait qu’il pouvait y avoir une inspiration à trouver de ce côté-là.
Depuis, du chemin a été parcouru, l’importance de vos travaux est mondialement reconnue. Vous avez notamment reçu le prix Turing. Quelle a été jusqu’à présent la plus grande satisfaction de votre carrière ?
Yann LeCun: Il y a plusieurs types de satisfaction. La plus grande, pour un chercheur, c’est quand on a une idée, qu’on tente de la faire marcher et qu’on se rend compte qu’elle marche. On s’aperçoit que l’idée que l’on avait en tête a au minimum un peu de valeur. C’est la plus grande satisfaction du chercheur, indépendamment du fait que le reste du monde comprenne ou non et soit saisi du même enthousiasme.
Pour moi ça s’est produit plusieurs fois. Au départ, quand j’ai commencé à travailler sur les réseaux de neurones, un petit peu avant de commencer mon doctorat, j’ai imaginé des méthodes d’apprentissage pour les réseaux multicouches et j’ai eu une idée qui s’est avérée similaire à ce qu’on appelle maintenant la rétropropagation de gradient, qui est la méthode standard pour entraîner des systèmes de réseaux de neurones et de Deep Learning; et qui a été un petit peu une sorte de précurseur. Ça m’a beaucoup motivé à continuer.
À cette époque, j’étais très isolé, jusqu’à ce que je rencontre des gens comme Geoffrey Hinton et autres, qui eux, travaillaient aussi sur ces questions-là, mais qui étaient également isolés. Et puis, par la suite, quand j’ai commencé à travailler sur ce qu’on appelle maintenant des réseaux convolutifs, ces architectures de réseaux de neurones un petit peu inspirées de l’architecture du cortex visuel, qui permettent de reconnaître des images, et pas seulement des images : on les utilise maintenant pour la reconnaissance de la parole, pour les systèmes de vision de véhicules autonomes, des systèmes d’imagerie médicale. Il y a énormément d’applications, ce qui est très satisfaisant pour moi bien sûr, mais la première fois que ces méthodes ont marché, entre les derniers mois où j’étais postdoc à l’université de Toronto et la première fois où je les ai appliqués à de vrais problèmes de reconnaissance de caractères manuscrits, à Bell Labs en fin 88, et où il était clair que ça marchait mieux que ce que les gens avaient fait auparavant, ça a montré un nouveau concept de comment faire la reconnaissance de forme, comment faire l’apprentissage. Ça a probablement été ma plus grande satisfaction.
Il y en a bien sûr eu d’autres par la suite, des idées qui ont eu moins d’impact, mais qui sont aussi grandes. L’autre satisfaction est d’aider à créer des institutions qui permettent à d’autres chercheurs de prospérer et s’épanouir. La création du Center For Datascience à NYU, qui a été un des pionniers dans cette idée qu’on peut utiliser une combinaison de l’informatique, des mathématiques et des statistiques pour extraire de la connaissance à partir de données. C’est un centre qui propose un programme de Master, Phd. Et puis Facebook AI Research, que j’ai créé de zéro et qui est maintenant à 300 chercheurs et ingénieurs et probablement l’un des meilleurs centres de recherche en IA au monde.
Qu’est-ce qui a motivé vos travaux sur les réseaux convolutifs, était-ce de la pure recherche fondamentale ou aviez-vous alors en tête une application précise?
Yann LeCun: Ce n’était pas motivé par une application, mais par la grande question de comment faire pour qu’une machine puisse percevoir, et attaché à ça, quels sont les mécanismes de perception du cortex visuel chez les humains et animaux. Les réseaux convolutifs sont inspirés de l’architecture du cortex visuel au même titre que les neurones et leurs interconnexions sont inspirés, mais pas copiés, de ce que l’on peut observer dans le cerveau des mammifères. Cela s’appuie sur les travaux de Hubel et Wiesel. L’idée de reproduire ça par des modèles informatiques date des années 1970-80.
À l’époque, il n’y avait pas vraiment les algorithmes d’apprentissage pour les faire fonctionner. Donc ma contribution a été d’utiliser l’apprentissage par rétropropagation du gradient, appliqué à ces architectures, pour essayer de faire un système de perception artificielle et expliquer comment cela fonctionne chez les animaux. Il s’est avéré qu’il y avait des applications à court terme : la reconnaissance de caractères, la détection de visages qui est arrivée 5-6 ans plus tard, et d’autres applications de reconnaissance d’objets simples, puisqu’à l’époque les ordinateurs n’étaient pas extrêmement puissants. Il a ensuite fallu attendre le début des années 2000 pour pouvoir appliquer ces méthodes à la reconnaissance d’objet de façon plus large.
Le problème est qu’à l’époque les bases de données pour entraîner ces systèmes étaient très petites. Ça a changé au début des années 2010, avec le jeu de données ImageNet notamment. C’est l’une des limitations de ces méthodes : elles ont besoin d’énormément de données, ça nécessite pas mal d’investissement pour collecter et étiqueter ces données.
Vous estimez que l’apprentissage par renforcement, qui permet justement de s’affranchir de la nécessité d’un grand jeu de données étiquetées, n’est pas une voie applicable à l’entraînement à grande échelle d’IA ayant à interagir avec le monde physique, en prenant l’exemple d’une voiture qui devrait avoir des milliers d’accidents avant de conduire correctement. Ne peut-on pas envisager de réaliser la majeure partie de l’apprentissage en simulation virtuelle et seulement dans un deuxième temps finaliser celui-ci dans le monde réel?
Yann LeCun: Absolument, cette procédure a même un nom, ça s’appelle Sim2Real. Ca consiste à entraîner une machine en simulation en faisant en sorte que l’apprentissage en simulation se transfère au monde réel. Mais il y a quand même un problème essentiel, c’est : qu’est-ce qui fait qu’une personne est capable d’apprendre à conduire une voiture en une vingtaine ou une trentaine d’heures d’entraînement, essentiellement sans causer d’accident, alors que si on utilisait même des méthodes par simulation avec apprentissage par renforcement, ça prendrait des millions d’heures, je pense, d’entraînement, pour qu’une voiture conduise correctement.
Pour donner un exemple, les méthodes actuelles d’apprentissage par renforcement (qui font des progrès rapides, donc il faudra peut-être que je change d’idée d’ici quelques années), prennent environ 80 heures d’équivalent temps réel pour apprendre à jouer à un jeu Atari. Évidemment, on peut faire tourner le jeu en parallèle à vitesse accélérée pour gagner du temps. Le système AlphaStar s’entraîne sur l’équivalent de 200 ans. Le système ELF OpenGo produit par Facebook prend environ 2 semaines sur 2000 GPU pour s’entraîner, il doit jouer 4 millions de parties pour arriver à s’entraîner par renforcement. Ce n’est donc pas efficace. Les humains apprennent beaucoup plus vite que ça, en nécessitant beaucoup moins d’interactions. Les jeunes enfants apprennent à manipuler le langage avec très peu d’interactions en comparaison avec les systèmes qu’on utilise pour la traduction.
Qu’est-ce qui fait que l’apprentissage humain et l’apprentissage animal sont beaucoup plus efficaces en termes de nombre d’exemples, d’interactions, etc. que l’apprentissage machine? C’est la grande question que je me pose au niveau de la recherche. Quelle forme, quel paradigme d’apprentissage utilisent les humains et animaux, que ne reproduisent pas encore les machines? C’est la grande question à mon avis, et quand on trouvera la réponse à cette question, ça permettra aux machines de comprendre comment fonctionne le monde par observation. Il faudrait que les machines parviennent à construire des modèles prédictifs du monde, de la même façon que les humains et animaux. C’est le défi des prochaines années ou décennies.
…portion de l’interview non disponible en ligne…
retrouvez le magazine en kiosque ou en version numérique
Quel est votre point de vue sur l’écosystème de l’intelligence artificielle français?
Yann LeCun: En France, il y a l’essentiel du terreau pour un bon écosystème de l’intelligence artificielle : on forme de bons ingénieurs, de bons scientifiques. Il y a des lourdeurs institutionnelles. On ne paie pas suffisamment les chercheurs dans le public. Ça rend la profession moins attractive pour les jeunes les plus talentueux. La solution du gouvernement Macron a été de permettre aux chercheurs du public de passer jusqu’à la moitié de leur temps dans le privé, où les salaires sont plus à la mesure de leur formation. Je trouve que c’est une bonne chose.
Je vois beaucoup d’excitation, d’engouement de la part des jeunes en France. On voit ça de par le monde, en Europe, aux États-Unis, en Chine, mais ça se ressent beaucoup en France. L’écosystème de l’IA à Paris est particulièrement fort. C’est clairement le premier en Europe continentale. Il y a un petit peu plus de difficultés à accéder aux investissements en France qu’aux États-Unis, ce qui est historique, mais je suis assez optimiste.
Par contre, il y a un petit problème en Europe, qui est que certains réseaux de chercheurs essaient de se positionner au niveau politique au niveau européen pour avoir des financements pour la recherche. On retourne aux vieilles approches de l’IA qui végètent depuis 20 ans et qui malheureusement semblent plus attirer l’attention des politiques que de nouvelles approches telles que le Deep Learning.
Ce qui fait qu’on parle d’IA actuellement, c’est le Deep Learning. Il y a un réseau de chercheurs qui s’appelle ELLIS au niveau européen et qui sont les ténors en matière de Machine Learning en Europe. PRAIRIE, notamment, en fait partie. Si je devais parier sur un groupement, ce serait celui-là.
Il y en a un autre qui s’appelle CLAIRE, qui est plus diffus, moins bien défini, plus gros et probablement plus politiquement connecté, et qui je pense, malheureusement, récupère plus de visibilité au niveau politique, c’est une grosse erreur. On va arriver encore à des investissements dans des projets de recherche qui vont ne mener à rien, ce qui arrive assez souvent en Europe.
Retrouvez l’intégralité de notre entretien avec Yann LeCun dans le 1er numéro du magazine ActuIA : nous y abordons notamment l’apprentissage auto-supervisé, l’avenir de l’intelligence artificielle, le ressenti pour un scientifique quant aux applications reposant sur ses travaux de recherche fondamentale, des conseils à destination des étudiants en IA.
Vous pouvez vous procurer le 1er numéro du magazine En kiosque ou en version numérique
