« Nos chercheurs passent beaucoup de temps à réfléchir à comment entraîner au mieux ces réseaux de neurones », a indiqué Yu-hsin Chen, ingénieure au sein Alphabet.La technique PBT, actuellement en test chez Waymo, permet aux équipes d'entraîner plus vite leur réseaux de neurones en réduisant par deux la puissance de calcul nécessaire à cet entrainement. DeepMind avait auparavant utilisé cette même technique, inspirée de la biologie et de la théorie de l'évolution de Darwin, dans l'entraînement par reinforcement learning (ou apprentissage par renforcement) de son algorithme capable de jouer à StarCraft II. Plus concrètement, PBT permet de supprimer les mauvaises expériences de façon automatique et d'optimiser le choix des hyperparamètres. Ce faisant, elle mêle la recherche aléatoire et le réglage manuel pour bénéficier des méthodes plus performantes pour l’exécution d’une tâche précise. Lors de l'entraînement de l'algorithme, les réseaux de neurones vont donc pouvoir procéder à plusieurs essais qui seront ensuite analysés par rapport au standard défini pour voir s'ils sont semblables ou non au résultat souhaité au départ.
Légende de l'illustration : L’entraînement PBT des réseaux de neurones commence comme une recherche aléatoire automatisée, mais permet aux chercheurs d'exploiter les résultats partiels d'autres chercheurs (réalisés par réglage manuel) et d'explorer de nouveaux hyperparamètres à mesure que l‘entraînement progresse. © DeepMind
Nos articles remonteront en priorité dans « À la une » de Google.