Actualité LinkedIn rend TonY open source pour exécuter des jobs TensorFlow

Pour approfondir le sujet

Google dévoile une pré-version de TensorFlow Lite

L'annonce en mai dernier par Google, lors du Google I/0 d'une nouvelle version de TensorFlow pour une utilisation mobile avait fait grand bruit. L'éditeur...

Expérience IA : Volume reconstruit en 3D des images et vidéos 2D

Or Fleisher et Dror Ayalon, deux développeurs spécialisés en intelligence artificielle, ont lancé une expérience interactive IA sur leur site internet Volume.gl. Les internautes...

TensorFlow 1.4 vient de sortir

La version 1.4 de TensorFlow vient de sortir. Cette nouvelle version officielle, dont la version Release Candidate est sorte il y a un peu...

Sortie de la version release candidate de TensorFlow 1.3

La version Tensorflow 1.3 RC vient d'être diffusée. Voici un petit récapitulatif des différents changements apportés par cette nouvelle version de la librairie de...

LinkedIn rend TonY open source pour exécuter des jobs TensorFlow

LinkedIn a annoncé récemment avoir rendu open source TonY, son projet permettant aux chercheurs et développeurs d’exécuter facilement des jobs TensorFlow sur Hadoop, Map/Reduce et Spark. 

LinkedIn propose désormais en open source TonY. Ce projet permet d’aider à ses utilisateurs de jouer des scénarios TensorFlow sur les environnements Hadoop, nativement, mais également sur Spark et Map/Reduce. Jonathan Hung, senior software engineer dans l’équipe de développement Hadoop chez LinkedIn, a expliqué dans un post de blog :

“Nous voulions un moyen flexible et durable de combler le fossé entre la puissance analytique distribuée de TensorFlow et la puissance de gradualité (scaling) de Hadoop. […]

tony2.jpg

De façon similaire à la manière dont MapReduce fournit le moteur d’exécution des scripts Pig / Hive sur Hadoop, et que Spark fournit le moteur d’exécution du code Scala utilisant les API Spark, TonY vise à fournir le même support de première classe pour l’exécution des tâches TensorFlow, en gérant des tâches comme la négociation de ressource et la configuration d’environnement de containers.”

“Il existe trois composants principaux pour TonY: Client, ApplicationMaster et TaskExecutor. C’est le processus complet pour exécuter un travail TonY:

  1. L’utilisateur soumet le code de formation du modèle TensorFlow, les arguments de soumission et leur environnement virtuel Python (contenant la dépendance TensorFlow) au Client.
  2. Le Client configure l’ApplicationMaster (AM) et le soumet au cluster YARN.
  3. AM négocie les ressources avec le gestionnaire de ressources de YARN en fonction des besoins en ressources de l’utilisateur (nombre de serveurs de paramètres et de travailleurs, mémoire et GPU).
  4. Une fois que AM reçoit des allocations, il génère des TaskExecutors sur les nœuds alloués.
  5. TaskExecutors lance le code de formation de l’utilisateur et attend son achèvement.
  6. Le code de formation de l’utilisateur démarre et TonY effectue périodiquement des pulsations entre TaskExecutors et AM pour vérifier la qualité de vie.”

Les chercheurs et développeurs pourront donc désormais conjuguer ces différents environnements et en tirer parti. À noter que TonY inclut également le support des environnements graphiques, la visualisation par TensorBoard, une modularité des ressources pour les requêtes et la tolérance à la panne.

Johanna Diaz

Partager l'article

Focus pays : Webinaire « L’intelligence artificielle, instrument de relance économique en Tunisie ? »

Le 29 juillet dernier, le ministère de l'industrie et des PME, en collaboration avec le projet Innov’i – EU4Innovation, a organisé un webinaire réunissant...

Le corpus d’articles arXiv est désormais disponible sur Kaggle

Le corpus d'articles arXiv permet depuis plus de 30 ans à la communauté de chercheurs et au public d'avoir accès aux articles scientifiques dans...

Scikit-learn, SOFA, Coq, Pharo : Inria lance son Academy de formation continue dédiée aux logiciels libres

Inria a présenté fin juillet son nouveau dispositif de formation continue. Centré sur les logiciels libres cette structure permettra l’accès aux grands noms des...

Partenariat Life & Soft et CEA en bio-informatique, génomique, intelligence artificielle et technologies d’imagerie de pointe

Ce 4 août, Life & Soft et le CEA ont présenté officiellement leur accord de collaboration. Signé en avril 2020 pour une durée de...