Retrouvez le magazine de l'intelligence artificielle
Actualité LinkedIn rend TonY open source pour exécuter des jobs TensorFlow

Pour approfondir le sujet

IA et Europe : Retour sur la création du Comité ad hoc sur l’intelligence artificielle (CAHAI)

Lors de sa 1353e réunion, le 11 septembre 2019, le Comité des Ministres du Conseil de l'Europe a créé un Comité Ad Hoc sur...

Google lance l’outil “What-If” pour TensorBoard

James Wexler, Ingénieur logiciel chez Google AI, a annoncé le lancement d'un nouvel outil pour TensorBoard : What-If. Comme son nom l'indique, l'outil encourage...

Europe : Quelle régulation pour l’intelligence artificielle ? avec Yannick Meneceur et Clementina Barbaro

Le 4 juin dernier, la Librarie Kléber à Strasbourg accueillait un échange sur la thématique "Quelle régulation pour l'intelligence artificielle ?" Animé par Franck...

Décoder l’intelligence artificielle : 10 mesures pour protéger les droits de l’homme

La Commissaire aux droits de l’homme du Conseil de l’Europe a publié il y a quelques mois un document très intéressant intitulé Décoder l'intelligence...

LinkedIn rend TonY open source pour exécuter des jobs TensorFlow

LinkedIn a annoncé récemment avoir rendu open source TonY, son projet permettant aux chercheurs et développeurs d’exécuter facilement des jobs TensorFlow sur Hadoop, Map/Reduce et Spark. 

LinkedIn propose désormais en open source TonY. Ce projet permet d’aider à ses utilisateurs de jouer des scénarios TensorFlow sur les environnements Hadoop, nativement, mais également sur Spark et Map/Reduce. Jonathan Hung, senior software engineer dans l’équipe de développement Hadoop chez LinkedIn, a expliqué dans un post de blog :

“Nous voulions un moyen flexible et durable de combler le fossé entre la puissance analytique distribuée de TensorFlow et la puissance de gradualité (scaling) de Hadoop. […]

tony2.jpg

De façon similaire à la manière dont MapReduce fournit le moteur d’exécution des scripts Pig / Hive sur Hadoop, et que Spark fournit le moteur d’exécution du code Scala utilisant les API Spark, TonY vise à fournir le même support de première classe pour l’exécution des tâches TensorFlow, en gérant des tâches comme la négociation de ressource et la configuration d’environnement de containers.”

“Il existe trois composants principaux pour TonY: Client, ApplicationMaster et TaskExecutor. C’est le processus complet pour exécuter un travail TonY:

  1. L’utilisateur soumet le code de formation du modèle TensorFlow, les arguments de soumission et leur environnement virtuel Python (contenant la dépendance TensorFlow) au Client.
  2. Le Client configure l’ApplicationMaster (AM) et le soumet au cluster YARN.
  3. AM négocie les ressources avec le gestionnaire de ressources de YARN en fonction des besoins en ressources de l’utilisateur (nombre de serveurs de paramètres et de travailleurs, mémoire et GPU).
  4. Une fois que AM reçoit des allocations, il génère des TaskExecutors sur les nœuds alloués.
  5. TaskExecutors lance le code de formation de l’utilisateur et attend son achèvement.
  6. Le code de formation de l’utilisateur démarre et TonY effectue périodiquement des pulsations entre TaskExecutors et AM pour vérifier la qualité de vie.”

Les chercheurs et développeurs pourront donc désormais conjuguer ces différents environnements et en tirer parti. À noter que TonY inclut également le support des environnements graphiques, la visualisation par TensorBoard, une modularité des ressources pour les requêtes et la tolérance à la panne.

Johanna Diaz

Partager l'article

Gestion de la relation client : C3.ai, Microsoft et Adobe lancent C3 AI CRM, alimentée par Microsoft Dynamics 365

C3.ai, Microsoft et Adobe ont annoncé ce 27 octobre le lancement de C3 AI CRM, alimentée par Microsoft Dynamics 365. Il s'agit de leur...

L’ANR dévoile les 9 projets sélectionnés dans le cadre de l’appel franco-germano-japonais

La France, l'Allemagne et le Japon ont lancé en 2019 l'appel à projets IA ANR-DFG-JST visant à renforcer leurs collaborations de recherche dans le domaine...

L’Appel à projets bilatéral franco-allemand en intelligence artificielle est ouvert jusqu’au 21 décembre 2020

L'appel à projets bilatéral franco-allemand en intelligence artificielle a été ouvert le 22 octobre dernier et sera clôt le 21 décembre 2020. Deux instruments...

Le Parlement européen ouvre la voie à une première série de règles sur l’intelligence artificielle

Le Parlement européenne a adopté une première série de propositions visant à l'établissement d'une réglementation sur l'intelligence artificielle (IA) dans l'Union européenne (UE). Les objectifs...