Intelligence artificielle LinkedIn rend TonY open source pour exécuter des jobs TensorFlow

Pour approfondir le sujet

Sur le même thème :

Google dévoile une pré-version de TensorFlow Lite

L'annonce en mai dernier par Google, lors du Google I/0 d'une nouvelle version de TensorFlow pour une utilisation mobile avait fait grand bruit. L'éditeur...

Google publie en open source une nouvelle API de détection d’objets TensorFlow

Google a annoncé la publication en open source de l'API TensorFlow Object Detection. Ce framework, intégré à TensorFlow, permet de faciliter l'identification des objets...

“Push du Machine Learning dans ton app – When TensorFlow and MLKit rule the world” par Sandra Dupré d’Octo Technology au DevFest Nantes 2018

À l'occasion de la première journée du DevFest Nantes 2018, Sandra Dupré Développeuse Android chez Octo Technology est intervenue sur la thématique"Push du Machine...

MoveNet pour TensorFlow.js : un modèle de deep learning analysant la posture du corps humain depuis le navigateur

Ronny Votel et Na Li de Google Research ont annoncé sur le blog Tensorflow la publication d'un nouveau modèle de détection de postures intitulé...

LinkedIn rend TonY open source pour exécuter des jobs TensorFlow

LinkedIn a annoncé récemment avoir rendu open source TonY, son projet permettant aux chercheurs et développeurs d’exécuter facilement des jobs TensorFlow sur Hadoop, Map/Reduce et Spark. 

LinkedIn propose désormais en open source TonY. Ce projet permet d’aider à ses utilisateurs de jouer des scénarios TensorFlow sur les environnements Hadoop, nativement, mais également sur Spark et Map/Reduce. Jonathan Hung, senior software engineer dans l’équipe de développement Hadoop chez LinkedIn, a expliqué dans un post de blog :

“Nous voulions un moyen flexible et durable de combler le fossé entre la puissance analytique distribuée de TensorFlow et la puissance de gradualité (scaling) de Hadoop. […]

tony2.jpg

De façon similaire à la manière dont MapReduce fournit le moteur d’exécution des scripts Pig / Hive sur Hadoop, et que Spark fournit le moteur d’exécution du code Scala utilisant les API Spark, TonY vise à fournir le même support de première classe pour l’exécution des tâches TensorFlow, en gérant des tâches comme la négociation de ressource et la configuration d’environnement de containers.”

“Il existe trois composants principaux pour TonY: Client, ApplicationMaster et TaskExecutor. C’est le processus complet pour exécuter un travail TonY:

  1. L’utilisateur soumet le code de formation du modèle TensorFlow, les arguments de soumission et leur environnement virtuel Python (contenant la dépendance TensorFlow) au Client.
  2. Le Client configure l’ApplicationMaster (AM) et le soumet au cluster YARN.
  3. AM négocie les ressources avec le gestionnaire de ressources de YARN en fonction des besoins en ressources de l’utilisateur (nombre de serveurs de paramètres et de travailleurs, mémoire et GPU).
  4. Une fois que AM reçoit des allocations, il génère des TaskExecutors sur les nœuds alloués.
  5. TaskExecutors lance le code de formation de l’utilisateur et attend son achèvement.
  6. Le code de formation de l’utilisateur démarre et TonY effectue périodiquement des pulsations entre TaskExecutors et AM pour vérifier la qualité de vie.”

Les chercheurs et développeurs pourront donc désormais conjuguer ces différents environnements et en tirer parti. À noter que TonY inclut également le support des environnements graphiques, la visualisation par TensorBoard, une modularité des ressources pour les requêtes et la tolérance à la panne.


1ère Marketplace de l'IA et de la transformation numérique vous recommande :
 
Johanna Diaz

Partager l'article

Qualcomm a dévoilé la plateforme Qualcomm Robotics RB6 et la conception de référence Qualcomm RB5 AMR lors du « 5G Summit » 2022

C'est lors de son évènement annuel « 5G Summit » qui s'est déroulé à San Diego, en Californie, que Qualcomm a dévoilé une feuille...

Des chercheurs prédisent le comportement des usagers de la route grâce à l’intelligence artificielle

Pour qu'une voiture autonome circule en toute sécurité, pouvoir prédire le comportement des autres usagers de la route est essentiel. Une équipe de recherche...

Le Département américain de l’Energie rejoint le programme Frontier Development Lab

Le 18 mai dernier, l'Institut SETI a annoncé que le Département américain de l’énergie (DOE) rejoignait le programme Frontier Development Lab (FDL), un partenariat...

Focus sur la Charte de Pôle Emploi pour une utilisation éthique de l’intelligence artificielle

Pôle emploi a été l'un des lauréats du programme « Action Publique 2022 » pour son projet « installer l’intelligence artificielle au sein de...
Recevoir une notification en cas d'actualité importante    OK Non merci