Facebook AI vient de rendre open source PyTorch-BigGraph, un système distribué pour l'embedding ("plongement") sur des graphs de très grande dimension.
PyTorch-BigGraph est destiné au travail sur des graphs d'interactions constitués de plusieurs milliards d'entités, trop imposants pour être stockés en mémoire. Il permet d'attribuer un score de proximité qualifiant les relations entre les différentes entités, en prenant en charge différents types de relations, chacun pouvant avoir un mode de calcul de proximité différent.
[caption id="attachment_13364" align="alignnone" width="720"]
Illustration d'un embedding réalisé sur Freebase par l'équipe Facebook AI.[/caption]
Afin de permettre la gestion de graphs de très grande dimensions, PyTorch-BigGraph prend en charge le partitionnement de graphs et réduit ainsi la quantité de mémoire nécessaire au traitement et stockage des paramètres. Il supporte également le calcul distribué sur plusieurs machines.
Il nécessite Python3.6 et PyTorch 1.0. L'outil prend en charge des données d'entrée au format CSV et permet également la génération des fichiers de résultat au format CSV.
L'outil repose sur les travaux effectués par Adam Lerer, Ledell Wu, Jiajun Shen, Timothee Lacroix, Luca Wehrstedt, Abhijit Bose, Alex Peysakhovich et présentés durant la conférence SysML.
Accéder au GitHub : https://github.com/facebookresearch/PyTorch-BigGraph
Accéder la publication: https://www.sysml.cc/doc/2019/71.pdf
Illustration d'un embedding réalisé sur Freebase par l'équipe Facebook AI.[/caption]
Afin de permettre la gestion de graphs de très grande dimensions, PyTorch-BigGraph prend en charge le partitionnement de graphs et réduit ainsi la quantité de mémoire nécessaire au traitement et stockage des paramètres. Il supporte également le calcul distribué sur plusieurs machines.
Il nécessite Python3.6 et PyTorch 1.0. L'outil prend en charge des données d'entrée au format CSV et permet également la génération des fichiers de résultat au format CSV.
L'outil repose sur les travaux effectués par Adam Lerer, Ledell Wu, Jiajun Shen, Timothee Lacroix, Luca Wehrstedt, Abhijit Bose, Alex Peysakhovich et présentés durant la conférence SysML.
Accéder au GitHub : https://github.com/facebookresearch/PyTorch-BigGraph
Accéder la publication: https://www.sysml.cc/doc/2019/71.pdf