L’éditeur du réseau social à destination des entreprises est un grand utilisateur de technologies open source. Il vient de rendre public un projet qui permet d’exécuter des jobs TensorFlow sur Hadoop.
TonY est le projet de LinkedIn qui permet d’exécuter des jobs TensorFlow, la librairie d’intelligence artificielle et de deep learning de Google, sur les environnements Hadoop. L’idée du projet est de pouvoir jouer des scénarios TensorFlow nativement sur Hadoop aussi bien que sur Map/Reduce ou sur Spark. Jusqu’à présent la conjonction des deux environnements ne se réalisait pas facilement et devenait un frein pour les chercheurs sur les données et les développeurs. Avec ce projet ils pourraient bénéficier à la fois de la puissance analytique distribuée de TensorFlow et de la gradualité (scaling) d’Hadoop.
Tout comme Map/Reduce fournit le moteur pour les scripts Pig/Hive ou Spark pour le code Scala, TonY veut proposer le support des jobs TensorFlow sur Hadoop en manageant les tâches comme une configuration d’environnement de containers et de négociations de ressources. La solution inclut déjà le support des environnements graphiques (GPU), une modularité des ressources pour les requêtes, la tolérance à la panne et la visualisation par TensorBoard.