Qumulo et Panasas sont comme le Yin et le Yang, le jour et la nuit, l’un voulant briller de mille feux, l’autre plus conservateur dans son approche, pour proposer des NAS pour de très gros volumes de données comme on peut en rencontrer dans le HPC ou la finance./p>
La fringante Qumulo est une jeune entreprise fondée en 2015 avec une croissance très rapide. Elle a déjà 200 salariés et a levé 130 M$ auprès d’investisseurs de premier plan dans la Silicon Valley. L’entreprise se targue d’avoir la meilleure équipe au monde pour le développement de son système de fichiers, QF2 (Qumulo file Fabric). La technologie est déjà présente chez de nombreux clients dans des environnements qui vont de centaines de Téraoctets à plusieurs Pétaoctets pour d’autres. Le Gartner classe déjà l’entreprise parmi les visionnaires dans son secteur.
Récemment QF2 a été adapté afin de supporter les environnements totalement Flash pour servir des cas d’utilisation avec des besoins de très hautes performances auxquels les environnements classiques de stockage ne peuvent répondre. L’idée de ce NAS est d’étendre les possibilités de stockage du centre de données et du cloud public comme AWS sur des volumes de plusieurs milliards de fichiers tout en conservant de très hautes performances avec le contrôle adéquat pour ces échelles en conservant un coût inférieur aux environnements classiques de stockage et en permettant une utilisation à 100 % de la capacité demandée. La solution est facturée à l’abonnement qui comprend l’ensemble des fonctions de Qumulo et peut se déployer sur site ou dans le Cloud de manière simple.
Techniquement les clusters de QF2 forment entre eux un système global de stockage lié par des réplications continues. La solution fonctionne sur des équipements de commodités comme ceux fournis par l’éditeur ou par des partenaires comme HPE pour des déploiements sur site. Pour limiter le nombre d’I/O, QF2 utilise beaucoup les index de structures de données (B-Trees). L’entreprise va lancer ses opérations en Europe dès ce début d’année avec en priorité l’Allemagne et le Royaume-Uni.
Panasas, un acteur installé
A l‘inverse de Qumulo, Panasas est encore une société non cotée. La société existe depuis 1999 et s’est spécialisée dans le NAS scale-out de très hautes performances. L’éditeur revendique plus de 500 clients dans 50 pays. La première version du produit a été déployée au laboratoire de Los Alamos. Aujourd’hui l’entreprise se concentre sur le marché du HPC dans les entreprises, à mi-chemin entre les applications HPC et les applications d’entreprises. Ces deux utilisations ne demandent pas les mêmes tâches, ni les mêmes architectures. Ce segment spécifique du HPC commercial ou en entreprise recherche d’abord de la performance mais aussi de la robustesse. Une autre demande est la flexibilité pour s’adapter à de nouvelles tâches comme le « deep learning ».
Techniquement, les métadonnées sont isolées des données avec des services rapides pour les métadonnées. Les systèmes clients adressent directement le stockage en parallèle permettant de très hautes performances sans goulet d’étranglement. Director Nodes est le niveau de contrôle du système de fichier PanFS. Il est en charge de tous le processing des métadonnées et coordonne les systèmes clients et la cohérence du cache. Il gère de plus les clusters et leur maintenance. Les données sont dans les nœuds de stockage (storage nodes). L’ensemble est réalisé sur un protocole propriétaire s’appuyant sur Direct Flow. La protection des données se fait par erasure coding et des fonctions de snapshot.
Au fil du temps, la solution a fait le choix de la simplicité pour le déploiement, l’utilisation et l’administration. L’éditeur indique qu’il faut moins d’une heure pour déployer un système à l’échelle du Pétaoctet. Récemment Panasas a étendu la gamme de ses baies pour apporter plus de flexibilité et de souplesse à sa réponse dans les cas d’utilisation.
