Le géant de Redmond a présenté, à l’occasion de sa conférence Ignite, Mesh, une plateforme exploitant la réalité mixte si chère au coeur de Microsoft pour permettre, entre autres, l’organisation de réunions virtuelles. Mesh se veut une petite révolution en incarnant la prochaine étape de la réalité virtuelle, permettant aux utilisateurs de se transposer dans un environnement virtuel.
On associe généralement le terme “mesh” au service mesh dans une architecture logicielle, ou au WiFi Mesh. Mais, du côté de Redmond, on pense plutôt réalité virtuelle. Ou réalité mixte comme la qualifie Microsoft. Le géant a profité de sa conférence Ignite, du 2 au 4 mars, pour dévoiler Mesh. Qui n’est ni un nouveau dispositif de réalité mixte, ni une version holographique de Teams, mais avant tout une plateforme à destination des développeurs. Elle fournit les ressources nécessaires à créer des applications de réalité mixte. En effet, à en croire la documentation de Microsoft, si la moitié du Fortune 500 utilise son casque Hololens, peu d’applications sont disponibles. En cause, la très grande complexité du développement de scénarios multi-utilisateurs en réalité mixte, pour des questions de ressources, de stabilité, de format de fichiers...
Autant de défis que Redmond prétend pouvoir résoudre avec Mesh. D’abord multi-support, la plateforme dépasse Hololens en prenant en charge l’Oculus Quest, mais aussi des smartphone et tablettes et même des ordinateurs. En outre, afin d’éviter que les développeurs ne butent sur des problèmes d’infrastructure, Mesh s’appuie sur Azure. Mais il ne s’agit là que de la partie émergée de l’iceberg : tout l’intérêt de Mesh réside dans les outils qu’il met à la disposition des développeurs.
Avatar
Ceux-ci seront massivement basés sur l’IA, assure Microsoft, et permettront la création d’avatars, le rendu spatial, la synchronisation entre plusieurs utilisateurs et même “l’holoportation”. Ces avatars, résultat du rachat d’AltSpaceVR, un réseau social qui misait sur la réalité virtuelle, seront soit prêts à l’emploi, soit personnalisables via un studio dédié. Quant à l’holoportation dont on nous rebat déjà les oreilles, il s’agit ni plus ni moins du rendu 3D de prises de vues à 360°, réalisées au moyen de caméras et autres capteurs. Bref, des hologrammes se superposant à des environnements réels transposés virtuellement. Et c’est sur ce point que sont montés sur la scène du Ignite le réalisateur James Cameron et John Hanke, le fondateur de Niantic.
Mesh propose ainsi un “rendu holographique”, autonome et local ou distant et dans le cloud, pour chaque scène et modèle, de sorte à réduire au maximum la latence. Notons que ce rendu “prend également en charge la plupart des formats de fichiers 3D pour un rendu natif dans des applications compatibles Mesh, résolvant le défi consistant à intégrer les modèles 3D existants des utilisateurs pour la collaboration”.
Synchro et mapping
Les “cartes spatiales” proposées par Mesh sont quant à elles le résultat de la fusion des caches locaux de chacune des machines des participants, afin “d'ancrer le contenu, de partager les points de vue de l'appareil et de collaborer sur des modèles 3D”. Soit une meilleure compréhension de l’espace virtuel, y compris d’objets sur lesquels plusieurs personnes doivent travailler à distance.
Dernier point, et non des moindres : la synchronisation multi-utilisateur, qui est à ce jour l’un des problèmes les plus handicapants pour les développeurs d’applications de réalité virtuelle. Tout l’enjeu est de créer une perspective commune entre les “hologrammes” au sein d’une même session. “Dans Mesh, ce contexte partagé est activé via la synchronisation multi-utilisateur. C'est ce qui éclaire toutes les mises à jour de pose, les mouvements et les expressions des participants ou toute transformation holographique qui se produit dans l'espace” explique Microsoft, qui précise que sa plateforme comprend la spatialisation du son, de manière à renforcer l’immersion et à donner l’impression aux utilisateurs qu’ils se trouvent effectivement dans le même espace.
Teams en VR
Ainsi, pour permettre l’ensemble de ces fonctionnalités, Mesh fournit aux développeurs un SDK prenant en charge le multi-support, ainsi qu’Unity, C++ et C#. A terme, Unreal, Babylon et React Native seront eux aussi supportés. Des UX prédéfinies sont comprises sur la plateforme, de même que deux applications, HoloLens 2 Mesh et AltspaceVR. La première, en préversion, est le programme de base du casque de Microsoft, mais tournant désormais sur Mesh, tandis que la seconde permet d’organiser des réunions en réalité virtuelle.
Microsoft prévient que son SDK continuera à évoluer pour supporter davantage de moteurs et de frameworks. Dans les prochains mois, l’éditeur souhaite voir se multiplier les applications Mesh développées par des tiers, et prévoit une intégration de la plateforme avec Dynamics 365 ou encore Teams. Car qui n’a jamais rêvé de s’holoporter dans une salle de réunion virtuelle ?