Microsoft Mesh

  • Mesh : Microsoft veut mettre de la VR dans Teams

    Le gĂ©ant de Redmond a prĂ©sentĂ©, Ă  l’occasion de sa confĂ©rence Ignite, Mesh, une plateforme exploitant la rĂ©alitĂ© mixte si chĂšre au coeur de Microsoft pour permettre, entre autres, l’organisation de rĂ©unions virtuelles. Mesh se veut une petite rĂ©volution en incarnant la prochaine Ă©tape de la rĂ©alitĂ© virtuelle, permettant aux utilisateurs de se transposer dans un environnement virtuel. 

    On associe gĂ©nĂ©ralement le terme “mesh” au service mesh dans une architecture logicielle, ou au WiFi Mesh. Mais, du cĂŽtĂ© de Redmond, on pense plutĂŽt rĂ©alitĂ© virtuelle. Ou rĂ©alitĂ© mixte comme la qualifie Microsoft. Le gĂ©ant a profitĂ© de sa confĂ©rence Ignite, du 2 au 4 mars, pour dĂ©voiler Mesh. Qui n’est ni un nouveau dispositif de rĂ©alitĂ© mixte, ni une version holographique de Teams, mais avant tout une plateforme Ă  destination des dĂ©veloppeurs. Elle fournit les ressources nĂ©cessaires Ă  crĂ©er des applications de rĂ©alitĂ© mixte. En effet, Ă  en croire la documentation de Microsoft, si la moitiĂ© du Fortune 500 utilise son casque Hololens, peu d’applications sont disponibles. En cause, la trĂšs grande complexitĂ© du dĂ©veloppement de scĂ©narios multi-utilisateurs en rĂ©alitĂ© mixte, pour des questions de ressources, de stabilitĂ©, de format de fichiers...

    Autant de dĂ©fis que Redmond prĂ©tend pouvoir rĂ©soudre avec Mesh. D’abord multi-support, la plateforme dĂ©passe Hololens en prenant en charge l’Oculus Quest, mais aussi des smartphone et tablettes et mĂȘme des ordinateurs. En outre, afin d’éviter que les dĂ©veloppeurs ne butent sur des problĂšmes d’infrastructure, Mesh s’appuie sur Azure. Mais il ne s’agit lĂ  que de la partie Ă©mergĂ©e de l’iceberg : tout l’intĂ©rĂȘt de Mesh rĂ©side dans les outils qu’il met Ă  la disposition des dĂ©veloppeurs. 

    Avatar

    Ceux-ci seront massivement basĂ©s sur l’IA, assure Microsoft, et permettront la crĂ©ation d’avatars, le rendu spatial, la synchronisation entre plusieurs utilisateurs et mĂȘme “l’holoportation”. Ces avatars, rĂ©sultat du rachat d’AltSpaceVR, un rĂ©seau social qui misait sur la rĂ©alitĂ© virtuelle, seront soit prĂȘts Ă  l’emploi, soit personnalisables via un studio dĂ©diĂ©. Quant Ă  l’holoportation dont on nous rebat dĂ©jĂ  les oreilles, il s’agit ni plus ni moins du rendu 3D de prises de vues Ă  360°, rĂ©alisĂ©es au moyen de camĂ©ras et autres capteurs. Bref, des hologrammes se superposant Ă  des environnements rĂ©els transposĂ©s virtuellement. Et c’est sur ce point que sont montĂ©s sur la scĂšne du Ignite le rĂ©alisateur James Cameron et John Hanke, le fondateur de Niantic.

    Mesh propose ainsi un “rendu holographique”, autonome et local ou distant et dans le cloud, pour chaque scĂšne et modĂšle, de sorte Ă  rĂ©duire au maximum la latence. Notons que ce rendu “prend Ă©galement en charge la plupart des formats de fichiers 3D pour un rendu natif dans des applications compatibles Mesh, rĂ©solvant le dĂ©fi consistant Ă  intĂ©grer les modĂšles 3D existants des utilisateurs pour la collaboration”. 

    Synchro et mapping

    Les “cartes spatiales” proposĂ©es par Mesh sont quant Ă  elles le rĂ©sultat de la fusion des caches locaux de chacune des machines des participants, afin “d'ancrer le contenu, de partager les points de vue de l'appareil et de collaborer sur des modĂšles 3D”. Soit une meilleure comprĂ©hension de l’espace virtuel, y compris d’objets sur lesquels plusieurs personnes doivent travailler Ă  distance. 

    Dernier point, et non des moindres : la synchronisation multi-utilisateur, qui est Ă  ce jour l’un des problĂšmes les plus handicapants pour les dĂ©veloppeurs d’applications de rĂ©alitĂ© virtuelle. Tout l’enjeu est de crĂ©er une perspective commune entre les “hologrammes” au sein d’une mĂȘme session. “Dans Mesh, ce contexte partagĂ© est activĂ© via la synchronisation multi-utilisateur. C'est ce qui Ă©claire toutes les mises Ă  jour de pose, les mouvements et les expressions des participants ou toute transformation holographique qui se produit dans l'espace” explique Microsoft, qui prĂ©cise que sa plateforme comprend la spatialisation du son, de maniĂšre Ă  renforcer l’immersion et Ă  donner l’impression aux utilisateurs qu’ils se trouvent effectivement dans le mĂȘme espace. 

    Teams en VR

    Ainsi, pour permettre l’ensemble de ces fonctionnalitĂ©s, Mesh fournit aux dĂ©veloppeurs un SDK prenant en charge le multi-support, ainsi qu’Unity, C++ et C#. A terme, Unreal, Babylon et React Native seront eux aussi supportĂ©s. Des UX prĂ©dĂ©finies sont comprises sur la plateforme, de mĂȘme que deux applications, HoloLens 2 Mesh et AltspaceVR. La premiĂšre, en prĂ©version, est le programme de base du casque de Microsoft, mais tournant dĂ©sormais sur Mesh, tandis que la seconde permet d’organiser des rĂ©unions en rĂ©alitĂ© virtuelle. 

    Microsoft prĂ©vient que son SDK continuera Ă  Ă©voluer pour supporter davantage de moteurs et de frameworks. Dans les prochains mois, l’éditeur souhaite voir se multiplier les applications Mesh dĂ©veloppĂ©es par des tiers, et prĂ©voit une intĂ©gration de la plateforme avec Dynamics 365 ou encore Teams. Car qui n’a jamais rĂȘvĂ© de s’holoporter dans une salle de rĂ©union virtuelle ?