Source: Wallimage

A entendre certains, essentiellement venus et actifs dans le monde du gaming, de la 3D et/ou de la réalité virtuelle, il n’y aurait en fait rien de bien neuf avec le “métavers”. Juste une étiquette marketing imposée par Meta/ex-Facebook et par un subit engouement. Voir notre encadré en fin d’article.

Cette appellation de métavers est puisée dans la science-fiction. Désormais, elle veut désigner un ensemble de composantes technologiques qui s’imbriquent pour permettre une nouvelle évolution. Un peu comme on a placé l’étiquette “cloud”, voici une quinzaine d’années (déjà!), sur des concepts et des éléments déjà présents dans le marché.

Du neuf avec de l’ancien. Et…?

Rien de neuf? Peut-être. Du moins si l’on considère que les “univers immersifs interactifs et interconnectés” ne sont, tout compte fait, que la synthèse de multiples leviers technologiques pré-existants qui, aujourd’hui, s’assemblent pour faire surgir un nouveau puzzle.

Mais c’est justement l’assemblage de ces pièces variées et diverses et – aussi – les progrès réalisés dans certains de ces domaines qui permettent à ce concept de tenter une percée majeure, dans de multiples sphères de notre vie future.

Une petite énumération de ces briques technologiques qui s’emboîtent? 3D, réalité mixte ou “étendue”, intelligence artificielle, cloud, connectivité 5G et WiFi 6, blockchain, capteurs biologiques, jumeaux numériques, dispositifs d’immersion (casques, lentilles, gants, brassards…), crypto-actifs…

Et, comme on le disait, plusieurs de ces “briques” ont profité, ces dernières années, d’avancées qui n’ont rien d’anodin. Les cartes graphiques, les processeurs dédiés (en ce compris à l’Intelligence Artificielle), ont gagné en puissance et en qualité. Le réalisme des simulations et des environnements virtuels s’est affiné. Les débits de (télé)communication se sont accélérés, résolvant en partie les problèmes de latence.

Le principe de la blockchain et des smart contracts procure un moyen non seulement d’authentification des transactions et des objets virtuels mais aussi de “tracer” leur parcours dans le temps. “Savoir quels furent les échanges entre personnes, quelle est la chaîne que suit une chaîne de possession d’un objet virtuel est intéressante”, souligne par exemple Jean-Marc Duyckaerts, co-fondateur et directeur de la start-up Nirli, qui s’est positionnée sur le terrain des expériences immersives (par écran portable, dispositif AR/VR interposé). “Cela peut être intéressant non seulement dans le domaine des créations artistiques mais aussi, par exemple, dans celui de l’économie circulaire. Cela permettra en effet de tracer la propriété d’un produit, d’identifier quels éléments, recyclables ou non, ont été ajoutés au fil du temps, et vérifier ainsi de quoi est composé un produit…” 

Autre paramètre majeur, les acteurs positionnés du côté infrastructure, développement et mise à disposition de plates-formes et d’outils, ont récemment commencé à proposer aux développeurs et aux utilisateurs lambda des outils dont ils peuvent eux-mêmes s’emparer plus aisément, pour concevoir, selon le cas, des applications, des contenus, des objets virtuels.

Hervé Verloes (Magic Loom): “Jusqu’à présent, le phénomène des mondes immersifs était et reste encore d’une certaine manière réservé aux geeks.” A quelle vitesse cette situation changera-t-elle?

Comme le dit Hervé Verloes, co-fondateur du studio belge de production virtuelle Magic Loom, “les éléments sont désormais disponibles pour faire des doubles [jumeaux] numériques de qualité, qui poussent davantage les utilisateurs à s’identifier à eux. C’est là une condition essentielle de réussite pour les plates-formes – sociales, notamment – qui se lancent dans le métavers. On en rêvait depuis des décennies… même si l’expérience immersive est encore plus ou moins qualitative selon les acteurs.

Jusqu’à présent, le phénomène des mondes immersifs était et reste encore d’une certaine manière réservé aux geeks, à ceux qui désirent utiliser les premiers embryons de métavers. Mais lorsque des solutions telles que Meta Horizons seront ouvertes à tous, les millions d’utilisateurs de Facebook, d’Instagram… y seront”.

Et des sociétés locales telles que Magic Loom, venues de la création 3D, du jeu vidéo, de l’AR/XR, pourront ajouter les métavers à la panoplie de “destinations” auxquelles elles destinent déjà leurs créations (jeux vidéo, vidéos classiques, réseaux sociaux, univers du cinéma…)

Progrès à venir, obstacles à surmonter

Même si les progrès technologiques ont été importants, le métavers ne pourra réellement s’installer dans les habitudes qu’à condition que des avancées supplémentaires, parfois majeures, soient accomplies. Sans cela, on en restera aux prémices de l’immersion, parfois encore rudimentaire.

Le débat (ou combat) se déroulera notamment sur le terrain des interfaces et des dispositifs d’interaction. Casques, lunettes “hybrides” (combinant VR et AR), brassards, gants, voire combinaisons intégrales, pour interpréter et reproduire les mouvements, capteurs corporels, sans oublier les avant-gardistes interfaces cerveau-machine, avec jeux d’électrodes ou processeurs implantés, pour un échange direct entre vos petites cellules grises et l’univers dédoublé… Ou encore une sorte de smartphone 5.0, avec captation et avatarisation temps réel et projection holographique en mode réalité augmentée…

Des casques de plus en plus “sensitifs”

Des progrès sensibles ont déjà été réalisés, ces dernières années, en matière de casques (AR ou VR). Notamment en termes de qualité visuelle, de collecte et de traitement de l’image pour éviter les effets de vertiges voire de nausées. En termes aussi de champ de vision (certains modèles, désormais, offrent un champ de vision à 210°).

La bataille des casques ne fait-elle que commencer ?

Les nouvelles ou futures versions des casques de VR ou d’AR intègreront davantage de dispositifs de collecte de données: caméra filmant l’iris pour détecter l’orientation du regard, les réactions visuelles aux stimuli divers et variés, tension artérielle, rythme cardiaque (pouvant changer et indiquer un “ressenti” face à une situation, un objet proposé…) etc. etc.

Tous les fabricants redoublent d’efforts en la matière. Meta avec Oculus est loin d’être le seul à jouer des coudes. Un exemple? L’année dernière, HP lançait le Reverb G2 Omnicept, doté de capteurs chargés de surveiller les mouvements musculaires, les mouvements du regard, l’évolution de la taille de la pupille, le rythme cardiaque. Pour “adapter l’expérience de l’utilisateur” ou encore “comprendre comment l’utilisateur réagit à ce qu’il voit [Ndlr: par exemple dans le contexte d’une formation], s’il y a une incohérence entre ce sur quoi il focalise son attention et ce qui est prévu par la démonstration.” Dans d’autres contextes, “comprendre le comportement d’un client face à la visite virtuelle d’un appartement, à une démonstration produit ou bien à un jeu vidéo qui le mettrait dans une position inconfortable.”

Une caméra placée sous le casque permet de faire “réagir” l’avatar dont l’apparence et/ou le comportement pourrait s’adapter “reproduisant les expressions du visage, la joie comme l’interrogation”. Ce dernier argument est utilisé pour des contextes de collaboration entre collègues.

Spécificité de ce casque et de l’option choisie par HP: toutes les données sont systématiquement envoyées vers le cloud, par le biais de l’ordinateur personnel, et vers la plate-forme de traitement central HP Omnicept. Rien n’est stocké sur le casque.

On verra plus loin que le lieu et la capacité de (pré-)traitement sont une question majeure et posent encore des problèmes de choix, de positionnement stratégique et de performances de l’effet immersif.

Côté fonctionnalités intégrées ou intégrables au casque, on parle aussi d’adjoindre un potentiel Lidar. Pour un rendu tridimensionnel plus précis et réaliste, via l’évaluation précise des distances entre personnes, objets. De quoi gommer aussi certains défauts des casques actuels (effets d’ombre, notamment). Apple a intégré des capteurs Lidar à ses smartphones dès la génération des iPhones 12 Pro. Et diverses applis VR ont d’ores et déjà intégré ce genre de potentiel, en ce compris pour des applications de type réunions et collaborations immersives.

Le retour de la technologie haptique

Côté “ressenti” et sensation physique, on évoquait plus haut des gants sensitifs pour simuler la sensation de contact physique, de préhension. D’autres dispositifs ont déjà fait leur apparition, tels que des vestes haptiques qu’on enfile pour “habiter” son avatar et le métavers.

Elles sont bardées de capteurs en tous genres – capteurs de pression, de vibration… – et permettent ainsi de ressentir les effets des scènes simulées que l’on vit en immersion. Que ce soit dans le cadre d’un jeu ou d’une manipulation sur une chaîne de production ou lors d’une formation. Si votre bras est blessé par un glaive dans un jeu, la veste permet d’avoir la sensation d’être transpercé… En simulation de formation, le poids ou la consistance du matériel ou de l’équipement manipulé seront simulés. Plus simplement, gants et vestes haptiques permettront de “ressentir” une poignée de main ou une tape amicale sur l’épaule..

Un cran de sophistication plus haut, il existe déjà de premières combinaisons haptiques intégrales. Pour qui sait y mettre le prix… Elles permettent de ressentir les mêmes effets et y ajoutent des sensations de froid, de chaud…

Confort visuel (et autre)

Longtemps les casques VR ont été encombrants, lourds, et ont été source d’inconfort pour ne pas dire propices aux malaises plus ou moins importants pour les personnes qui s’en coiffaient. Sans parler d’un effet désorientation parfois ressenti lorsqu’on est plongé dans le virtuel.

Le malaise qui pouvait aller et continue dans certains cas d’aller jusqu’à la nausée ou au tournis tient en partie au décalage temporel qu’il y avait entre l’action, le geste ou le mouvement de l’utilisateur et le “retour” sur l’écran. Notre cerveau, lui, ne s’y retrouvait pas…

En réalité virtuelle et méta-immersion, la minimisation de la latence sera un défi évolutif.

Diverses techniques ont entre-temps été utilisées pour réduire ce décalage. Les processeurs sont devenus plus puissants, plus rapides dans les traitements de données. Les débits de communication se sont améliorés. Réduisant ainsi la latence et remettant nos cerveaux d’aplomb.

Mais l’effet latence est loin d’être résolu.

Des progrès doivent encore être faits notamment parce que les améliorations ne suivent pas forcément le rythme de l’innovation. Dans un métavers, le support d’interaction n’est pas uniquement la vue et le geste mais aussi la parole. “Le métavers et la VR supposent le traitement de volumes toujours plus importants de données disparates, voix, données venant des accéléromètres et autres capteurs…”, souligne Matei Mancas, fondateur de la start-up montoise Ittention, et chercheur à la faculté polytechnique et à l’ISIA Lab de l’Institut Numediart de l’UMons. “Il faut synchroniser toutes ces données, les traiter en parallèle. Chose partiellement mais pas encore parfaitement possible grâce à l’IA…”

Pour le problème de latence, l’arrivée de la 5G [certains évoquent déjà la nécessité de la 6G], ou du WiFI 6 ou 7, sera essentielle, “non pas ou pas uniquement pour garantir les hautes débits de connexion mais, surtout, pour procurer les conditions optimales pour éradiquer ou minimiser drastiquement la latence”, indique Matei Mancas.

Bien entendu, il est toujours possible – mais sera-ce réellement accepté ? – de limiter la finesse du graphisme, le réalisme des doubles numériques…

Sensation de présence

Bien des univers VR demeurent imparfaits, ne permettant pas, dans la nouvelle dimension métavers que l’on nous promet, une fluidité et “perceptivité” de la présence des autres participants. La notion de proximité, de distance réelle séparant les individus doit encore être travaillée. De quoi pouvoir interagir “naturellement” dans l’espace commun généré, sans que notre cerveau, à nouveau, y perde son latin. L’apparition de capteurs Lidar est sans doute un début de réponse.

En environnement immersif, la sensation de présence dépend d’une multitude de facteurs: paramètres d’affichage, émotions, évaluation de distance, “matérialisation” des interactions… Source: Synhera.be

Des progrès – on l’a vu – sont réalisés, très régulièrement, au niveau des capacités et des performances des casques eux-mêmes. Mais ils demeurent, comme le souligne Matei Mancas, des dispositifs propriétaires, sur lesquels les développeurs de contenus et d’univers n’ont pas la main.

Quid si développeurs et concepteurs désirent bénéficier d’une fonctionnalité ou d’un potentiel spécifique qui n’est pas dans les plans, ou dans la stratégie, du concepteur du casque? Les chercheurs de l’Institut Numediart ont décidé de contourner l’obstacle en focalisant leurs recherches et développements sur de nouveaux dispositifs à coupler ou fixer sur le casque: nouveaux capteurs, caméras…

Gagner en puissance

La montée en puissance sera nécessaire à tous les étages – depuis les capteurs jusqu’aux serveurs centraux en passant par les processeurs embarqués et les algorithmes. Les graphismes, eux aussi, devront continuer à évoluer, notamment pour augmenter le réalisme des avatars, des décors, des jumeaux numériques…

Il ne fait aucun doute qu’il faudra construire de nouveaux datacenters. Nul doute qu’on assiste à une nouvelle course effrénée entre Microsoft, Google, Amazon et consorts. S’il n’en fallait qu’une preuve, citons l’annonce relativement récente faite par Meta que la société allait construire un nouvel infocentre dans la région de Toledo, en Espagne. Mise en service sans doute en 2029.

La société a par ailleurs commencé à plancher sur “le super ordinateur IA le plus rapide au monde”… Son futur “AI Research SuperCluster” reposera sur 16.000 processeurs GPU A100 de Nividia. Sa mission: entraîner des modèles IA devant opérer dans des contextes métavers.

Frugalité vs performances

Autre défi: miniaturiser, alléger tout en gagnant en performances. D’un côté, le besoin d’alléger les casques, de les rendre moins encombrants. De l’autre, l’appétit croissant en termes de puissance de calcul, de traitement d’images, de réconciliation des signaux. Et aussi la multiplication des éléments incorporés au casque.

L’autonomie des casques et des autres dispositifs de gestion immersive (vestes, gants…) n’est pas illimitée. Même si des progrès énormes sont faits du côté de processeurs moins énergivores et de microélectronique puisant son énergie dans l’environnement immédiat.

Pour éviter les problèmes de latence (on y revient), provoquée entre autres par des envois systématiques dans le cloud pour calcul, traitement et réconciliation, une certaine dose de calcul et de traitements peut avoir lieu à même le casque. Cela permet par exemple de filtrer, de sélectionner les données (images ou autres) qui doivent être envoyées dans le cloud pour être combinées avec celles des autres participants d’un métavers et pour “calculer” les interactions.

Le traitement local, évidemment, grève l’autonomie des batteries. Eternel cercle vicieux…

Cette notion de “frugalité” fait surgir un autre problème majeur: le poids que représenteront les métavers pour l’environnement. Nous y consacrons un article (“Métavers, méga-impact environnemental?”). LIEN

Optimisation des algorithmes

Un algorithme, c’est gourmand. En termes de puissance de calcul, de consommation de cycles processeur et aussi d’énergie. C’est surtout le cas avec les algorithmes, plus complexes, de deep learning. Le nombre d’algorithmes locaux devra donc être soupesé au plus juste.

Sécurité

On parle ici de sécurité des données, des contenus, des “objets” virtuels, des infrastructures. C’est là, évidemment, un élément crucial que nous abordons plus spécifiquement dans l’article “Métavers: combinaison ultime de technologies créant une super-surface d’attaque?” LIEN

La notion de sécurité englobe également celle de résilience des plates-formes sur lesquelles seront effectués calculs, réconciliation de données, traitements, extrapolations analytiques…

Interopérabilité entre plates-formes

L’avenir nous dira dans quelle mesure les différents protagonistes (fournisseurs d’infrastructures, d’outils de développement, de contenus, etc.) réussiront ou même tenteront ou non de s’accorder pour une “téléportation” de contenus, de créations, d’actifs, d’identité(s) dans divers métavers.

Il faudra en passer par une standardisation, la définition de protocoles d’interopérabilité, de formats compatibles… Enorme inconnue…