De premiers projets et prototypes de médiation culturelle basées sur l’exploitation de nouvelles technologies numériques ont été “incubés” par le MuseumLab montois (relire l’article que nous lui consacrons), à l’occasion d’expositions ou d’événements muséaux. Tout récemment, le BAM accueillait ainsi deux installations interactives. L’une faisant appel à la réalité augmentée (Atlas), l’autre à une technique d’immersion auditive 3D.

Commençons par cette dernière, baptisée Drag On Blind par son auteur – en l’occurrence la start-up montoise Drag On Slide, studio numérique spécialisé en jeux sérieux et expériences iinteractives. Basée sur le concept d’audio thinking, l’installation numérique imaginée est venue se greffer, pendant plusieurs semaines, sur l’exposition “Le surréalisme dans les collections montoises”.

Le visiteur est invité à déambuler dans un espace réservé d’environ 5 mètres sur 4, afin de découvrir – en aveugle… par le son – l’une des oeuvres surréalistes exposées.

L’oeuvre a en effet été préalablement “traduite” en sons en fonction de ce qu’elle représente, de ses lignes de forces, couleurs… Le but est donc de lui faire “ressentir” l’œuvre et l’atmosphère qu’elle dégage.

Pour créer cet univers sonore, le tableau, modélisé, est scindé en zones factices, chacune héritant d’attributs sonores. Pour ce travail, les concepteurs de Drag On Slide ont travaillé avec un ingénieur du son qui a été impliqué dans la réalisation du projet dès sa phase initiale. Ils ont en outre eu recours aux compétences du living lab et du Pôle muséal de Mons en matière de recherches sur les artistes surréalistes “afin d’identifier la signification des zones à transposer en sons” et ils ont également pu compter sur l’Institut Numediart pour les techniques de spatialisation sonore.

Il n’y a pas d’âge pour commencer à découvrir et “ressentir” une oeuvre. En ce compris en ne la voyant pas…

Le “cube” dans lequel le visiteur évolue est équipé de capteurs paramétrant l’espace. Le visiteur, pour sa part, coiffe un casque lui-même doté de capteurs (casque généralement utilisé dans des applications de réalité virtuelle, ne servant ici que pour une production sonore réaliste). Le tout permet de détecter le déplacement du visiteur qui, en se mouvant dans cet espace de 5 mètres sur 4, aura l’impression de se déplacer dans l’oeuvre, le son 3D produit se modifiant au gré de ses déplacements et l’endroit où il se trouve correspondant à la portion de l’oeuvre qu’il a, virtuellement, en face de lui.

Tous publics

Le vocable “Blind” que l’on retrouve dans l’intitulé de l’installation pourrait laisser supposer que l’installation est destinée à un public de malvoyants. Si ce fut bel et bien le cas dans le scénario de départ et si cela reste d’ailleurs d’actualité, les porteurs de projet ont ensuite voulu étendre l’expérience au grand public, ne souffrant pas de déficience visuelle.

Tout comme les malvoyants, ils peuvent donc “expérimenter” une oeuvre d’une manière entièrement nouvelle, sans la voir, en la devinant et en se la représentant grâce à sa traduction sonore. Mais l’expérience, pour eux, ne s’arrête pas là. Après s’être immergés dans l’espace sonore, ils sont invités à… retrouver, parmi les œuvres exposées, celle qui correspond à ce qu’ils viennent de ressentir. Pour l’équipe de concepteurs qui est à l’origine de cette expérience d’un genre nouveau, c’était aussi l’occasion de vérifier que leur démarche était réaliste, conforme à la réalité de l’oeuvre. Et, selon Paul Attia, responsable Développement commercial pour DragOnSlide, le résultat est plutôt concluant: “environ 80% des visiteurs qui se sont livrés à l’expérience [plusieurs centaines] retrouvent bel et bien le tableau correspondant parmi la trentaine exposés…” Ce taux élevé de réussite peut étonner, chaque personne ayant son propre “ressenti” tant sonore que visuel d’une oeuvre mais, explique Paul Attia, ce taux s’explique par le fait que “les sons qui ont été choisis ne peuvent quasiment être associés qu’à cette oeuvre précise. Dans notre travail de description sonore, nous restons le plus proche possible de l’oeuvre. Le but n’est pas de la dénaturer ou de l’extrapoler…”

Faire évoluer l’installation

Le projet Drag On Blind espère désormais trouver des musées ou espaces d’exposition qui voudraient adopter ce nouveau type de démarche de découverte d’une oeuvre. Drag On Slide proposera l’installation soit en location soit à l’achat.

Paul Attia estime que la formule location aura sans doute plus de succès compte tenu à la fois des moyens financiers souvent limités des musées et acteurs de la culture et de la possibilité que cela donnera de ne pas “figer” l’installation dans une configuration technologique. Plusieurs types de casques pourront en effet être utilisés, à mesure qu’ils font leur entrée sur le marché. Le fait est que des progrès constants font évoluer la qualité et l’autonomie de ce type de casques de réalité virtuelle, par exemple en termes d’intégration de capteurs.

L’une des barrières techniques auxquelles l’équipe de Drag On Slide dit vouloir s’attaquer, à court terme, est l’harmonisation de l’autonomie des casques et des capteurs, ces deux types de dispositifs épuisant leurs batteries respectives à des rythmes différents. “Nous devons trouver une solution qui permette de recharger automatiquement les deux systèmes.”

Atlas: villes fictives, vrais enjeux

Le projet Atlas est porté par un duo d’artistes – Yann Deval, motion designer, et Marie-G. Losseau, scénographe et créatrice de “villes imaginaires”. L’installation, qui fait intervenir la réalité virtuelle et la réalité augmentée (avec des casques HoloLens de Microsoft), est décrite comme “une exposition scénographique qui croise art et technologie en réunissant des maquettes réelles et des mondes virtuels interactifs.”

L’espace aménagé se visite avec une tablette ou avec un casque de réalité virtuelle, en présence d’au moins un des deux artistes. “Nous tenons à être présents parce que nous voulons guider le visiteur dans son expérience de réalité virtuelle”, explique Marie-G. Losseau. “Notre volonté est de partager l’expérience avec lui. L’installation se vit et s’expérimente. Cela n’a rien à voir avec une expérience de l’ordre de la filmographie.” L’espoir est également de déclencher une réflexion et un dialogue avec le visiteur, pour l’inviter à “réfléchir aux thématiques de l’urbanisme, de l’architecture et de leurs influences sur nos modes de vie.”

L’interaction est essentielle, le coeur-même de l’installation. Et pas seulement par le biais des dispositifs numériques. En effet, l’espace aménagé comporte des maquettes bien réelles qui prennent de l’ampleur ou se reconfigurent à la faveur d’ateliers de création organisés par exemple à destinations d’écoliers ou d’adolescents. Tous les éléments de ces maquettes physiques sont ainsi co-conçues et co-produites avec les artistes: dessin logiciel, création de la structure en carton, production des modules en bois de placage ou… mouillettes à café, découpe laser…

En janvier, les étudiants de l’école supérieure des arts Arts² pourront eux aussi venir découvrir le travail des artistes et la réalité virtuelle. Ils pourront même emprunter du matériel numérique au MuseumLab pour poursuivre leur découverte et leurs propres créations.

Maquettes et villes imaginaires

Dans l’espace Atlas, que Marie-G. Losseau compare à un “cabinet de curiosités du 21ème siècle”, des maquettes en bois prennent soudain vie via la tablette, déclenchant une floraison de maisons en bois qui semblent se sculpter en live au départ d’une souche. Pour créer cette animation réaliste, Yann Deval a eu recours à la photogrammétrie, créant, angle par angle, chaque détail des maisons virtuelles qui prennent forme à l’écran.

Les casques de réalité virtuelle ou mixte sont eux utilisés pour faire surgir, eux aussi, des villes imaginaires, mais cette fois au gré des gestes du visiteur. Il est par exemple invité à semer des graines (virtuelles) qui font pousser des maisons, voire des villes entières, dans des positions parfois acrobatiques. A l’oeuvre ici, des techniques de photogrammétrie (sur base de maquettes 3D), de spatialisation et de reconnaissance des mouvements.

“L’installation combine décor réel et réalité virtuelle. Le but est de perdre le visiteur-joueur dans différentes scènes, dans différentes strates d’imaginaire.” Le visiteur entre dans ce monde mixte par un geste (en semant une graine virtuelle). De même, ce dernier retrouve le monde réel par un petit tour de magie mixte. En fin de parcours virtuel, en lançant sa dernière graine factice sur une paroi, à l’endroit de son choix, le jeu lui propose des ciseaux virtuels pour découper une fenêtre tracée en pointillés. En la découpant, le monde virtuel s’efface.

Pour la concrétisation de leur projet au coeur du BAM (exposition Mémento Mons), les deux artistes ont pu compter sur l’aide – matérielle et conceptuelle – du MuseumLab. Non seulement, les tablettes et casques leur ont été fournis gratuitement mais ils ont également pu compter sur l’aide d’un développeur qui est venu épauler Yann Deval.

La présence du duo d’artistes et de leur installation immersive au BAM se prolongera au-delà de l’exposition Mémento Mons. L’intention est en effet de continuer à faire évoluer l’installation en explorant les nouvelles fonctionnalités du casque HoloLens 2 de Microsoft (qui n’était pas encore disponible en 2019).

Pour le reste, l’installation Atlas voyagera – à Paris, Taïwan, Amiens… Et espère trouver des hôtes dans d’autres musées, “ou dans le cadre de festivals ou de tout type de lieu culturel prêt à proposer ce genre d’expérience”, déclare Marie-G. Losseau.