Numediart : une valse à 6 temps

Portrait
Par · 28/11/2012

Samedi 9 octobre. Sur la grande porte cochère de l’UMons, un petit ballon invite à entrer dans la grande et ancienne bâtisse. Elle abrite l’un des joyaux de l’imagerie 3D: Numediart. Cet institut pour les Technologies des Arts Numériques a été créé en 2007 par l’Université de Mons. Il a bénéficié de 2007 à 2012 d’un financement de 1 million d’euros par an sur 5 ans qui lui a permis de multiplier les projets dans 6 grands domaines : depuis la projection monumentale jusqu’à la production de dessins animés en temps réel, en passant par les jeux sociaux.

L’application de reconnaissance corporelle sera installée au Mundaneum de Mons en janvier prochain

Au bout d’un dédale, au premier étage, entre une batterie et un écran mural géant, une vingtaine de personnes suivent la démo de quelques doctorants de Numediart. La Kinect y tient une place de choix.

François Zajéga présente une version bêta (cela vibre encore un petit peu) d’une application de reconnaissance corporelle qui sera installée en janvier prochain dans le Mundaneum de Mons. « La caméra 3D détecte la présence de mon corps lorsque je rentre dans son champ. Grâce à un logiciel gratuit, elle reconstitue mon squelette et positionne la position de ma main, puis la synchronise en deux dimensions sur le curseur de l’application culturelle dans laquelle le visiteur va pouvoir  « naviguer  » à distance. Auparavant, ce type d’exercice n’était possible qu’avec des caméras très chères, de l’ordre de 3.000 euros pièce. Aujourd’hui, c’est possible avec du matériel 20 fois moins cher. »

Concert de groupes

Christian Frisson lance une seconde démo. Une constellation de sons représentés par des traits s’affichent sur l’écran géant. Une caméra 3D capture les présences de « passants » dans son champ, les matérialise sur l’écran par de petites sphères grises qui se déplacent en synchronisation avec les mouvements des personnes filmées et déclenchent les sons les plus proches de chaque “boule”. En bougeant, les sons s’articulent les uns aux autres. Christian Frisson: “L’idée est de pouvoir réaliser des compositions musicales à plusieurs sans savoir jouer de la musique. Les sons sont synchronisés. Cela peut fonctionner avec des groupes jusqu’à 10 personnes.”

Souriez, vous êtes filmé

Troisième démo et retour à la Kinect  avec Humanface. Le principe? Une Webcam filme l’utilisateur dont les mimiques vont servir de base, en temps réel, à l’animation d’un avatar.

François Rocca travaille à l’application dans le cadre de sa thèse. Son travail porte plus particulièrement sur l’utilisation de caméras 3D pour la reconnaissance de sentiments, d’expressions telles que la joie, la tristesse ou la colère.

Qui se ressemble s’assemble

Pr. Thierry Dutoit, coordinateur de Numediart:  “Numediart est actif dans 6 grands domaines. La navigation hypermédia, tout d’abord. L’exemple le plus facile à comprendre est celui des milliers de photos que tout le monde a sur son ordinateur. Vous en cherchez une, vous l’avez en tête mais vous ne la trouvez pas dans cette masse.

Nous concevons des interfaces permettant de les organiser automatiquement par similarité: les photos qui se rassemblent s’assemblent. Ce qu’on fait pour les photos, on le décline pour d’autres types de données multimédias comme la vidéo.”

Thierry Dutoit : « Numediart, c’est  un univers de création numérique où les métiers d’ingénieurs, d’entrepreneurs et de créateurs se croisent.”

Jongleur sonore

« La performance interactive, cela consiste par exemple à placer des capteurs sur les artistes qui vont leur permettre de créer une interactivité par le son. Dernier exemple en date: un jongleur nous a demandé d’intégrer des capteurs dans ses quilles. Ils produisent un son et des effets lumineux lorsqu’ils les réceptionne.” Avec la lutterie numérique, il s’agit de développer de nouveaux instruments ou « d’améliorer » des instruments en y intégrant des capteurs.

Projection géante

La projection monumentale est l’une des applications spectaculaires où l’on projette des images et des vidéos sur des structures 3D de grande dimension comme des bâtiments à l’aide de plusieurs projecteurs synchronisés. Thierry Dutoit: « Typiquement, on vient avec des solutions plus souples ou moins onéreuses. Plutôt que d’utiliser 4 projecteurs qui coûtent une fortune, nous en proposons 20 qui coûtent infiniment moins chers. Mais derrière, il y a 20 PC, un réseau, du savoir faire… »

Des dessins animés produits en temps réel

Thierry Dutoit: « Nous travaillons essentiellement avec des doctorants »

Thierry Dutoit : « Avec la capture de mouvement et l’analyse de données qui en résultent, on peut commander des avatars ou des personnages d’animation. Ici, nous travaillons à des interfaces capables de produire pratiquement en temps réel le dessin animé, à partir du mouvement du corps.

Mamemo est en train de préparer des animations sur base de ce principe. Ce sont les dessins animés les moins chers que j’ai vus. Ils coûtent quelques pour cents du prix « classique ». Il faut savoir que trois minutes de dessin animé, c’est une journée de studio !”

Socialgaming

C’est le dernier domaine de développement de Numediart. « Dans les jeux sociaux en 3D, la difficulté est de savoir qui prend la main dans le jeu. On peut imaginer placer une croix sur le sol: le joueur qui s’y place prend la relais. Mais c’est assez lourd. Nous travaillons à des interfaces capables de détecter le comportement des joueurs. Il s’agit « d’attirer » l’attention de l’ordinateur pour pouvoir prendre la main. C’est ce qu’on appelle l’attention visuelle. »