Make A Sign: l’interface gestuelle au service du langage des signes

Article
Par · 21/06/2012

Trois étudiants liégeois, lauréats du concours local qui désigne les participants au concours international Imagine Cup (Microsoft), partent pour Sydney avec, sous le bras, une solution de codification et d’apprentissage du langage des signes. Nom du projet: Make A Sign. Ils affronteront 71 autres équipes d’étudiants dans la catégorie-“reine” du Software Design.

Antoine Trippaers, Julien Rousselle et Nicolas Bertrand, trois étudiants en informatique à la Haute Ecole de la Province de Liège (3ème bac en Informatique et Systèmes, finalité Réseaux et télécommunications), ont été sélectionnés pour participer à la 10ème édition de l’Imagine Cup, un concours international organisé par Microsoft, au cours duquel des équipes d’étudiants venues du monde entier rivalisent au travers de projets qui doivent avoir pour particularité majeure d’exploiter les technologies ICT afin de relever de grands défis de notre société actuelle: environnement, éducation, santé…

Via leur projet “Make A Sign” (que vous pouvez découvrir sur YouTube), les 3 étudiants ont décidé de s’attaquer au problème de l’apprentissage des signes afin de le rendre non seulement plus convivial, plus accessible mais aussi de l’émanciper de contraintes de temps et d’espace. Difficile par exemple pour un apprenant de s’exercer actuellement en dehors de la présence d’un tuteur. Idem pour les personnes de son entourage.

Leur idée consiste à exploiter le potentiel de web cams ou de la console Kinect de Microsoft. Et ce, dans un double objectif. D’une part, procéder à une codification binaire de chaque signe, capté, enregistré et décrit numériquement par le système, et ensuite stocké dans une base de données accessible de partout puisque le serveur se situe, dans le cloud (infrastructure Microsoft Azure). D’autre part, sur base de cette base de données codifiées (qui répertoriera d’ailleurs les multiples variantes – linguistiques ou régionales – du langage des signes), proposer diverses applications, telles que des exercices de reproduction de signes, ou de reconnaissance de ces signes (l’apprenant choisissant une correspondance alphabétique dans la liste qui lui est proposée). Les applications sont destinées à la fois à la plate-forme PC qu’aux dispositifs mobiles (smartphones notamment).

Equipement démocratique

Non seulement pour remplir l’un des critères d’évaluation du concours Imagine Cup mais aussi pour rendre la solution la plus abordable possible, le trio l’a développée en minimisant l’équipement nécessaire. Seul équipement requis : un PC ou portable doté d’une caméra ou, pour une plus grande facilité de reconnaissance des signes, une connexion à la console Kinect (qui dispose d’une caméra 3D). Autre chose actuellement nécessaire: une paire de gants ordinaires sur lesquels sont fixés une dizaine de pastilles couleurs, bordées de noir. Elles servent pour l’instant à garantir un haut taux d’identification des signes par la caméra. A mesure que la technologie des caméras et la qualité des logiciels et algorithmes gagnera en précision, les gants deviendront superflus.

Le début d’une aventure

Le trio d’étudiants a développé ce projet à l’occasion d’un stage de fin d’études en entreprise. En l’occurrence, chez Neomytic (Mons), société de services de spécialisée en technologies Microsoft. “Ils sont arrivés chez nous avec 3 idées. Make A Sign nous apparaissait clairement comme celle qui correspondait le mieux à l’esprit de l’Imagine Cup et aux paramètres que retiennent les membres du jury. Notamment un potentiel de déploiement simple et massif”, déclare Arnaud Jund, Microsoft technical advisor chez Neomytic. Une autre de leurs idées portait sur la géolocalisation du personnel de services d’urgence en situation dangereuse (bâtiment en feu…). “Nous n’avons pas retenu cette idée, notamment pour des raisons de technologie plus coûteuse à mettre en oeuvre ou de barrières administratives à escompter…”

Entre le moment où le choix du projet a été fait et la concrétisation des deux premières applications (logiciel d’apprentissage et logiciel de gestion des signes), il ne s’est écoulé que 4 mois. Témoignage du potentiel de ces trois jeunes…

Le jury de l’Imagine Cup se prononcera le 10 juillet.

Que le projet soit ou non récompensé (le premier prix est de 10.000 dollars), il faudra trouver, pour qu’il continue son petit bonhomme de chemin, des partenaires. technologiques et/ou financiers. Le produit est en effet loin d’être finalisé. Au stade actuel de développement, le système ne reconnaît encore qu’un signe à la fois.

Etape suivante: les enchaînements de signes, la reconnaissance de mots et de phrases, les signes en mouvement, l’inclusion de l’interprétation des expressions de la bouche et du visage (essentielles pour la contextualisation des signes). “Cela demandera encore sans doute deux ans de travail”, estime Arnaud Jund.

Larges perspectives

Un facteur de progrès (reconnaissance plus précise) viendra notamment du SDK Kinect lui-même. Celui utilisé par les deux étudiants date de la fin 2011. Depuis, des versions plus récentes permettent de reconnaître quelques traits du visage (bouche, sourcils). Les prochaines versions devraient multiplier le nombre de traits et caractéristiques “repérables” par la caméra 3D. Restera alors à développer le logiciel pour interpréter formes et positions et leur associer par exemple une humeur.

Les trois étudiants ont en tout cas clairement des ambitions et des idées de futurs développements. Une version pour appareils mobile (sur Windows Phone 7, dans un premier temps) est en préparation. Ils imaginent déjà, plus tard, une solution qui permettrait une traduction en temps réel du langage des signes ou le contrôle de l’ordinateur par le “signage”.