Nous vous présentions récemment le travail d’un des lauréats du prix HERA 2021 (Fondation pour les Générations Futures), dans la catégorie “Sustainable IT”. En l’occurrence, le mémoire de Maxime Schurmans sur le calcul d’impact environnemental des usages IT (à relire ici).

Place cette fois, au premier prix, remporté par Arthur Sluÿters, ingénieur civil en informatique à l’Ecole polytechnique de l’UCLouvain, avec son mémoire intitulé “A Framework for engineering gesture-based user interface using the Leap Motion controller”.
Son thème: “le développement d’un framework visant à démocratiser les applications gestuelles (interfaçage machine par le biais de gestes codifiés) et leur développement ainsi que la formalisation d’une approche systématique par élicitation de gestes, centrée sur l’utilisateur.”

Eviter la jungle des gestes

En jeu: la simplification, normalisation et “démocratisation” des développements et de l’usage d’applications en tous genres – professionnelles ou quotidiennes – qui se pilotent et se commandent par le geste de l’utilisateur. Et ce, afin d’éviter le recours à une souris, à un pointeur ou encore à la voix. Un pilotage gestuel qui n’impose par ailleurs plus à l’utilisateur de se servir d’un dispositif propre.

Un avantage parmi d’autres de la reconnaissance gestuelle, souligné par Arthur Sluÿters pour motiver son travail: “aucune expérience ou connaissance préalable nécessaire”, l’expression d’un comportement humain naturel. Ou plutôt – et c’est là qu’intervient réellement la motivation et l’intérêt du mémoire – un côté naturel, spontané qui, dans l’état actuel des choses (et cela risque d’empirer si on n’y prend pas garde), risque d’achopper sur les disparités, voire les particularismes qu’imposent les concepteurs ou les environnements technologiques et applicatifs.

Source: UCLouvain

Les gestes à esquisser sont ou risquent de devenir “propriétaires”, spécifiques à chaque éditeur ou environnement d’exploitation sous-jacent. Pour des raisons de concurrence, de différenciation, de “capture” de l’utilisateur…

La diversité de commandes gestuelles ou de types de réaction d’un dispositif ou d’une application aux gestes esquissés risque de ce fait de poser de sérieux problèmes également aux développeurs, qui ne sauront plus à quels saints se vouer pour permettre à leurs créations de se déployer dans un maximum de contextes d’utilisation.

D’où l’idée de proposer “une approche systématique par élicitation de gestes, afin de réduire la durée et la complexité du développement […] tout en permettant à l’utilisateur de définir ses propres gestes si ceux configurés dans le système ne lui conviennent pas.”

Parmi les avantages potentiels qu’Arthur Sluÿters évoque au sujet du framework qu’il a imaginé (et dont il propose d’ailleurs le code dans son mémoire): un répertoire de gestes et d’actions auquel les développeurs et designers peuvent faire appel, un gain de temps en termes de conception, d’implémentation et de test d’applications, une voie ouverte vers du développement collaboratif d’interfaces utilisateur intuitives (collaboration entre développeurs et utilisateurs mais aussi avec des chercheurs).

Au-delà des facilités et de la normalisation de processus que cela pourrait apporter aux développeurs et créateurs, la proposition de framework que formule ce jeune ingénieur civil en informatique, fraîchement diplômé de l’UCLouvain, laisse envisager la possibilité d’une norme internationale. “C’est là un enjeu majeur. Son travail est donc une contribution importante”, commentait Olivier de Wasseige, président du jury HERA (groupe Sustainable IT). “Cela ouvre la perspective d’une démocratisation de l’accessibilité, de ne pas toujours tout devoir redévelopper ou de devoir jongler avec plusieurs normes.” Le président du jury ajoute encore que, d’une manière générale, le recours à l’interface gestuelle, “est un enjeu technologique majeur qui va permettre d’accélérer l’accès au numérique pour toute une série de populations pour lesquelles cet accès demeure difficile.”

Au-delà du Leap Motion

Le mémoire d’Arthur Sluÿters, qui a eu droit à la plus grande distinction devant le jury de l’UCLouvain et qui a donc remporté le premier prix dans le concours HERA, passe en revue, analyse, compare les différents types de gestes utilisés par les interfaces gestuelles actuelles (pointage, sémaphore, pantomime, iconique, manipulation). Sur base de ce travail d’inventaire et de standardisation, il a conçu et prototypé son modèle, l’imaginant d’abord dans des contextes multimédia (commande d’action sur ordinateur) et médical (plus spécifiquement sur images Dicom).

Pour les besoins de son mémoire, Arthur Sluÿters a limité son travail à la formulation d’un framework opérable en environnement LM (Leap Motion), avec caméra 3D. Pour l’heure, la solution qu’il propose ne couvre donc pas d’autres types de capteurs. “Mais”, assure-t-il, “il sera facile de changer de type de capteurs. Par exemple, pour rendre le framework utilisable avec des technologies et des dispositifs du genre caméras classique, smartphones, webcams…”

Arthur Sluÿters (UCLouvain), auteur d’n travail de mémoire, poursuivi en doctorat, qui pourrait ouvrir la voie à une démocratisation et harmonisation du développement de GUI gestuelles. Dans l’espoir de faire s’étendre le champ des applications.

Après avoir terminé son mémoire, il poursuit les travaux sur son framework dans le cadre d’un doctorat – sous la direction du Prof. Jean Vanderdonckt qui fut aussi son promoteur de mémoire. Objectif: “améliorer le framework pour le rendre plus aisément utilisable et faciliter les changements de geste.”

Inutile de souligner qu’une plus grande facilité, uniformité et efficacité dans le pilotage de nos environnements, outils et contextes numériques par le geste ouvre en effet de nombreuses perspectives, dans une flopée de domaines d’applications: industrie, santé, vie courante, interaction et “dialogue” entre individus…

A part quelques premières percées dans des environnements tels que la médecine ou certains environnements industriels dangereux, la généralisation de l’interface gestuelle est encore loin d’avoir débuté. L’un des secteurs davantage “converti” à ce type d’interaction est celui du jeu et des loisirs.

Parmi les perspectives d’innovation et d’application, Arthur Sluÿters évoque notamment l’importance de la reconnaissance gestuelle dans le domaine du langage des signes, dans le cadre de campagnes de sensibilisation ou de participation citoyenne, ou pour se plier aux contraintes nouvelles que nous a imposées la distanciation sociale.

Petit exemple puisé dans le quotidien: “la possibilité qu’offrirait une interface gestuelle de dialoguer ou de prendre rendez-vous à travers la vitrine d’un magasin – sans contact, sans code-barre ou autre méthode…” Ou encore, le recours au geste pour configurer ses images ou son environnement de vidéoconférence. Par exemple, pour que l’utilisateur puisse déplacer librement les imagettes des participants d’une visio via Zoom, BigBlueButton, Jitsi, Teams ou autre Skype, réarranger les différentes sections de l’écran, les redimensionner…