Interagir avec la machine

Version papier - Archives

Initialement étudiée sous l’angle de l’interface homme-machine, l’interaction homme-machine est aujourd’hui au cœur des recherches : c’est bien l’ensemble des phénomènes cognitifs, matériels, logiciels et sociaux mis en œuvre dans l'accomplissement de tâches sur support physique et numérique qui interroge les chercheurs. Le défi est bien sûr in fine de construire des interfaces de qualité, mais c’est le système interactif dans son ensemble, contexte compris, qui doit être considéré, l’utilisateur évoluant dans des espaces de plus en plus interactifs. Cette caractéristique d’intégration à l’environnement est l’une des dimensions structurantes de l’évolution du domaine, la deuxième étant la mobilité. Le site Grenoble Alpes est un creuset historique dans le domaine avec des recherches initiées par Joëlle Coutaz (voir page 4). Son recul l’amène aujourd’hui à distinguer deux classes de contributions : d’une part, les progrès de type "pointe fine" produisant par exemple de nouvelles techniques d’interaction ; d’autre part, les avancées de type "pointe large" comprenant entre autres l’invention de nouvelles méthodes de conception ou d’évaluation. A chaque classe de problèmes, un large espace d’exploration avec cette propriété intrinsèque au domaine : son caractère pluridisciplinaire propice aux interactions entre disciplines ! Les progrès technologiques semblent aujourd’hui ouvrir une nouvelle page de l’histoire : après IHM pour Interface homme-machine puis Interaction homme-machine, la troisième ère serait-elle celle de l’Intégration homme-machine ? Les frontières entre les mondes physique et numérique s’estompent ; les rôles entre utilisateurs, concepteurs et systèmes se confondent : bienvenue en IHM, fabuleux domaine pour la formation et la recherche, en prise avec les problématiques des entreprises et à impact territorial manifeste.

Depuis l’apparition de l’écran, du clavier et de la souris, "des progrès considérables ont été réalisés dans la compréhension des phénomènes d’interaction entre l’humain et les systèmes interactifs, explique Gaëlle Calvary, chercheuse au LIG (Laboratoire d'Informatique de Grenoble) et enseignante à Grenoble INP – Ensimag. Pour concevoir une interaction de qualité, il est indispensable de comprendre l’objectif de l’utilisateur et d’en connaître le contexte d’usage en termes de caractéristiques utilisateur, de ressources d’interaction disponibles et d’environnement physique et social. Le défi de l’ingénierie est, in fine, de livrer un produit utile et utilisable en contexte, c’est-à-dire adapté aux besoins et aux capacités de l’utilisateur dans sa situation précise d’interaction, tout en maitrisant les coûts de développement et de maintenance". Aujourd’hui, les modalités d’interaction se diversifient : les écrans, claviers et souris côtoient des dispositifs plus éclectiques, comme les casques de réalité virtuelle ou les objets connectés. L’interface n’est plus limitée au graphique : tous les sens sont explorés, en particulier, la voix, le regard, le toucher ou même la pensée, pour une interaction de qualité en entrée et en sortie !

 

Avec l’apparition de nouvelles technologies de réalité virtuelle et augmentée, la frontière entre les mondes réel et virtuel est de plus en plus ténue. François Bérard, enseignant-chercheur Grenoble INP au LIG, développe des interfaces très originales : des HPCD (Handheld Perspective Corrected Displays) qui peuvent créer la sensation de tenir un objet 3D virtuel. "L’idée est d’offrir à l’utilisateur le geste le plus naturel possible". Avec son équipe, il a construit un HPCD sphérique par projection de l’image d’un objet dans une boule de polystyrène de 30 cm de diamètre. "L’image projetée est modifiée en temps réel en fonction de l’angle de vue de l’utilisateur, lui donnant l’impression que l’objet est réellement dans la boule". Les bénéfices de l’interaction avec cet écran sphérique ont été mis en évidence par rapport à un écran plat, mais aussi par rapport à l’objet physique lui-même, sans accès direct toutefois. Les chercheurs ont comparé les performances des utilisateurs avec ce HPCD et deux autres techniques d’interaction qui utilisaient un écran plan fixe et un écran tactile, ou un écran sphérique comme entrée indirecte. La tâche consistait à inspecter des énigmes virtuelles complexes en 3D. Des énigmes physiques ont également été testées comme références. Contrairement aux attentes, toutes les interactions virtuelles se sont révélées plus efficaces qu'un casse-tête physique plus "naturel".

Projeter du virtuel sur du réel pour l’augmenter serait donc une piste prometteuse en IHM. Cette limite entre réel et virtuel, Frédéric Noël, chercheur au G-SCOP (Laboratoire des Sciences pour la Conception, l'Optimisation et la Production) essaie aussi de l’estomper. Au laboratoire, les chercheurs disposent d’un ensemble d’outils puissants, permettant de se plonger totalement dans des mondes virtuels : casques immersifs (auditif et visuel) et même un mini-Cave (espace immersif de visualisation 3D) acquis récemment. "On peut capter les mouvements de tête de l’utilisateur pour faire varier son point de vue sur le monde virtuel, explique Frédéric Noël. Les modalités d’interaction sont variées : reconnaissance de geste grâce à des caméras ou des accéléromètres, de la voix, etc. Cela crée de nouvelles opportunités pour des applications professionnelles notamment pour répondre aux attentes de l'industrie 4.0".

 

La symbiose entre les mondes réel et virtuel ouvre des perspectives extraordinaires. Stéphane Ploix, enseignant-chercheur Grenoble INP au laboratoire G-SCOP, coordonne un projet ANR dont l’objectif est de donner à l’utilisateur les moyens de comprendre les phénomènes énergétiques pour adapter son comportement en retour et en limiter ainsi l’empreinte sur l’environnement. Inventer des systèmes prévenants doués de capacités d’explications et de recommandations, tel est l’enjeu de ces recherches. Elles sont pluridisciplinaires et questionnent philosophiquement sur le curseur à placer dans le continuum allant du système interactif "outil" au "compagnon". Si les capteurs fournissent un grand ensemble de données, l’interprétation de ces dernières reste une difficulté. Inventer des représentations pour faire "parler les données", tel est le défi de la visualisation interactive. A l’Inria, Georges-Pierre Bonneau étudie, par exemple, la visualisation de la consommation électrique dans les bâtiments. On voit là toute la complémentarité des recherches et la force du site Grenoble Alpes sur la thématique.

 

Pour pouvoir s’aventurer dans des mondes virtuels, encore faut-il les avoir créés. Pour que cela soit possible, il est nécessaire d’établir les modèles permettant de développer des contenus 3D. A l’Inria, Edmond Boyer travaille justement à la modélisation d’objets en mouvement : à partir de vidéos, il conçoit des modèles graphiques capables de reconstruire la scène en 3D pour la rejouer ensuite dans des mondes virtuels sous différents angles. "On peut construire des modèles de personnes qui peuvent être utilisés dans des mondes virtuels et interagir en temps réel avec eux". Plusieurs industriels ont déjà utilisé ces outils pour obtenir des hologrammes de danseurs, de modèles de mode ou de sportifs par exemple. Associés aux techniques d’impression 3D, ces moyens d’exploration virtuelle offrent des possibilités intéressantes dans le domaine du prototypage industriel. "Reste à définir le bon usage de chacune de ces méthodes et à déterminer quand le modèle virtuel doit laisser la place au prototype physique, souligne Frédéric Noël. Nous disposons de moyens de plus en plus riches, qu’il faut rendre cohérents et mettre en œuvre de façon pertinente".

Céline Coutrix, ingénieur Ensimag, jeune chercheuse prometteuse récemment récompensée par la médaille de bronze du CNRS rêve d’un monde physique déformable, c’est-à-dire d’objets physiques capables de changer de forme. "L’enjeu est de développer des interfaces physiques modulables combinant le meilleur des deux mondes : la sensation physique des objets réels, et la flexibilité du logiciel", explique-t-elle. Ainsi, elle a mis au point des boutons rotatifs qui peuvent se transformer en boutons linéaires (sliders), et des surfaces sous lesquelles des picots motorisés se soulèvent l’un après l’autre pour mimer des sliders. L’interface physique s’adapte à la fois à la tâche à réaliser et aux capacités d’interaction de l’usager.  

Avec son équipe, Marco Congedo, chercheur CNRS au GIPSA-lab (Grenoble Images Parole Signal Automatique), a conçu et réalisé une plate-forme de jeu vidéo inspirée du très populaire Space Invaders, rebaptisée Brain Invaders : il s’agit de détruire des envahisseurs uniquement par la pensée, sans aucune commande manuelle ou motrice. Muni d’un casque qui amplifie les signaux électro-encéphalographiques (EEG), le joueur focalise son attention sur un écran où se déplacent des extraterrestres. Lorsque celui à détruire clignote, le cerveau du joueur émet une onde spécifique reconnue par le système. Grâce à son expertise en traitement du signal, l’équipe VIBs* a mis au point les outils nécessaires pour extraire les signaux EEG en temps réel et détecter le plus rapidement possible les potentiels cérébraux. Pionnière de son approche, elle a également utilisé la géométrie Riemannienne pour classifier ces derniers de façon à interpréter correctement l’intention du sujet. "Cette méthode a gagné 5 compétitions internationales sur 5 !" Sorti en 2011, Brain Invaders constitue un démonstrateur ludique et original d’ICO performant et robuste. Un autre grand défi a même été relevé depuis : celui de contourner l’étape de calibration préalable, en général nécessaire à ce type d’interface, grâce à une "initialisation intelligente" fondée sur des données précédemment acquises, ce qui permet une utilisation immédiate de l’ICO.
* Vision and Brain Signal Processing 

Unis en 1982 à Gaithersburg. A cette époque, on assiste au déploiement des calculateurs personnels et l’on cherche à développer des applications "utiles et utilisables" par un non-spécialiste de l’informatique. Joëlle Coutaz, issue de la première promotion de maîtrise d’informatique à Grenoble en 1968, se trouvait justement en détachement aux Etats-Unis à ce moment-là. Quand elle revient en France avec un macintosch sous le bras (qui avait réussi la prouesse de tout mettre dans une boîte), elle est bien décidée à y implanter la discipline. "De la même manière que l’informatique était vue au départ comme un outil de calcul au service des physiciens, l’IHM a eu du mal à se faire accepter comme discipline à part entière, se souvient la chercheuse. Et pour cause, il s’agit d’une discipline d’emprunt, peu formelle et difficile à définir, qui associe les mathématiques, l’informatique, l’électronique, la psychologie, la sociologie, la robotique… On peut la définir comme l’étude des phénomènes d’interaction entre un homme et un système numérique, le défi en ingénierie étant de construire une interface capable de le rendre utile et utilisable".

 

Au début des années 1980, l’apparition de la souris, en couplage étroit avec celle des écrans bitmap (écrans à points), révolutionne l’IHM en rendant possible l’affichage d’images et non plus seulement de caractères alphanumériques. A cette époque, deux courants coexistent à Grenoble sans se côtoyer : le monde de l’interface graphique d’une part (GUI pour Graphical User Interfaces), et celui du langage naturel parlé ou écrit d’autre part. Dès les années 60, Bernard Vauquois, chercheur au CNRS et professeur à la faculté des sciences de Grenoble, travaille par exemple à la traduction automatique du russe en français. Avec l’aide de Jean Kuntzmann, il fonde en 1960 le Centre d'Études sur la Traduction Automatique (devenu plus tard le GETA puis le GETALP). A la faveur d’une rencontre en 1990 avec Jean Caelen, alors chercheur à l’Institut de la Communication Parlée (ICP) à Grenoble, Joëlle Coutaz crée un rapprochement entre les deux mondes. Ce dernier est à l’origine de la naissance de l’interaction multimodale, associant alors interface graphique et reconnaissance de la parole. On y ajoute aujourd’hui l’interaction tangible, dont l’objectif est de permettre la fusion des mondes numérique et physique en proposant des "objets physiques" pour interagir avec le monde numérique. Aujourd’hui, l’ordinateur a même tendance à disparaître purement et simplement, se fondant par exemple dans les murs comme dans les applications de "maison intelligente" étudiées dans le cadre de l’EquipEx Amiqual4Home*, auquel Joëlle Coutaz contribue en tant que professeur émérite.

*https://amiqual4home.inria.fr

 

Télécharger la lettre papier
(PDF - env. 1,5 Mo)