Grenoble INP Rubrique Institut 2022

Réalité virtuelle : une expérience artistique et technique inédite

Pour la première fois, une danseuse et des musiciens situés dans 3 pays différents ont été réunis virtuellement pour un spectacle inédit. Une première technique et artistique, à laquelle a assisté une centaine de professionnels à l’occasion d’un congrès numérique européen à Vilnius, en Lituanie.

Imaginez : une danseuse à Grenoble, des musiciens à Barcelone, d’autres à Poznan en Pologne… et une musicienne seule à Vilnius en Lituanie face à des spectateurs bien réels. C’est le pari un peu fou mais néanmoins réussi début novembre par des équipes d’Inria, de Grenoble INP, du Supercomputing and Networking Center (PSNC) à Poznan et de la fondation i2cat à Barcelone, dans le cadre d’un projet porté par Visionair, infrastructure européenne soutenue par le 7ème Programme-cadre de recherche et de développement (PCRD). Au sein de Grenoble INP, les équipes MOAIS et MORPHEO du laboratoire Jean Kuntzmann (LJK) et le laboratoire G-SCOP qui pilote l'infrastructure Visionair, ont été à la manœuvre.
Visionair a coopéré à cette opération d'envergure avec le projet européen SPECIFI, dont l'objet est la mise en relation d'espaces de créativité.

La danseuse, qui se trouvait dans les locaux de Grimage, la plate-forme de réalité virtuelle commune à Inria et Grenoble INP à Montbonnot, était accompagnée par des musiciens situés en Espagne, en Pologne et en Lituanie. Evoluant dans une pièce monochrome, son corps et ses mouvements étaient capturés par des caméras dont les images ont été utilisées pour reconstruire un modèle 3D de l’artiste en temps réel. Dans un premier temps, le profil de la danseuse est redécoupé pour élaborer un modèle constitué d’un ensemble de faces triangulaires en 3D (polyèdre). Ce dernier est ensuite placé avec les musiciens dans une scène virtuelle. La danseuse est colorée par plaquage de textures reproduites à partir des images capturées en temps réel.

Le tout est envoyé via le réseau en haut débit à Vilnius, et projeté sur un écran sous les yeux des spectateurs et de l'accompagnatrice lituanienne. Lors du spectacle, la danseuse a également dansé avec ses clones, démontrant ainsi que le modèle numérique obtenu est reproductible à l’infini. « Pour obtenir une synchronisation parfaite de la danse sur la musique, il a fallu jongler avec les temps de calculs et de transmission audio et vidéo d’un pays à l’autre, explique Frédéric Noël, enseignant à Grenoble INP – Génie industriel et chercheur au laboratoire GSCOP. Avec plus de moyens, notamment des calculateurs plus puissants et des systèmes de projection 3D à Vilnius, la danseuse aurait pu être visualisée en 3D en stéreoscopie ou sous forme d’hologramme dans la salle de spectacle. »

Au-delà de la reconstruction 3D, il y a derrière cette expérience inédite la démonstration d’une capacité certaine des scientifiques grenoblois à maîtriser les flux réseaux. « Toutes les données doivent circuler simultanément en haut débit (allant jusqu’à 1 Gbit/seconde), ce qui en l'occurence a été réalisé sur un réseau non sécurisé en débit. » On peut bien sûr également imaginer des applications dans le domaine de la téléprésence, qui permettrait à deux personnes éloignées l’une de l’autre de se retrouver dans un espace virtuel avec une forte sensation de présence de l’autre, mais aussi en robotique industrielle par exemple. Cela ouvre tout un champ d’interrogation sur les usages, l'acceptabilité et la performance de ces techniques de téléprésence.

Cette expérience a été réalisée dans le cadre des accords internationaux de l'infrastructure  Visionair, qui a coordonné le soutien technique des équipes de PSNC à Poznan et d'i2cat à Barcelone, de la plateforme Grimage et du laboratoire G-SCOP. « Si les technologies de base existent et sont réparties en Europe, la force de Visionair est l'organisation de cas d’usages intégrant ces différentes ressources et la mise à disposition pour des utilisateurs non spécialistes des technologies sous-jacentes. Ce que nous faisons aujourd'hui pour des artistes peut être reproduit dans bien d'autres contextes où visualisation et interaction sont requises. »

Vous retrouverez des explications sur cette expérience inédite dans le journal régional de France 3 du 13 novembre, et sur France Inter au journal de 7h.

http://alpes.france3.fr/2013/11/13/premiere-mondiale-le-clone-d-une-danseuse-en-direct-356773.html

http://www.franceinter.fr/emission-le-journal-de-7h-journal-de-7h-169

Contacts :

  • Frédéric Noël : laboratoire G-SCOP, coordinateur scientifique VISIONAIR
  • Bruno Raffin : membre de l'équipe MOAIS (LIG)
  • Jean-Sebastien Franco : membre de l'équipe MORPHEO (laboratoire Jean Kuntzmann (LJK))

"Les travaux ici décrits ont été financés par la communauté européene dans le cadre du 7ième programme cadre de recherche et développement via l'agrément de financement de l'infrastructure (I3) VISIONAIR 262044."