Tracking audio pour Live VR – Orange Lab

Orange Lab

Vecteurs d’innovation où sont développées de nouvelles technologies, les Orange Labs œuvrent à l’amélioration des services de télécommunication et des expériences numériques.

C’est sur le site Orange Atalante à Rennes qu’un projet visant à améliorer l’expérience de réalité virtuelle (VR) en direct a été entrepris.

Objectifs

L’objectif est de pouvoir suivre les artistes en mouvement pour un mixage audio spatialisé en temps réel et de les éclairer grâce à une poursuite automatisée. Ce projet est particulièrement pertinent pour les applications de musique live, sportives et théâtrales en VR, ainsi que pour la télévision et les podcasts en formats Dolby Atmos, Binaural ou Ambisonic.

Technologies Utilisées

Système de tracking K SYSTEM de Naostage : K SYSTEM permet de suivre les artistes sans nécessiter de balises sur les performeurs ou dans leurs poches. Le suivi se fait uniquement par des caméras.
Logiciel Spat Revolution de FLUX:: : Utilisé pour la spatialisation en temps réel des chanteuses.
Équipements de Kariba Productions et Virtuel Audio : La performance a été filmée en VR 12K et enregistrée avec une qualité audio de haute définition.

Déroulement du Projet

Le projet a impliqué les artistes June Caravel et Gwendolyne Coronado, dont les positions étaient envoyées au logiciel Spat Revolution pour la spatialisation en temps réel et à l’éclairage pour un suivi automatisé. Voici les principales étapes :

Captation en Studio :
- Utilisation du K SYSTEM en studio à une hauteur de 3m50 et à une distance minimale de 3m des sources.
- Transmission des données via OSC vers Spat Revolution.
- Captation avec des caméras VR 360 pour un mixage ambisonique.
Réalisation et Enregistrement :
- La performance « Ma star à moi » a été filmée en VR 12K par Éric VIDAL de Kariba Productions.
- Enregistrement audio réalisé par Eric Munch de Virtuel Audio.

Résultats

Le résultat fut sans appel: un suivi efficace et une intégration plus que fluide. En effet, comme prévu, le tracking des artistes a permis une spatialisation audio en temps réel sans balises et ce sans accros de l’installation jusqu’au résultat final. De plus, l’OSC de Naostage a parfaitement fonctionné avec Spat Revolution, assurant une coordination optimale entre le son et la lumière.

Conclusion

Le projet mené à l’Orange Lab de Rennes démontre l’efficacité et l’innovation dans l’utilisation du tracking sans fil pour les performances en direct en VR. Grâce à la collaboration avec plusieurs technologies et experts, l’équipe a pu offrir une expérience immersive et en temps réel, ouvrant de nouvelles possibilités pour les spectacles vivants et les captations VR.

Remerciements

Merci à Marc Emerit, Christophe Daguet et Arnaud Lefort de l’Orange Lab, Éric VIDAL de Kariba Productions, Alexis Reymond et Nathan Van de Hel de Naostage, Nicolas Erard de FLUX::, ainsi qu’aux artistes June Caravel, Gwendolyne Coronado et Vincent Thevenot pour leur participation et leur engagement dans ce projet.