Meta Quest 3/3S : les caméras frontales utilisables par les applications mais...

Le très attendu Passthrough Camera API du Meta Quest est désormais accessible à tous les développeurs pour expérimenter et tester de nouvelles fonctionnalités. Cependant, il est pour l’instant impossible d’intégrer cette API dans les applications destinées au Meta Horizon Store.

Disponibilité et contexte

Cette nouvelle fonctionnalité avait été annoncée lors de la Meta Connect 2024 en septembre dernier, avec la promesse d’une sortie avant la fin de l’année. Raté mais elle est désormais disponible en version expérimentale pour les Quest 3 et Quest 3S. Tout développeur peut ainsi s’y essayer et distribuer des applications (APKs) sur des plateformes alternatives comme SideQuest. Néanmoins, l’API n’est pas encore autorisée dans les applications proposées sur le Store officiel de Meta Horizon.

Meta a déjà adopté cette approche pour d’autres nouvelles API par le passé : un déploiement initial pour expérimenter, suivi d’une ouverture plus large au fil des mois. À noter que certains studios et développeurs avaient déjà pu tester l’API en amont. Par ailleurs, Meta organisera une session avec Niantic, Creature et Resolution pour en discuter lors de la GDC (Game Developers Conference) la semaine prochaine.

Qu’est-ce que l’accès à la caméra Passthrough ?

Lorsque vous lancez une application utilisant le « Passthrough Camera API », celle-ci demande l’autorisation d’accéder aux caméras de votre casque, à l’image de l’autorisation micro sur un smartphone. Si vous l’acceptez, l’application peut alors utiliser les caméras couleur frontales du Quest ainsi que les données associées (intrinsèques des lentilles, position du casque, etc.). Grâce à cet accès, il est possible d’exécuter des modèles de vision par ordinateur personnalisés ou d’exploiter des services d’IA dans le cloud.

Applications possibles :

• Balayage et suivi de QR codes ;
• Détection de plateaux de jeux de société pour y intégrer des personnages virtuels ;
• Reconnaissance d’objets physiques dans des usages professionnels (guide d’assemblage, logistique, etc.) ;
• Intégration de la vision par ordinateur dans des modèles d’intelligence artificielle (LLM) hébergés dans le cloud.

Les seules vraies limites sont la puissance de calcul de la puce XR2 Gen 2, qui doit gérer la vision par ordinateur en temps réel, et le budget que le développeur est prêt à consacrer aux modèles hébergés à distance (Cloud).

Performances et considérations techniques

Le flux vidéo Passthrough peut atteindre une définition de 1280×960 par caméra à 30 fps, avec une latence annoncée de 40 à 60 ms. Cela signifie que cette solution n’est pas idéale pour suivre des objets en mouvement rapide (par exemple, des contrôleurs personnalisés) ni pour reconnaître de très petits détails ou du texte de faible taille.

Sur le plan logiciel, il n’existe pas à proprement parler de « Meta Quest Camera Passthrough API », ni d’extension d’OpenXR spécifique. Les développeurs doivent simplement demander l’autorisation « Headset Cameras » de l’OS Horizon, puis exploiter l’API Camera2 d’Android pour récupérer à la fois la vidéo et la position du casque (la pose étant obtenue via OpenXR).

Pour Unity, les développeurs peuvent accéder à ces caméras avec l’API WebCamTexture du moteur, la même que celle utilisée pour les caméras de smartphones ou webcams PC. Cependant, une contrainte majeure subsiste : WebCamTexture ne gère qu’une caméra à la fois, et non deux simultanément.

Conclusion

L’API Passthrough Camera pour Quest 3 et Quest 3S représente une avancée intéressante pour la réalité mixte : un accès direct aux caméras frontales qui ouvre la voie à des expériences plus riches en reconnaissance d’objets, en tracking et en interaction avec l’environnement. Actuellement, il est possible de faire des tests et de distribuer des applications expérimentales via SideQuest ou d’autres canaux alternatifs, mais l’utilisation de cette API dans les applications du Meta Horizon Store reste, pour l’instant, interdite. A noter, du côté de Google, Android XR permettra cet accès dès sa sortie, ce qui explique certainement le changement de braquet de Meta sur ce sujet. . 

Il est donc fort probable que Meta finisse par autoriser son usage sur le Store d’ici quelques mois, après une première phase d’expérimentations. Les développeurs ont donc tout intérêt à profiter de cette période pour se familiariser avec la technologie et préparer des expériences innovantes en vue d’une sortie grand public dans un avenir proche.

Eric de Brocart Fondateur - Directeur de publication
Magicien professionnel, quand je ne suis pas derrière mon PC, photographe amateur, quand j'ai le temps et surtout un grand passionné de réalité virtuelle.
Me suivre :