Montage Spatial / The Buster expérience

Dans le cadre de notre axe de recherche « Médiation spatiale : Design d’expérience, storytelling, nouvelles formes de médiations sensibles dans des espaces numériques », nous développons une recherche sur la notion de montage en réalité virtuelle.

Cette recherche se concrétise à travers un partenariat avec l’équipe ANIMA d’Inria sur le “Montage spatial” et dans un projet expérimental « The Buster Experience » développé par Rémi Sagot-Duvauroux dans le cadre de son projet de thèse : Structures spatio-temporelles des réalités virtuelles.


Montage Spatial : quels outils pour la mise en scène en réalité virtuelle immersive?

Dans ses applications narratives et artistiques, la réalité virtuelle immersive nécessite des techniques de mise en scène « réactives » (scénographie, découpage, montage) capables de s’adapter en temps réel aux mouvements et aux regards du spectateur/acteur (immersant). Dans le cadre de ce projet, nous proposons de dresser un état de l’art des techniques de mise en scène automatique développées dans les domaines de l’informatique graphique, de l’intelligence artificielle et du jeu vidéo, et d’étudier les possibilités de les appliquer dans le contexte de la réalité virtuelle immersive.

Contexte et motivations

Une des caractéristiques du cinéma est de faire accepter au spectateur des discontinuités spatiales et temporelles. Par le montage et sans quitter son siège, le spectateur de cinéma peut potentiellement être projeté à tout instant à travers le temps et l’espace.

Cependant, celui-ci est passif et entraîné dans un récit prédéfini, son point de vue sur l’action est totalement pris en charge par le metteur en scène.

À l’inverse, le spectateur (ou « immersant ») de réalité virtuelle est actif et peut se déplacer librement, mais il est contraint par les limites de l’espace de son environnement et de la durée de son expérience.

Verrous scientifiques

Le spectateur (ou « immersant ») est libre de ses mouvements et des directions dans lesquelles il regarde le monde virtuel qui s’offre à lui. Dans ces conditions, il est très difficile de planifier à l’avance le découpage de l’expérience VR. Il est donc nécessaire de mettre en place des outils d’analyse en temps réel de son comportement et de son point de vue, afin de placer les ruptures spatio-temporelles (ellipses, changements de lieux) à des moments pertinents et faisant sens avec la progression dramatique.

Une seconde difficulté est l’absence d’études permettant d’évaluer la pertinence des techniques classiques de montage dans le contexte de la réalité virtuelle (par exemple : cut, champ-contrechamp, rapprochement, éloignement, télé-portation, montage parallèle, flashback, flashforward, etc…).

Objectifs

Nous proposons de spécifier un paradigme et un protocole expérimental de recherche sur  la base d’ une dramaturgie à définir ensemble.

L’objet de cette étude est d’identifier des outils de mise en scène permettant à l’immersant de vivre une expérience immersive, tout en donnant au metteur en scène la possibilité de l’entraîner dans un récit.

Nous nous appuierons pour cela sur les règles du montage cinématographique mais également sur d’autres techniques de mise en scène explorées par le théâtre et par le jeu vidéo.

Applications

En tant qu’outil de mise en scène VR, piloter l’expérience vécue par le spectateur pour le guider dans une narration.

En tant qu’outil de diffusion, automatiser en temps réel (en direct) le cadrage et le montage de la retransmission d’une expérience immersive à l’intention d’un public spectateur suivant l’action sur un écran ( vidéoprojection sur site, retransmission web).

Déroulement de l’étude

Septembre 2020: État de l’art des méthodes de contrôle de caméra et montage automatique par ordinateur. Il s’agira ici de mettre à jour et compléter les états de l’art existants en prenant en compte les résultats récents présentés dans les conférences et revues scientifiques.

Décembre 2020: Revue critique de l’état de l’art face aux problématiques spécifiques de la réalité virtuelle immersive. Nous passerons ainsi en revue les problématiques spécifiques à la réalité virtuelle immersive et les adaptations nécessaires pour appliquer les méthodes de l’état de l’art dans ce contexte.

Mars 2021: Protocole de recherche sur la mise en scène en temps réel des mondes virtuels immersifs. Nous proposerons un programme de recherche  pour implémenter et étudier expérimentalement les méthodes les plus prometteuses dans des environnements virtuels immersifs narratifs.

Ce projet est piloté par Rémi Ronfard, directeur de l’équipe ANIMA d’Inria et chercheur associé EnsadLab et Francois Garnier responsable du groupe de recherche Spatial Media, enseignant et chercheur à L’ensadLab. Il  est soutenu dans le cadre de la Convention de recherche Ministère de la Culture/Inria.


The Buster Experience

Le projet “The Buster Experience” est la base créative et expérimentale du projet de recherche en thèse que développé Rémi Sagot-Duvauroux au sein du groupe Spatial Media: Structures spatio-temporelles des réalités virtuelles: Le concept de montage en tant que vecteur narratif et moyen d’expression artistique dans les expériences numériques immersives.

Dans le film Sherlock Jr. (1924), le personnage interprété par Buster Keaton se précipite à l’intérieur de l’écran de cinéma pour sauver sa bien aimée. Malheureusement pour lui, au moment où il saute dans l’écran, un point de montage (“cut”) le transporte dans un autre lieu. Le personnage est entré dans le film mais pas là où il aimerait être. Il est victime du cinéma, prisonnier du montage et du champ de la caméra.

Ce projet s’inscrit dans une réflexion sur les techniques de mise en scène “réactives” (scénographie, découpage, montage) capables de s’adapter en temps réel aux mouvements et aux regards de l’immersant. Il explore les techniques de mises en scène automatiques développées dans les domaines de l’informa que graphique, de l’intelligence artificielle et du jeu vidéo afin d’étudier les possibilités de les appliquer dans le contexte de la réalité virtuelle immersive.

Pour analyser les résultats et répondre aux questions de recherche que pose ce projet, nous procédons à l’enregistrement et l’analyse des mouvements de l’immersant dans l’espace virtuel. Nous établirons également des questionnaires pour le monteur et l’immersant afin de récolter leurs impressions subjectives de l’expérience. À la manière des “play studies” proposées par Mathieu Triclot (2011) dans le jeu vidéo, il ne s’agit plus d’étudier l’oeuvre en tant qu’objet formel mais plutôt en tant qu’expérience à mi-chemin entre l’immersant et l’interface.