Dans le cadre de notre axe de recherche « Médiation spatiale : Design d’expérience, storytelling, nouvelles formes de médiations sensibles dans des espaces numériques », nous développons une recherche sur la notion de montage et plus généralement sur la notion de récit en réalité virtuelle.
Cette recherche se concrétise à travers un partenariat avec l’équipe ANIMA d’Inria autour du theme “quels outils pour la mise en scène en réalité virtuelle immersive” , des échanges interdisciplinaires avec spécialiste de esthétique de la congnition et des media (Séminaires Vocabulaires du Virtuels) , et dans la réalisation de projets expérimentaux tel que « The Buster Experience » ou “Rythme(s) d’espaces” développés par Rémi Sagot-Duvauroux dans le cadre de son projet de thèse : Structures spatio-temporelles des réalités virtuelles.
Etudes : quels outils pour la mise en scène en réalité virtuelle immersive?
Dans ses applications narratives et artistiques, la réalité virtuelle immersive nécessite des techniques de mise en scène « réactives » (scénographie, découpage, montage) capables de s’adapter en temps réel aux mouvements et aux regards du spectateur/acteur (immersant). Dans le cadre de ce projet, nous proposons de dresser un état de l’art des techniques de mise en scène automatique développées dans les domaines de l’informatique graphique, de l’intelligence artificielle et du jeu vidéo, et d’étudier les possibilités de les appliquer dans le contexte de la réalité virtuelle immersive.
Une des caractéristiques du cinéma est de faire accepter au spectateur des discontinuités spatiales et temporelles. Par le montage et sans quitter son siège, le spectateur de cinéma peut potentiellement être projeté à tout instant à travers le temps et l’espace.
À l’inverse, le spectateur (ou « immersant ») de réalité virtuelle est libre de ses mouvements et des directions dans lesquelles il regarde le monde virtuel qui s’offre à lui. Dans ces conditions, il est très difficile de planifier à l’avance le découpage de l’expérience VR. Il est donc nécessaire de mettre en place des outils d’analyse en temps réel de son comportement et de son point de vue, afin de placer les ruptures spatio-temporelles (ellipses, changements de lieux) à des moments pertinents et faisant sens avec la progression dramatique.
Nous proposons de spécifier un paradigme et un protocole expérimental de recherche sur la base d’ une dramaturgie à définir ensemble.
L’objet de cette étude est d’identifier des outils de mise en scène permettant à l’immersant de vivre une expérience immersive, tout en donnant au metteur en scène la possibilité de l’entraîner dans un récit.
Ce projet est piloté par Rémi Ronfard, directeur de l’équipe ANIMA d’Inria et chercheur associé EnsadLab et Francois Garnier responsable du groupe de recherche Spatial Media, enseignant et chercheur à L’ensadLab. Il est soutenu dans le cadre de la Convention de recherche Ministère de la Culture/Inria.
Ce projet s’inscrit dans une réflexion sur les techniques de mise en scène “réactives” (scénographie, découpage, montage) capables de s’adapter en temps réel aux mouvements et aux regards de l’immersant. Il explore les techniques de mises en scène automatiques développées dans les domaines de l’informa que graphique, de l’intelligence artificielle et du jeu vidéo afin d’étudier les possibilités de les appliquer dans le contexte de la réalité virtuelle immersive.
Montage Spatial – expérimentation.
Quand le cadre devient une distance d’interaction, le montage un emboîtement d’espaces, le spectateur, un actualisateur d’expérience, comment faire récit?
Ce projet s’inscrit dans une réflexion sur les techniques de mise en scène “réactives” (scénographie, découpage, montage) capables de s’adapter en temps réel aux mouvements et aux regards de l’immersant. Il explore les techniques de mises en scène automatiques développées dans les domaines de l’informa que graphique, de l’intelligence artificielle et du jeu vidéo afin d’étudier les possibilités de les appliquer dans le contexte de la réalité virtuelle immersive.
Expérimentation de Thèse de Rémi Sagot-Duvauroux: Structures spatio- temporelles des réalités virtuelles.
The Buster Experience
Le projet “The Buster Experience” est la base créative et expérimentale du projet de recherche en thèse que développé Rémi Sagot-Duvauroux au sein du groupe Spatial Media: Structures spatio-temporelles des réalités virtuelles: Le concept de montage en tant que vecteur narratif et moyen d’expression artistique dans les expériences numériques immersives.
Dans le film Sherlock Jr. (1924), le personnage interprété par Buster Keaton se précipite à l’intérieur de l’écran de cinéma pour sauver sa bien aimée. Malheureusement pour lui, au moment où il saute dans l’écran, un point de montage (“cut”) le transporte dans un autre lieu. Le personnage est entré dans le film mais pas là où il aimerait être. Il est victime du cinéma, prisonnier du montage et du champ de la caméra.
Pour analyser les résultats et répondre aux questions de recherche que pose ce projet, nous procédons à l’enregistrement et l’analyse des mouvements de l’immersant dans l’espace virtuel. Nous établirons également des questionnaires pour le monteur et l’immersant afin de récolter leurs impressions subjectives de l’expérience. À la manière des “play studies” proposées par Mathieu Triclot (2011) dans le jeu vidéo, il ne s’agit plus d’étudier l’oeuvre en tant qu’objet formel mais plutôt en tant qu’expérience à mi-chemin entre l’immersant et l’interface.