Technologie numérique pour la scène, de la réalité augmentée au système de suivi par caméra basé sur l’IA
Les technologies numériques font partie intégrante de notre travail théâtral depuis 2019. Nous considérons que nous jouons un rôle de pionnier dans les domaines de la réalité augmentée et de l’intelligence artificielle, une compétence que nous souhaitons continuer à approfondir et à développer à l’avenir afin que Berlin reste un laboratoire de musique et de danse-théâtre de renommée internationale, tourné vers l’avenir.
« Nous avons commencé en 2019, à l’occasion du centenaire du Bauhaus, lorsqu’on nous a demandé de travailler avec la technologie la plus avancée dans le domaine du théâtre. À l’époque, nous avons visualisé des formes abstraites et des images historiques et les avons mises en relation avec des performeurs dans « Verrat der Bilder » (La trahison des images). C’est ainsi que nous avons découvert cette technologie, sur laquelle repose désormais la machine AR Loop. Mais nous avons rapidement compris que l’être humain réel ne devait pas disparaître derrière la technologie, ce qui a donné naissance à la forme que nous présentons aujourd’hui. La possibilité d’intégrer des données de mouvement grâce aux combinaisons de capture de mouvement a joué un rôle important dans le processus, et le confinement lié au coronavirus nous a donné le temps nécessaire pour le développement. Les lunettes de réalité augmentée restent toutefois l’outil indispensable à ce type de mise en scène. Toutes les autres projections dans l’espace, souvent appelées à tort « hologrammes », reposent sur des astuces en deux dimensions (le « fantôme de Pepper » de 1862). La documentation de ces illusions crée des attentes qui ne peuvent être satisfaites dans la réalité, ou seulement à l’aide de la technologie des lunettes. » [Oliver Proske en conversation avec Thomas Irmer | Theater der Zeit 9/2022]
Depuis 2022, nous travaillons avec le Prof. Dr.-Ing. Steffen Borchers Tigasson (HTW Berlin) au développement d’un système de suivi par caméra basé sur l’IA. L’objectif est qu’à l’avenir, les artistes n’aient plus à s’adapter à la technologie, mais que celle-ci s’adapte de manière intelligente et flexible à leurs mouvements. Cela devrait ouvrir de nouvelles possibilités d’expression artistique sur scène et, à long terme, rendre les processus de travail plus efficaces. Au cours de cette coopération, nous avons déjà développé notre propre algorithme de trilatération, spécialement adapté aux exigences de notre théâtre. Grâce à l’analyse ciblée des erreurs théoriques, il permet une précision de positionnement nettement supérieure. Une autre phase du projet consiste à combiner le système de suivi par caméra basé sur l’IA avec un système de localisation Decawave et à réaliser une fusion de capteurs basée sur l’IA. Cela devrait permettre une avancée technologique significative et atteindre l’objectif recherché depuis longtemps, à savoir une solution précise et automatisée de suivi des artistes sur scène.
La caméra reste automatiquement allumée
[Campus Stories Online Magazin de la HTW Berlin | Gisela Hüttinger | 2023]
Les personnes sur scène bougent rapidement, sautent, disparaissent, reviennent. Leurs expressions faciales et certains de leurs gestes resteraient invisibles sans les gros plans animés de leurs visages et de leurs corps projetés sur l’écran derrière la scène. Ainsi, même les spectateurs assis au dernier rang peuvent percevoir la colère, la résignation ou l’espoir. Ce n’est pas rare chez la compagnie berlinoise « Nico and the Navigators ». Cette troupe maintes fois récompensée est connue pour intégrer des composants numériques dans ses spectacles. Souhaitant développer son langage artistique, elle a demandé l’aide du Prof. Dr.-Ing. Steffen Borchers-Tigasson, professeur en génie électrique à la HTW Berlin. Cet expert en automatisation et en intelligence artificielle (IA) perfectionne actuellement la technologie des caméras sur la base de l’IA.
« Techniquement réalisable depuis quelques années seulement »
Lorsque la demande lui est parvenue, le professeur Borchers-Tigasson n’a pas hésité une seconde. Il avait déjà assisté à des représentations de « Nico and the Navigators » à titre privé, y compris celles avec des projections vidéo. « La compagnie est extrêmement douée en technologie », dit-il. La mission consistant à développer un système de suivi automatique des caméras basé sur l’IA l’a immédiatement intéressé. « Techniquement, cela n’est réalisable que depuis quelques années », explique le scientifique. En même temps, il prend beaucoup de plaisir à mettre un nouvel outil entre les mains des artistes et à leur ouvrir ainsi de nouvelles possibilités.
Plus de liberté pour les danseurs et les comédiens
Donner plus de liberté aux danseurs et aux acteurs sur scène, telle était précisément la motivation du client Oliver Proske. Il a fondé « Nico and the Navigators » avec Nicola Hümpel il y a 25 ans. En tant que producteur et directeur général, ce designer industriel et scénographe de formation est responsable de la scène numérique, du concept et de la technologie appropriée pour de nombreuses productions. Cette technologie est devenue trop statique à son goût. « Elle limite les artistes », estime-t-il. En effet, les caméras doivent être préréglées à la seconde près et tous les participants doivent se trouver exactement à des points bien définis sur la scène pour que les gros plans projetables soient possibles. « Pour gagner en flexibilité, nous avons longtemps nous-mêmes avec un système de capteurs », raconte Proske. Mais les résultats esthétiques étaient si insatisfaisants qu’ils ont décidé de faire appel à des experts.
Un système intelligent est recherché
On souhaite un système de caméras intelligent qui suive automatiquement les artistes sur scène, mais de manière totalement flexible, quelle que soit la rapidité de leurs mouvements, et qui produise des images pouvant être sélectionnées en temps réel par la régie pour les projections. « Les exigences techniques sont élevées », admet le Prof. Dr.-Ing. Borchers-Tigasson.
Reconnaître les personnes et les suivre
La caméra doit tout d’abord être mobile et capable de zoomer et de dézoomer de manière autonome. Ensuite, elle ne doit pas se contenter de transmettre des données d’images sous forme de pixels. Elle doit plutôt reconnaître les personnes, les suivre de manière fiable et, en cas de doute, les retrouver lorsqu’elles quittent brièvement la scène et reviennent plus tard, ce qui arrive régulièrement dans la danse et le théâtre. Et lorsque deux caméras sont braquées sur une même scène, le système doit être capable de distinguer où se trouve une même personne. L’œil humain ou le cerveau n’ont aucun mal à le faire grâce à la couleur des cheveux, la taille ou d’autres caractéristiques. La caméra a beaucoup plus de mal. Elle doit effectuer une sorte de reconnaissance faciale. « C’est précisément là qu’intervient l’intelligence artificielle », explique le Prof. Dr.-Ing. Borchers-Tigasson.
« Mais personne ne veut d’une caméra robotisée »
La question se pose de savoir si un système aussi intelligent rendra à moyen terme superflu le travail des personnes derrière la caméra. Toutes les personnes impliquées sont convaincues que ce ne sera pas le cas. « Personne ne veut d’une caméra robotisée », affirme Oliver Proske. Cette technologie permettrait plutôt de créer des formes d’expression artistique totalement nouvelles. C’est précisément ce qui intéresse « Nico and the Navigators ».
Une réalisation artistique exigeante
Voici comment imaginer le scénario dans lequel cette nouvelle technologie est utilisée : pendant la représentation, la caméraman reçoit des images en temps réel des caméras positionnées dans la salle. Elle peut modifier leurs réglages à l’aide d’une « interface », c’est-à-dire une interface. La caméraman décide alors quels acteurs mettre au premier plan, si la caméra doit se rapprocher, sous quel angle filmer et quelles images montrer en coulisses. « C’est un processus créatif et exigeant qui impose des exigences plus élevées tout en offrant une plus grande liberté artistique », estime le Prof. Dr.-Ing. Borchers-Tigasson, qui parle de « réalisation caméra ».
Des étudiants en génie électrique ont également participé
Le scientifique a développé le système de caméras intelligentes étape par étape en collaboration avec la compagnie. Des étudiants en génie électrique ont également participé à la première phase avec leurs mémoires et leurs projets. « Il n’a pas été difficile de susciter l’intérêt des étudiants », se réjouit le professeur. À l’automne, il a accompagné la compagnie dans les salles de répétition et a adapté la technologie à l’environnement et à l’intrigue.
Test pratique en décembre au Radialsystem de Berlin
En décembre 2023, le système de caméras intelligentes sera testé pour la première fois en conditions réelles lors de la reprise de la pièce « sweet surrogates ».
Si tout se passe bien, il sera également utilisé pour la représentation au Radialsystem de Berlin, où « Nico and the Navigators » se produisent régulièrement. Le professeur Borchers-Tigasson ne sera bien sûr pas dans le public, mais en coulisses, où il aura sans doute le trac.
D’après ma première expérience, je dirais que c’est effectivement quelque chose qui peut avoir un avenir au théâtre. Quelles sont les perspectives ?
Pour reprendre les mots de Walter Benjamin, l’une des missions de l’art est de créer une demande dont le temps n’est pas encore venu de satisfaire pleinement. En tant qu’artistes, nous ne pouvons que présenter notre travail, c’est au public et aux critiques d’en évaluer l’impact. Comme je l’ai déjà dit, « Leben rendern » consiste à tester les possibilités technologiques de manière adéquate en termes de contenu.
Oliver Proske de NICO AND THE NAVIGATORS en conversation avec Thomas Irmer
Après avoir examiné l'ensemble du système d'exploitation du théâtre dans la première partie du dossier de juin, l'essai de Jonas Zipf, les pages suivantes sont consacrées aux nouvelles applications technologiques : l'extension virtuelle de l'espace scénique, un échange sur l'avenir de la critique théâtrale et, pour la première fois, la publication d'un texte de pièce écrit par une IA.
Le logiciel que vous avez développé permet de découvrir un espace hybride où des éléments artificiels se mêlent à une performance réelle. Le principe repose sur les lunettes de réalité augmentée déjà souvent utilisées au théâtre, mais élargit le spectre. De quoi s'agit-il exactement ?
On pourrait dire que nous créons un paysage onirique immatériel dans lequel des événements passés se superposent à des événements actuels : les interprètes réels sont confrontés à des images imaginaires, ce qui ouvrira certainement de nouvelles possibilités narratives à l'avenir, dans le prolongement de la réalité virtuelle, qui jusqu'à présent consistait principalement à créer une illusion cinématographique. La technologie que nous utilisons permet de créer une rencontre spatiale en direct entre des corps réels et des éléments virtuels en mouvement, dont la tridimensionnalité ne pouvait jusqu'à présent être imaginée que dans l'imaginaire.
Concrètement, il s'agit d'une sorte de mannequins articulés qui bougent avec les danseurs réels dans votre production « Du musst Dein Leben rendern ! ».
Ces personnages animés ont d'abord été animés par les deux interprètes eux-mêmes, dont les mouvements ont été enregistrés à l'aide de combinaisons de capteurs. Les danseurs dialoguent donc avec leurs propres images, mais seul le public équipé de lunettes peut le percevoir. Pendant les répétitions, les acteurs doivent donc répéter les mouvements qui correspondent exactement à ceux de leur partenaire. La chorégraphie est synchronisée de manière classique avec la musique. Nous avons la possibilité de faire apparaître les figurines dans n'importe quelle taille et en n'importe quelle quantité, donc sous différentes formes, et ainsi de montrer l'harmonie et le conflit entre le créateur et la créature. Cela éveille naturellement une multitude d'associations, de la Genèse à Pygmalion et Frankenstein, en passant par les débats actuels sur les opportunités et les risques de l'intelligence artificielle.
Qui est à l'origine de ce projet ?
La danseuse et chorégraphe Yui Kawaguchi travaille depuis des années avec NICO AND THE NAVIGATORS et a entre-temps découvert les médias numériques comme extension de son expression créative. Elle a développé le projet avec les deux danseurs, enregistré leurs mouvements et dirigé les répétitions. Nicola Hümpel est venue en tant que metteuse en scène consultante. Sur le plan technique, il faut savoir que nous avons développé le logiciel indépendamment de la chorégraphie qui a été créée avec, ce qui rend les choses encore plus compliquées. Mais cela permet aussi de créer une technologie aux possibilités illimitées, qui peut être utilisée de manière intuitive. À l'avenir, le système devrait également être utilisé pour d'autres projets très différents.
Ce n'est donc pas un hasard si vous avez commencé par la danse et que vous n'avez pas développé un théâtre basé sur le texte.
Nous avons commencé en 2019, à l'occasion du centenaire du Bauhaus, lorsque nous avons été invités à travailler avec la technologie la plus avancée dans le domaine du théâtre. À l'époque, nous avons visualisé des formes abstraites et des images historiques et les avons mises en relation avec des performeurs dans « Verrat der Bilder » (La trahison des images). C'est ainsi que nous avons découvert cette technologie sur laquelle repose désormais la machine AR Loop. Mais nous avons rapidement compris que l'être humain réel ne devait pas disparaître derrière la technologie, ce qui a donné naissance à la forme que nous présentons aujourd'hui.
Une partie importante du processus a été la possibilité d'intégrer des données de mouvement grâce à des combinaisons de capture de mouvement, ce que le confinement lié au coronavirus nous a permis de développer. Les lunettes de réalité augmentée restent toutefois l'outil indispensable à ce type de mise en scène.
Toutes les autres projections dans l'espace, souvent appelées à tort « hologrammes », sont basées sur des astuces en deux dimensions (le « fantôme de Pepper » de 1862). La documentation de ces illusions crée des attentes qui ne peuvent toutefois pas être satisfaites dans la réalité, ou seulement avec la technologie des lunettes.
D'après ma première expérience, je dirais que c'est effectivement quelque chose qui peut avoir un avenir au théâtre. Quelles sont les perspectives ?
Pour reprendre les mots de Walter Benjamin, l'une des missions de l'art est de créer une demande dont le temps n'est pas encore venu de satisfaire pleinement. En tant qu'artistes, nous ne pouvons que présenter notre travail, c'est aux spectateurs et aux critiques d'en évaluer l'effet. Comme je l'ai dit, « Leben rendern » consiste à tester les possibilités technologiques de manière adéquate en termes de contenu. Le prochain projet de NICO AND THE NAVIGATORS sera d'ailleurs à nouveau entièrement analogique : « Fleisch und Geist » (Chair et esprit).//
Les billets pour cette date ne sont pas encore disponibles. Laissez votre adresse postale pour être averti lorsque des billets sont disponibles.
