Les technologies numériques font partie intégrante de notre travail théâtral depuis 2019. Nous considérons que nous jouons un rôle de pionnier dans les domaines de la réalité augmentée et de l’intelligence artificielle, une compétence que nous souhaitons continuer à approfondir et à développer à l’avenir afin que Berlin reste un laboratoire de musique et de danse-théâtre de renommée internationale, tourné vers l’avenir.

« Nous avons commencé en 2019, à l’occasion du centenaire du Bauhaus, lorsqu’on nous a demandé de travailler avec la technologie la plus avancée dans le domaine du théâtre. À l’époque, nous avons visualisé des formes abstraites et des images historiques et les avons mises en relation avec des performeurs dans « Verrat der Bilder » (La trahison des images). C’est ainsi que nous avons découvert cette technologie, sur laquelle repose désormais la machine AR Loop. Mais nous avons rapidement compris que l’être humain réel ne devait pas disparaître derrière la technologie, ce qui a donné naissance à la forme que nous présentons aujourd’hui. La possibilité d’intégrer des données de mouvement grâce aux combinaisons de capture de mouvement a joué un rôle important dans le processus, et le confinement lié au coronavirus nous a donné le temps nécessaire pour le développement. Les lunettes de réalité augmentée restent toutefois l’outil indispensable à ce type de mise en scène. Toutes les autres projections dans l’espace, souvent appelées à tort « hologrammes », reposent sur des astuces en deux dimensions (le « fantôme de Pepper » de 1862). La documentation de ces illusions crée des attentes qui ne peuvent être satisfaites dans la réalité, ou seulement à l’aide de la technologie des lunettes. » [Oliver Proske en conversation avec Thomas Irmer | Theater der Zeit 9/2022]

Depuis 2022, nous travaillons avec le Prof. Dr.-Ing. Steffen Borchers Tigasson (HTW Berlin) au développement d’un système de suivi par caméra basé sur l’IA. L’objectif est qu’à l’avenir, les artistes n’aient plus à s’adapter à la technologie, mais que celle-ci s’adapte de manière intelligente et flexible à leurs mouvements. Cela devrait ouvrir de nouvelles possibilités d’expression artistique sur scène et, à long terme, rendre les processus de travail plus efficaces. Au cours de cette coopération, nous avons déjà développé notre propre algorithme de trilatération, spécialement adapté aux exigences de notre théâtre. Grâce à l’analyse ciblée des erreurs théoriques, il permet une précision de positionnement nettement supérieure. Une autre phase du projet consiste à combiner le système de suivi par caméra basé sur l’IA avec un système de localisation Decawave et à réaliser une fusion de capteurs basée sur l’IA. Cela devrait permettre une avancée technologique significative et atteindre l’objectif recherché depuis longtemps, à savoir une solution précise et automatisée de suivi des artistes sur scène.

La caméra reste automatiquement allumée

[Campus Stories Online Magazin de la HTW Berlin | Gisela Hüttinger | 2023]

Les personnes sur scène bougent rapidement, sautent, disparaissent, reviennent. Leurs expressions faciales et certains de leurs gestes resteraient invisibles sans les gros plans animés de leurs visages et de leurs corps projetés sur l’écran derrière la scène. Ainsi, même les spectateurs assis au dernier rang peuvent percevoir la colère, la résignation ou l’espoir. Ce n’est pas rare chez la compagnie berlinoise « Nico and the Navigators ». Cette troupe maintes fois récompensée est connue pour intégrer des composants numériques dans ses spectacles. Souhaitant développer son langage artistique, elle a demandé l’aide du Prof. Dr.-Ing. Steffen Borchers-Tigasson, professeur en génie électrique à la HTW Berlin. Cet expert en automatisation et en intelligence artificielle (IA) perfectionne actuellement la technologie des caméras sur la base de l’IA.

« Techniquement réalisable depuis quelques années seulement »

Lorsque la demande lui est parvenue, le professeur Borchers-Tigasson n’a pas hésité une seconde. Il avait déjà assisté à des représentations de « Nico and the Navigators » à titre privé, y compris celles avec des projections vidéo. « La compagnie est extrêmement douée en technologie », dit-il. La mission consistant à développer un système de suivi automatique des caméras basé sur l’IA l’a immédiatement intéressé. « Techniquement, cela n’est réalisable que depuis quelques années », explique le scientifique. En même temps, il prend beaucoup de plaisir à mettre un nouvel outil entre les mains des artistes et à leur ouvrir ainsi de nouvelles possibilités.

Plus de liberté pour les danseurs et les comédiens

Donner plus de liberté aux danseurs et aux acteurs sur scène, telle était précisément la motivation du client Oliver Proske. Il a fondé « Nico and the Navigators » avec Nicola Hümpel il y a 25 ans. En tant que producteur et directeur général, ce designer industriel et scénographe de formation est responsable de la scène numérique, du concept et de la technologie appropriée pour de nombreuses productions. Cette technologie est devenue trop statique à son goût. « Elle limite les artistes », estime-t-il. En effet, les caméras doivent être préréglées à la seconde près et tous les participants doivent se trouver exactement à des points bien définis sur la scène pour que les gros plans projetables soient possibles. « Pour gagner en flexibilité, nous avons longtemps nous-mêmes avec un système de capteurs », raconte Proske. Mais les résultats esthétiques étaient si insatisfaisants qu’ils ont décidé de faire appel à des experts.

Un système intelligent est recherché

On souhaite un système de caméras intelligent qui suive automatiquement les artistes sur scène, mais de manière totalement flexible, quelle que soit la rapidité de leurs mouvements, et qui produise des images pouvant être sélectionnées en temps réel par la régie pour les projections. « Les exigences techniques sont élevées », admet le Prof. Dr.-Ing. Borchers-Tigasson.

Reconnaître les personnes et les suivre

La caméra doit tout d’abord être mobile et capable de zoomer et de dézoomer de manière autonome. Ensuite, elle ne doit pas se contenter de transmettre des données d’images sous forme de pixels. Elle doit plutôt reconnaître les personnes, les suivre de manière fiable et, en cas de doute, les retrouver lorsqu’elles quittent brièvement la scène et reviennent plus tard, ce qui arrive régulièrement dans la danse et le théâtre. Et lorsque deux caméras sont braquées sur une même scène, le système doit être capable de distinguer où se trouve une même personne. L’œil humain ou le cerveau n’ont aucun mal à le faire grâce à la couleur des cheveux, la taille ou d’autres caractéristiques. La caméra a beaucoup plus de mal. Elle doit effectuer une sorte de reconnaissance faciale. « C’est précisément là qu’intervient l’intelligence artificielle », explique le Prof. Dr.-Ing. Borchers-Tigasson.

« Mais personne ne veut d’une caméra robotisée »

La question se pose de savoir si un système aussi intelligent rendra à moyen terme superflu le travail des personnes derrière la caméra. Toutes les personnes impliquées sont convaincues que ce ne sera pas le cas. « Personne ne veut d’une caméra robotisée », affirme Oliver Proske. Cette technologie permettrait plutôt de créer des formes d’expression artistique totalement nouvelles. C’est précisément ce qui intéresse « Nico and the Navigators ».

Une réalisation artistique exigeante

Voici comment imaginer le scénario dans lequel cette nouvelle technologie est utilisée : pendant la représentation, la caméraman reçoit des images en temps réel des caméras positionnées dans la salle. Elle peut modifier leurs réglages à l’aide d’une « interface », c’est-à-dire une interface. La caméraman décide alors quels acteurs mettre au premier plan, si la caméra doit se rapprocher, sous quel angle filmer et quelles images montrer en coulisses. « C’est un processus créatif et exigeant qui impose des exigences plus élevées tout en offrant une plus grande liberté artistique », estime le Prof. Dr.-Ing. Borchers-Tigasson, qui parle de « réalisation caméra ».

Des étudiants en génie électrique ont également participé

Le scientifique a développé le système de caméras intelligentes étape par étape en collaboration avec la compagnie. Des étudiants en génie électrique ont également participé à la première phase avec leurs mémoires et leurs projets. « Il n’a pas été difficile de susciter l’intérêt des étudiants », se réjouit le professeur. À l’automne, il a accompagné la compagnie dans les salles de répétition et a adapté la technologie à l’environnement et à l’intrigue.

Test pratique en décembre au Radialsystem de Berlin

En décembre 2023, le système de caméras intelligentes sera testé pour la première fois en conditions réelles lors de la reprise de la pièce « sweet surrogates ».

Si tout se passe bien, il sera également utilisé pour la représentation au Radialsystem de Berlin, où « Nico and the Navigators » se produisent régulièrement. Le professeur Borchers-Tigasson ne sera bien sûr pas dans le public, mais en coulisses, où il aura sans doute le trac.