La caméra reste automatiquement allumée

Les personnes sur scène bougent rapidement, sautent, disparaissent, reviennent. Leurs expressions faciales et certains de leurs gestes resteraient invisibles sans les gros plans animés de leurs visages et de leurs corps projetés sur l'écran derrière la scène. Ainsi, même les spectateurs assis au dernier rang peuvent percevoir la colère, la résignation ou l'espoir. Ce n'est pas rare chez la compagnie berlinoise « Nico and the Navigators ». Cette troupe maintes fois récompensée est connue pour intégrer des éléments numériques dans ses spectacles. Souhaitant développer son langage artistique, elle a demandé l'aide du Prof. Dr.-Ing. Steffen Borchers-Tigasson, du département d'électrotechnique de la HTW Berlin. Cet expert en automatisation et en intelligence artificielle (IA) perfectionne actuellement la technologie des caméras sur la base de l'IA.

« Techniquement réalisable depuis quelques années seulement »

Lorsque la demande lui est parvenue, le professeur Borchers-Tigasson n'a pas hésité une seconde. Il avait déjà assisté à des représentations de « Nico and the Navigators » à titre privé, y compris à celles avec projections vidéo. « La compagnie est extrêmement férue de technologie », explique-t-il. La mission consistant à développer un système de suivi automatique des caméras basé sur l'IA l'a immédiatement intéressé. « Techniquement, cela n'est réalisable que depuis quelques années », précise le scientifique. En même temps, il prend beaucoup de plaisir à mettre un nouvel outil entre les mains des artistes et à leur ouvrir ainsi de nouvelles possibilités.

Plus de liberté pour les danseurs et les comédiens

Donner plus de liberté aux danseurs et aux comédiens sur scène, telle était précisément la motivation du client Oliver Proske. Il a fondé « Nico and the Navigators » avec Nicola Hümpel il y a 25 ans. En tant que producteur et directeur général, ce designer industriel et scénographe de formation est responsable de la scène numérique, du concept et de la technologie appropriée pour de nombreuses productions. Cette technologie est devenue trop statique à son goût. « Elle limite les artistes », estime-t-il. En effet, les caméras doivent être préréglées à la seconde près et tous les participants doivent se trouver exactement à des points précis de la scène pour que les gros plans projetables soient possibles. « Pour gagner en flexibilité, nous avons longtemps expérimenté nous-mêmes un système de capteurs », explique M. Proske. Mais les résultats esthétiques étaient tellement insatisfaisants qu'il a fallu faire appel à des experts.

Un système intelligent est recherché

L'objectif est de disposer d'un système de caméras intelligent qui suive automatiquement les artistes sur scène, mais de manière totalement flexible, quelle que soit la vitesse de leurs mouvements, et qui produise des images pouvant être sélectionnées en temps réel par la régie pour les projections. « Les exigences techniques sont élevées », admet le Prof. Dr.-Ing. Borchers-Tigasson.

Reconnaître les personnes et les suivre

La caméra doit tout d'abord être mobile et capable de zoomer et de dézoomer de manière autonome. Ensuite, elle ne doit pas se contenter de transmettre des données d'images sous forme de pixels. Elle doit plutôt reconnaître les personnes, les suivre de manière fiable et, en cas de doute, les retrouver lorsqu'elles quittent brièvement la scène et reviennent plus tard, ce qui arrive régulièrement dans la danse et le théâtre. Et lorsque deux caméras sont braquées sur une même scène, le système doit être capable de distinguer où se trouve une même personne. Grâce à la couleur des cheveux, la taille ou d'autres caractéristiques, cela est facile pour l'œil humain ou le cerveau. La caméra a beaucoup plus de mal. Elle doit effectuer une sorte de reconnaissance faciale. « C'est précisément là qu'intervient l'intelligence artificielle », explique le Prof. Dr.-Ing. Borchers-Tigasson.

« Mais personne ne veut d'une caméra robotisée »

La question se pose de savoir si un système aussi intelligent rendra à moyen terme superflu l'être humain derrière la caméra. Toutes les personnes impliquées sont convaincues que ce ne sera pas le cas, bien au contraire. « Personne ne veut d'une caméra robotisée », affirme Oliver Proske. Cette technologie permettrait plutôt de créer des formes d'expression artistique totalement nouvelles. C'est précisément ce qui intéresse « Nico and the Navigators ».

Une réalisation artistique exigeante

Voici comment imaginer le scénario dans lequel cette nouvelle technologie est utilisée : pendant la représentation, la caméraman reçoit des images en temps réel des caméras positionnées dans la salle. Elle peut modifier leurs réglages en direct à l'aide d'une « interface ». La caméraman décide alors quels acteurs mettre au premier plan, si la caméra doit se rapprocher, sous quel angle filmer et quelles images montrer dans les coulisses. « C'est un processus créatif et exigeant qui impose des contraintes plus strictes tout en offrant une plus grande liberté artistique », estime le Prof. Dr.-Ing. Borchers-Tigasson, qui parle de « réalisation caméra ».

Des étudiants en électrotechnique ont également participé

Le scientifique a développé le système de caméras intelligentes étape par étape, en collaboration avec la compagnie. Des étudiants en électrotechnique ont également participé à la première phase avec leurs mémoires et leurs projets. « Il n'a pas été difficile de susciter l'intérêt des étudiants », se réjouit le professeur. À l'automne, il a accompagné la compagnie dans les salles de répétition et a adapté la technologie à l'environnement et à l'intrigue.

Test pratique en décembre au Radialsystem de Berlin

En décembre 2023, le système de caméras intelligentes sera testé pour la première fois en conditions réelles lors de la reprise de la pièce « sweet surrogates ». Si tout se passe bien, il sera également utilisé pour la représentation au Radialsystem de Berlin, où « Nico and the Navigators » se produisent régulièrement. Le professeur Borchers-Tigasson ne sera bien sûr pas dans le public, mais en coulisses, où il aura sans doute le trac.