Sommaire d'une activité

(Retour à toutes les activités)

Suivi des mouvements du chef d'orchestre

( #repérage, #infographie, #images de synthèse, #réalité virtuelle )

Un chef d'orchestre dirige un ensemble de musiciens. Il doit bien sûr coordonner le jeu des musiciens en battant la mesure, mais il doit aussi diriger l'interprétation de l'oeuvre au programme. Un assistant chef virtuel (en réalité virtuelle) pourrait, par exemple, s'occuper de la partie technique de battre la mesure tout en permettant au réel chef d'orchestre de consacrer plus de temps à la partie purement artistique.

Le but est donc essentiellement de séparer la partie mécanique de la direction d'un orchestre de la partie plus artistique de l'interprétation de l'oeuvre. On souhaite donc créer une représentation virtuelle de l'assistant chef permettant de techniquement diriger un orchestre.

Deux objectifs ont été identifiés:

1. l'analyse de mouvements du chef d'orchestre en temps réel pendant un concert pour contrôler des images, des éclairages, etc.
2. la création d'un assistant chef d'orchestre virtuel, où le chef virtuel dirige les instrumentistes et le chef humain dirige le chef virtuel

Nous prévoyons construire un assistant chef d'orchestre virtuel qui sera projeté en 3D sur un écran translucide et qui sera contrôlé par P. Bellomia, chef d'orchestre, au moyen d'ordinateurs. Les chironomies ou gestuelles de cet assistant chef d'orchestre auront été collectionnées lors de captures de gestes obtenues au cours des répétitions d'orchestre; ces gestes seront perfectionnés en laboratoire. Le but principal de cette création vise à une précision absolue du geste tout en conservant l'expressivité et goût artistique qu'influera le véritable chef d'orchestre positionné à la console de contrôle.

Des étudiants ingénieurs travailleront à la conception du logiciel permettant d'associer les mouvements aux images et autres événements multimédia et aux deux interfaces importantes pour le chef virtuel : le contrôle par le chef humain du chef virtuel, et la présentation des intentions par le chef virtuel aux instrumentistes. Nous avons déjà développé une première version du logiciel de captation des gestes 3D, sans en faire une analyse de sens ou d'émotion, leur donnant une bonne base. En collaboration avec le chef d'orchestre, le compositeur, et les instrumentistes, ils devront déterminer les paramètres importants à extraire pour bien représenter l'intention et les émotions voulues visuellement.

Publications :

• Publications sur ce thème

Formation de personnel hautement qualifié (PHQ) :

• Victoire Louis, février 2018 à septembre 2018, étudiante M.Sc. (C)
     Analyse de la variabilité des mouvements d'un chef d'orchestre