archive Collectif et Cie - Musiques Inventives d'Annecy (1982-2011)

IRISIS

Interface pour une Relation entre l'Image
et le Son par Informatique et en Simultané

De nouvelles lutheries informatiques

Dans l ’histoire des lutheries traditionnelles, le timbre sonore a été généré par un contact physique entre le musicien et son instrument. Aujourd ’hui, le développement de l ’électronique et de l ’informatique a permis d ’imaginer des instruments capables de répondre à de nouvelles gestuelles, en remplaçant ce contact physique par un lien virtuel ;les différents modes de jeu que l ’on peut ainsi obtenir se trouvent alors libérés de la résistance que la matière oppose au geste musical. Cela nous oblige à revoir les notions de toucher et de doigté associées aux lutheries traditionnelles et implique une nouvelle définition du rôle de l ’interprète dans l ’écriture musicale. En effet, plutôt que de travailler le geste de manière à tirer le meilleur profit du timbre de l ’instrument, ne pourrait-on pas admettre la musicalité naturelle du geste lui-même et construire l ’instrument qui pourra le retranscrire sur le plan sonore ?


Dans l ’idée de répondre à cette attente, Collectif &Cie a souhaité dès 1982, sous l'impulsion de Philippe Moënne-Loccoz et de Christian Helfenstein, entamer un programme de recherche destiné à créer des outils informatiques qui serviront de base à la conception de nouvelles lutheries. Ceux-ci ne doivent effectivement pas être considérés comme des instruments à part entière, mais comme des interfaces permettant au musicien de définir un mode de jeu qui puisse répondre en temps réel à un type de gestuelle donné.


Une longue collaboration scientifique et technique avec l ’IUT et l ’ESIA a permis de réaliser en partie cet outils IRISIS régulièrement utilisé dans les domaines de la composition, du jeu instrumental, de la projection sonore, ainsi que dans d ’autres applications artistiques et pédagogiques.

IRISIS est né d ’une recherche sur la pluridisciplinarité, notamment menée en direction de l ’image. Des spectacles associant plasticiens, peintres, danseurs et musiciens ont fait apparaître un besoin de travailler en amont avec des outils «généraux » permettant des interconnections entre les diverses disciplines mises en jeu.

Cet objectif initial a dû être corrigé, car la machine ne pouvait pas assimiler la démarche artistique du danseur ou du plasticien. Le système IRISIS a alors été développé pour répondre à de nouveaux types de commande gestuelles et offrir ainsi des modes de jeu musicaux variés que l ’on ne retrouve pas sur les i n s t r u me n t s traditionnels. L ’idée consistait à réaliser une interface qui permette de dégager les caractéristiques essentielles du mouvement et de les appliquer à la gestion des évènements sonores. En analysant les données fournies par une caméra vidéo et en les traduisant en information Midi, IRISIS permet ainsi à l ’utilisateur de générer des sons dans un espace virtuel, sans contact avec une matière résistante ;le geste devient alors musical et la réponse sonore apparaît comme intimement liée aux mouvements de l ’image.

Objectifs

Créer des sons :

-sans contact physique avec une matière «résistante »,
-grâce à une gestuelle nouvelle qui les sculpte, les décrit dans l ’espace,
-par l ’intermédiaire d ’images vidéo et/ou infographiques,
-dans un espace virtuel.

La chaîne audiovisuelle est automatisée afin de laisser travailler l ’imaginaire du musicien :les grands mouvements ainsi que les variations infimes sont détectés et rendus exploitables au goût du créateur de sons.

Obtenir les moyens d ’associer des sons à des images soit en temps réel soit en différé.
Apprendre l ’effet du geste musical sur le son par automation.
Observer l ’action des couleurs et des tessitures «images » sur les sons, faire «résonner » des tableaux peints sur ordinateur, , développer une recherche entre les outils sons et images (micro-ordinateurs identiques),

Permettre au musicien de travailler en temps réel et en interaction avec des événements «imaginaires » complexes.

Accompagné d ’un simple caméscope, IRISIS a été régulièrement utilisé comme instrument en France et à l ’étranger, lors de concerts des ensembles Trio Collectif, Solstice et Sol3.

Son champ d ’applications s ’étend aussi à d ’autres domaines tels que la composition en studio d ’œuvres électroacoustiques ou la réalisation de musiques pour des créations vidéo. Enfin, de nombreuses actions pédagogiques en relation avec la musique contemporaine sont organisées autour du système IRISIS et son côté ludique en fait un outil particulièrement adapté à la conception d ’installations interactives.

Principe de fonctionnement

Le principe du système IRISIS consiste à analyser en temps réel les variations de couleur à l ’intérieur de zones de l ’image définies par l ’utilisateur. Ces informations sont ensuite traduites en données Midi destinées à piloter des synthétiseurs ou des échantillonneurs, selon les directives de l ’utilisateur. Actuellement, IRISIS peut scruter jusqu ’à 192 zones distinctes en conservant le débit de 25 images par seconde du format vidéo, ce qui permet de générer des grappes sonores en totale synchronisation avec les mouvements de l ’image.

Conçu par Philippe Moënne-Loccoz, le système IRISIS a été développé par Christian Helfenstein et Adrien Lefèvre ;la nouvelle version logicielle a été réalisée par Olivier Toulemonde.

voir video irisis : commande gestuelle

Nouveaux développements (fonctionne maintenant sur MAX/MSP/Jitter pour des applications propres à Philippe Moënne-Loccoz)

Version logicielle d ’IRISIS

Cette version (actuellement utilisée sur Macintosh)reprend les principales fonctionnalités de la version matérielle précédente, auxquelles ont été apportées quelques améliorations. Elle est sans cesse en développement au studio Collectif &Cie en partenariat avec plusieurs compositeurs et vidéastes (Philippe Moënne-Loccoz , Olivier Toulemonde, Hervé Bailly-Bazin, Nicolas Sordet, Adrien Lefèvre etc. ). Elle doit répondre de façon plus pertinente aux attentes des utilisateurs, en leur proposant notamment une plus grande liberté de configuration des paramètres sonores et une inversion du système :les sons créent des images.

Expérimentation vers la reconnaissance de forme

Deux élèves-ingénieur de l’ESIA (Ecole Supérieure d’Ingénieurs d’Annecy) ont travaillé à l’élaboration d’une nouvelle version où est intégré un modèle de reconnaissance de forme.

L’ordinateur est alors capable d ’analyser une forme devant la caméra et de lui associer un son dont 3 paramètres dépendent de la situation de la forme dans l’espace (x, y, z). Seize formes peuvent être enregistrées.

Par exemple, on peut enregistrer une forme de main ouverte devant la caméra et lui associer un son de synthétiseur. Dès que l’ordinateur reconnaît cette forme, bouger la main vers le haut ou le bas pourra changer la hauteur du son, bouger la main latéralement pourra augmenter ou baisser le volume, et éloigner ou rapprocher la main de la caméra pourra filtrer plus ou moins le son.

Autres exemples : une danseuse adoptant une position devant la caméra pourra déclencher le son correspondant à cette position, l’archet d ’un violoncelliste pourra être reconnu et sa position dans l'espace analysée afin de filtrer le son de l’instrument en fonction des coups d ’archet.