Digital Mycelium – Musique Visuelle

This video was made as part of a visual music course at the UDEM. The performance initially planned in the amphitheatre was redesigned for the confinement due to covid-19. It was a real challenge. We had to find a way for three people to be able to create visuals and compose them together simultaneously (while staying at home in Montreal!).

Oria produced the music from her computer (interpreting the data she received from her plants) and controlled her own visuals (which were generated from Simon’s computer and which she could control in OSC). The analysis of her music was sent to me in OSC, which I received in a first computer that served as a gateway. This one redirected the OSC to a second, more powerful computer in Unity. Then these visuals were transmitted in NDI to the first computer, which then sent the images back to Simon in real time, using an NDI sending software over the internet, courtesy of MediaLooks. All of our visuals are audio-reactive and were prepared before the performance. Simon was in charge of compositing our three visuals, adding effects and creating transitions between them to dress the music, all in TouchDesigner.

This diagram summarizes what was happening during the performance, especially in terms of data flow. We also recorded what was happening on our screens to make a MakingOff montage.

Cette vidéo a été réalisée dans le cadre d’un cours de musique visuelle, à l’UDEM. La performance initialement prévue en amphithéâtre a été repensée pour le confinement dû au covid-19. Cela a été un vrai challenge. Nous devions trouver un moyen pour que trois personnes puissent créer des visuels et les composer ensemble simultanément (tout en restant chacun chez soi, à Montréal !).

Oria produisait la musique depuis son ordinateur (en interprétant les données qu’elle recevait de ses plantes) et contrôlait ses propres visuels (qui étaient générés depuis l’ordinateur de Simon et qu’elle pouvait contrôler en OSC). L’analyse de sa musique m’était envoyée en OSC, que je recevais dans un premier ordinateur qui servait de passerelle. Celui-ci redirigeais l’OSC vers un second ordinateur, plus puissant, dans Unity. Puis ces visuels étaient transmis en NDI au premier ordinateur, qui renvoyait alors les images en temps réel à Simon, en utilisant un logiciel d’envoi NDI par internet, grâcieusement prêté par MediaLooks. Tous nos visuels sont audio-réactifs et ont étés préparés avant la performance. De son côté, Simon s’occupait du compositing de nos trois visuels, ajoutant des effets et créant des transitions entre ces derniers pour habiller la musique, le tout dans TouchDesigner.

Ce schéma résume ce qu’il se passait pendant la performance, notamment en terme de flux de données. On a aussi enregistré ce qu’il se passait sur nos écrans pour en faire un montage MakingOff.