Inscription
L'inscription à cet événement est gratuite et est disponible sur ce lien.
Résumé
Pour réussir à faire de la musique, il faut communiquer ses intentions expressives et trouver un bon équilibre entre l'anticipation et l'adaptation dans des dynamiques spatiotemporelles et corporelles très fines. Elle représente donc un terrain fertile pour tester et valider empiriquement des modèles comportementaux de coordination qui expliquent la synchronisation et l'entraînement. Alors que la recherche musicale avec des métronomes auditifs adaptatifs a offert des aperçus fondamentaux sur les processus (neuro)physiologiques qui sous-tendent la synchronisation sensorimotrice, l'introduction d'interactions plus incarnées permettant des indices expressifs ou un miroir de la posture pourrait apporter un éclairage supplémentaire sur les processus spontanés et les stratégies planifiées dans la création musicale réussie. La technologie de la réalité étendue est naturellement équipée pour cette tâche, car sa nature numérique permet un contrôle flexible des stimuli, la reproduction des tests empiriques et l'intégration de stimuli humain·e·s animés en temps réel. En tant que telle, la recherche intégrant ces agents virtuels incarnés dans des paradigmes de partenaires virtuels a déjà permis d'acquérir des connaissances fondamentales sur les mécanismes de synchronisation des humains coordonnateurs.
Cette session présentera un pipeline technologique permettant d'effectuer des recherches sur la coordination et la synchronisation sensorimotrice à l'aide d'agents virtuels incarnés dans un paradigme de partenaire virtuel. La session présentera les étapes de la capture, du traitement et de l'affichage de stimuli multimodaux, comme cela a été fait dans une étude antérieure (Van Kerrebroeck et al., 2021). Plus précisément, les données de capture de mouvement seront brièvement présentées et importées dans la plateforme du moteur de jeu Unity. Ces données seront utilisées pour animer un humain·e virtuel·le, contrôlé à l'aide du modèle Kuramoto pour la synchronisation. Les stimuli auditifs seront importés à l'aide des applications Ableton et Pure Data, avec une note sur les latences et la synchronisation des données. La session démontrera l'affichage de stimuli dans des écrans de réalité virtuelle et augmentée montés sur le crâne, suivi d'une discussion ouverte sur l'enregistrement des données et les configurations multi-utilisateur·rice·s.
Van Kerrebroeck, B., Caruso, G., & Maes, P.-J. (2021). A methodological framework for assessing social presence in music interactions in virtual reality. Frontiers in Psychology, 12, 663725.
Bio
Bavo Van Kerrebroeck est chercheur post-doctoral au sein du Input Devices and Music Interaction Lab (IDMIL) et du Sequence Production Lab de l'Université McGill. Il s'intéresse à la cognition musicale incarnée, à la réalité étendue et à l'interaction homme-machine. Il a obtenu une maîtrise en ingénierie et en informatique musicale à la KU Leuven et à l'Université de la Sorbonne (IRCAM) et a terminé son doctorat à l'Université de Gand (IPEM). Il travaille actuellement au développement d'agents musicaux pour étudier les qualités émergentes dans la création musicale collective.