[Date Prev][Date Next][Thread Prev][Thread Next][Date Index][Thread Index]

Ph.D. position on sensori-motor learning in gesture-based sonic interactive systems



Ph.D. scholarship on sensori-motor learning in gesture-based sonic interactive systems

A full-time Ph.D. scholarship for 3 years is available on gesture- sound interaction, with the laboratory of Neurophysics and Physiology (http://neurophys.biomedicale.univ-paris5.fr CNRS UMR 8119) et l'IRCAM (STMS Ircam-CNRS-UPMC, http:// imtr.ircam.fr, http://pds.ircam.fr). This contract is linked to project LEGOS funded by the French Agency for Research, started on October 1st 2011. The scholarship is available immediately. The “école doctorale” is ED3C (Cognition, Brain, Behaviour, http://ed3c.snv.jussieu.fr )

General Goal
Development of interactive sound systems based on gesture/motion. Experimental evaluation of the sensori-motor learning targeting different applications: music, medicine (rehabilitation) and interactive sound design.


Research context
The central idea of the LEGOS project is to fertilize interdisciplinary expertises in sonic gesture control technologies with neurosciences, especially regarding sensori-motor learning. We believe that these aspects are not sufficiently taken into account in the developments of interactive sound systems. A better understanding of the sensori-motor learning mechanisms of the gesture / sound coupling is necessary to provide efficient methodologies for their evaluation and optimization.

Such advances would significantly expand the usability of today's gesture-based interactive sound systems, often developed empirically.

The objective of the LEGOS project is to study systematically the coupling quality in gesture-sound systems using gestural interfaces. For this, we will evaluate the sensori-motor learning, and particularly its evolution over time, in various interactive devices. The aims are therefore to develop, evaluate and compare interactive systems, with the mid-term goal of offering renewed paradigms for gestural interfaces control of digital media (including video games and sound design), as well as prototypes for medical applications such as rehabilitation.

The project will use extensively an experimental approach, considering these three perspectives

1) "Sound control": The first point corresponds to a case of sensori- motor learning where the goal is to produce a given sound through the manipulation of a gestural interface, as in the case of digital musical instruments. The sensori-motor learning is assessed in terms of the quality of the sound production.

2) "Learning to gesture with audio feedback" This second point corresponds to the sensori-motor learning where the goal is to make a gesture guided by an audio feedback. The sensori-motor learning in this case is assessed in terms of the gesture repeatability

3) "Interactive Sound Design": This third point corresponds to sensori- motor learning in the case of tangible interfaces, where the goal is the proper handling of an object. The sensori-motor learning in this case is assessed through the quality of the objet manipulation.

The joined analysis of the experiments results should provide us with a comprehensive perspective, leading to novel methodologies for the gestural interfaces design.

Location and supervision
The Ph.D. work will be located at LNP (Paris 6th arrondissement) and at IRCAM (Paris 4th arrondissement). The work will be co-supervised by LNP (Sylvain Hanneton) and Ircam (Frédéric Bevilacqua et Patrick Susini – Ph.D adviser). The work will imply collaborations with the various researchers of the LEGOS project.

Candidate profile
Education in engineering (e.g. computer sciences, signal processing, acoustics, physics) with an interest in neurosciences
or
Education in neurosciences with an interest in technology for sound and music

Desired Skills
- French (level B1 for academic registration) and English
- Statistics for data analysis (use of software such as statistica or R)
- Design of experimental protocol
- Programming: matlab, audio software such as max/msp or pure data

Contact
frederic.bevilacqua@xxxxxxxx
______________________________________________________________________________

Proposition de thèse : Apprentissage sensori-moteur dans les systèmes interactifs sonores basés sur le geste
(version anglaise également disponible ci-dessous)

Une bourse de thèse pour trois ans dans le domaine de l'interaction geste-son est proposée par le laboratoire de Neurophysique et Physiologie (CNRS UMR 8119, http://neurophys.biomedicale.univ- paris5.fr) et l'IRCAM (STMS Ircam-CNRS-UPMC, http://imtr.ircam.fr, http://pds.ircam.fr ). Ce contrat est lié au projet ANR-Blanc LEGOS, qui a débuté le 1er octobre 2011. Le poste est à pourvoir dés que possible. L'école doctorale proposée est l'ED3C (Cerveau-Cognition-Comportement, http://ed3c.snv.jussieu.fr )

Thématique
Développement de systèmes interactifs geste-son et évaluation expérimentale de l'apprentissage sensori-moteur des dispositifs dans différents domaines d’application : musical, médical et design sonore.

Contexte de recherche
Cette thèse s’effectuera dans le contexte du projet ANR LEGOS, dont l’idée centrale est de croiser des expertises avancées sur les technologies de contrôle sonore par le geste avec des problématiques liées aux neurosciences et aux sciences cognitives de l’audition, concernant en particulier les apprentissages sensori-moteurs. Nous pensons en effet que ces aspects sont insuffisamment intégrés aux développements des systèmes sonores interactifs. Une meilleure compréhension des mécanismes d’apprentissage du couplage geste/son pour la réalisation d’une action est nécessaire pour proposer des méthodologies efficaces pour leur évaluation et optimisation. Cela permettra de dépasser de manière significative les limites auxquelles sont confrontées les systèmes sonores interactifs actuels basés sur le geste, souvent développés de manière empirique.

L’objectif du projet Legos est d’étudier de manière systématique l’évaluation de la qualité du couplage geste-son dans des systèmes sonores basés sur une interface gestuelle. Pour cela, nous évaluerons l’apprentissage sensori-moteur, et en particulier son évolution dans le temps, dans divers dispositifs interactifs. Il s’agit donc à la fois de développer, d’évaluer et comparer des systèmes interactifs afin de proposer à moyen terme des nouvelles interfaces gestuelles de contrôle de médias numériques (dont les jeux vidéos et le design sonore) ainsi que des applications médicales comme la rééducation. Le projet permettra d’apporter un nouvel éclairage sur la perception des sons dans un processus actif engageant une action de l’auditeur.

Le projet s’appuie sur des méthodes expérimentales, considérant les trois éclairages suivants

1) « contrôle sonore» : Ce premier point correspond à un cas d’apprentissage sensori-moteur où la finalité est de produire un son donné grâce à la manipulation d’une interface gestuelle, comme dans le cas des instruments de musique numérique. L’apprentissage sensorimoteur est évalué au niveau de la qualité du son produit.

2) «apprentissage de geste avec retour sonore » : Ce deuxième point correspond à l’apprentissage sensori-moteur dans le cas où la finalité est d’effectuer un geste donné en s’aidant d’un retour sonore. L’apprentissage sensorimoteur est dans ce cas observé au niveau de la qualité/performance du geste reproduit.

3)« de design sonore interactif » : Ce troisième point correspond à l’apprentissage sensori-moteur dans le cas d’interfaces tangibles, où la finalité est la manipulation correcte d’un objet. Dans ce dernier cas l’apprentissage sensorimoteur est jugé à travers la manipulation de l’objet interactif pour répondre à un usage donné.

Lieu et supervision
La thèse se déroulera au LNP (Paris 6ème) et a l’IRCAM (Paris 4ème). Il s'agira d’un double encadrement entre le LNP (Sylvain Hanneton) et l’Ircam (Frédéric Bevilacqua et Patrick Susini - directeur de thèse). Le travail de recherche sera effectué en collaboration avec d’autres chercheurs impliqués dans le projet.

Formation du candidat et intérêt
Cursus en sciences de l’ingénieur (par exemple informatique, traitement du signal, acoustique, physique) avec un intérêt pour les sciences cognitives
ou
Cursus en neurosciences sciences cognitives avec un intérêt pour les technologies de la musique et du son.

Compétences souhaitées
- anglais : lu parlé écrit
- statistiques descriptives et tests, logiciels par exemple statistica ou R
- conception de protocoles expérimentaux et plans d'expérience
- programmation : matlab, logiciel audios comme par exemple max/msp ou pure data

Contact
frederic.bevilacqua@xxxxxxxx