Dear all,
(apologies for cross-posting)
We have received full funding for a 3-year PhD thesis as part of a recently accepted French research project.
Application deadline is 1-Oct-2018.
Please forward details to any prospective candidates.
English (French follows)
Doctoral thesis
Navigation aid for the visually impaired:
Virtual Reality acoustic simulations for interior navigation preparation
Laboratories IJLRA (Institut Jean le Rond d’Alembert, UMR 7190 CNRS – Sorbonne Université) and IRCAM (Institut de Recherche et Coordination Acoustique/Musique, UMR 9912 STMS IRCAM – CNRS – Sorbonne Université)
Doctoral school École Doctorale Sciences Mécaniques, Acoustique, Électronique et Robotique (SMAER): ED 391
Discipline Acoustics (Virtual Reality, Audio, Interaction, Aide Handicap)
Co-supervision Brian KATZ (DR-CNRS, IJLRA) et Markus NOISTERNIG (CR, IRCAM)
Keywords Virtual reality, 3D audio, spatial sound, spatial cognition, room acoustics, visual impairments, navigation aid
Research context This thesis project is placed in the context of the ANR 2018-2021 project RASPUTIN (Room Acoustic Simulations for Perceptually Realistic Uses in Real-Time Immersive and Navigation Experiences). In the domains of sound synthesis and virtual reality (VR), much effort had been placed on the quality and realism of sound source renderings, from text-to-speech to musical instruments to engine noise for use in driving and flight simulators. The same degree of effort cannot be seen with regards to the spatial aspects of sound synthesis and virtual reality, particularly with respect to the acoustics of the surrounding environment. Room acoustic simulation algorithms have for decades been improving in their ability to predict acoustic measurement metrics like reverberation time from geometrical acoustic models, at a cost of higher and higher computational requirements. However, it is only recently that the perceptual quality of these simulations are being explored beyond their musical applications. In real-time systems, where sound source, listener, and room architecture can vary in unpredicted ways, investigation of the perceptual quality or realism has been hindered by necessary simplifications to algorithms. This project aims to improve real-time simulation quality towards perceptual realism.
The capability of a real-time acoustic simulation to provide meaningful information to a visually impaired user through a virtual reality exploration is the focus of the project. As a preparatory tool prior to visiting a public building or museum, the virtual exploration will improve user's knowledge of the space and navigation confidence during their on-site visit, as compared to traditional methods such as tactile maps.
The thesis work entails participating in the creation and evaluation of a training system application for visually impaired individuals. Tasks involve the development of an experimental prototype in collaboration with project partners with a simplified user interface for the construction of virtual environments to explore. Working in conjunction with a selected user group panel who will remain engaged in the project for the duration, several test cases of interest will be identified for integration into the prototype and subsequent evaluations. The prototype will be developed by the thesis student in collaboration with Novelab (audio gaming) and IRCAM/STMS-CNRS (developers of the audio rendering engine). Design and evaluation will be carried out in collaboration with the Centre de Psychiatrie et Neurosciences and StreetLab/Institut de la Vision. The ability to communicate in French would be beneficial, but is not mandatory at the start of the project.
Evaluations will involve different experimental protocols in order to assess the accuracy of the mental representation of the learned environments. From the point of view of the metrics relation preservation, participants will have to carry out experimental spatial memory tests as well as onsite navigation tasks.
Candidate profile: We are looking for dynamic, creative, and motivated candidates with scientific curiosity, strong problem solving skills, the ability to work both independently and in a team environment, and the desire to push their knowledge limits and areas of confidence to new domains. The candidate should have a Master in Computer Science, Acoustics, Architectural Acoustics, Multimodal Interfaces, or Audio Signal Processing. A strong interest in spatial audio, room acoustics, and working with the visually impaired is necessary. It is not expected that a candidate will have already all the skills necessary for this multidisciplinary subject, so a willingness and ability to rapidly step into new domains, including spatial cognition and psychoacoustics will be appreciated.
Domaine Réalité virtuelle, Audio, Interaction, Aide Handicap
Dates Preferred starting date from 1-Nov-2018 to 20-Dec-2019, and no later than March-2019.
Application Interested candidates should send a CV, transcript of Master’s degree courses, a cover letter (limit 2 pages) detailing their motivations for pursuing a PhD in general and specifically the project described above, and contact information for 2 references that the selection committee can contact. Incomplete candidatures will not be processed.
Application deadline Complete candidature files should be submitted to brian.katz@xxxxxxxxxxxxxxxxxxxxxx and markus.noisternig@xxxxxxxx before 1-Oct-2018.
Sujet de thèse de doctorat
Assistance à la navigation pour les non-voyants :
système de réalité virtuelle acoustique pour la préparation de navigation intérieure
Laboratoires IJLRA (Institut Jean le Rond d’Alembert, UMR 7190 CNRS – Sorbonne Université) et IRCAM (Institut de Recherche et Coordination Acoustique/Musique, UMR 9912 STMS IRCAM – CNRS – Sorbonne Université)
École doctorale École Doctorale Sciences Mécaniques, Acoustique, Électronique et Robotique (SMAER) : ED 391
Discipline Acoustique (Réalité Virtuelle, Audio, Interaction, Aide Handicap)
Co-encadrement Brian KATZ (DR-CNRS, IJLRA) et Markus NOISTERNIG (CR, IRCAM)
Mots clés réalité virtuelle, audio 3d, cognition spatiale, simulation acoustique de salle, temps réel, déficience visuelle, aide à la navigation
Contexte de la recherche
Le projet de thèse s’inscrit dans le cadre du projet ANR 2018-2021 RASPUTIN (Room Acoustic Simulations for Perceptually realistic Uses in real-Time Immersive and Navigation experiences) qui vise à étudier le recours à des simulations perceptives d’acoustique de salles réaliste pour l’aide aux personnes non-voyantes dans la préparation d’une navigation en intérieur.
Dans les domaines de la synthèse sonore et de la Réalité Virtuelle (RV), beaucoup d'efforts ont été investis dans la qualité et le réalisme des rendus des sources sonores : synthèse de la parole, instruments de musique, bruits de moteurs pour une utilisation dans des simulateurs de conduite et de vol, etc. On ne peut aujourd’hui pas en dire autant quant à l’attention portée aux aspects spatiaux de la synthèse sonore et de la RV, notamment en ce qui concerne l'acoustique des environnements. Les algorithmes de simulation en acoustiques des salles ont amélioré leurs capacités à prédire des paramètres de mesure acoustiques, comme le temps de réverbération, à partir de modèles acoustiques géométriques. Ce n’est cependant que récemment que la qualité perceptive de ces simulations a été explorée au-delà de leurs applications musicales. Pour les systèmes temps réel, où la source sonore, l'auditeur, et l'architecture sont amenés à évoluer au cours de la simulation, les études de la qualité perceptive et du réalisme de l’acoustique simulée ont jusqu’à récemment été entravés par des simplifications nécessaires appliquées aux algorithmes de calcul. Ce projet vise à améliorer le réalisme et la qualité perceptive de ces simulations temps réel.
De façon plus générale, le projet porte sur la capacité d'une simulation acoustique temps réel à fournir des informations utiles à un utilisateur ayant une déficience visuelle à travers une exploration en RV. Comme outil de préparation avant de visiter un bâtiment public ou un musée, l'exploration virtuelle permettra à l’utilisateur d'améliorer sa connaissance de l'espace et sa confiance pendant la navigation lors de sa visite sur place par rapport aux méthodes traditionnelles (cartes tactiles, description verbale, etc.).
Objectifs de la thèse
L’objectif de ce travail est de développer et d’évaluer un environnement de simulation interactif en acoustique des salles comme aide à la planification et à l’entrainement des personnes non-voyantes. Les tâches impliquent le développement d'un prototype expérimental, avec une interface utilisateur simplifiée pour la construction d'environnements virtuels à explorer auditivement. En collaboration avec un panel d'utilisateurs engagés pour la durée du projet, plusieurs scénarios de test pertinents seront identifiés pour évaluer et faire évoluer le prototype. Ce dernier sera développé par l'étudiant en thèse, en collaboration avec Novelab (jeux audio) et l'IRCAM (les développeurs du moteur de rendu audio sur lequel reposera le prototype). La conception et les évaluations seront menées en collaboration avec le Centre de Psychiatrie et Neurosciences et StreetLab/Institut de la Vision. La capacité de communiquer en français n’est pas un prérequis en début de projet.
Les évaluations comprendront la mise au point de différents protocoles expérimentaux, afin d'évaluer la précision de la représentation mentale des espaces explorées par les utilisateurs du prototype. La préservation de la notion d’échelle fera notamment l’objet de tests approfondis, mêlant mémoire spatiale expérimentale et tâches de navigation sur place.
Profil recherché
La candidate ou le candidat devra faire preuve d’une grande curiosité scientifique, de dynamisme, de créativité et de compétences en résolution de problèmes complexes. Elle ou il doit être capable de travailler de manière autonome au sein d’une équipe multidisciplinaire. Il ou elle possèdera un diplôme de Master en traitement du signal numérique audio, informatique ou acoustique. Il n’est pas attendu que la candidate ou le candidat possède l’ensemble des compétences pour ce sujet multidisciplinaire. Un intérêt particulier pour l’audio 3D, l’acoustique des salles, la perception et le travail avec des personnes non-voyantes, ainsi qu’une forte capacité pour appréhender ces nouveaux domaines de recherche sont toutefois requis.
Date de commencement : Cette thèse commencera à partir de novembre 2018 (en fonction de la date de début du projet)
Date limite de dépôt de candidature : 01-Oct-2018
Modalités de recrutement : Sur dossier et entretien.
Merci d’envoyer votre candidature à brian.katz@xxxxxxxxxxxxxxxxxxxxxx et markus.noisternig@xxxxxxxx.
Votre candidature devra comporter un CV, une lettre de motivation, le rapport du stage de Master 2 (si disponible), les résultats de classement en Master 2 (ou en Master 1 si ceux du Master 2 ne sont pas disponibles), ainsi que toute autre document que vous jugerez utile de porter à notre attention.
REFERENCES
L. Picinali, A. Afonso, M. Denis, and B.F.G. Katz, “Exploration of architectural spaces by the blind using virtual auditory reality for the construction of spatial knowledge,” International Journal of Human-Computer Studies, vol. 72, no. 4, pp. 393–407, 2014, doi:10.1016/j.ijhcs.2013.12.008.
B.F.G. Katz and L. Picinali, Advances in Sound Localization, ch. Spatial Audio Applied to Research with the Blind, pp. 225–250. InTech, 2011, doi:10.5772/15206. ISBN 978-953-307-224-1.
A. Afonso, A. Blum, B.F.G. Katz, P. Tarroux, G. Borst, and M. Denis, “Structural properties of spatial representations in blind people : Scanning images constructed from haptic exploration or from locomotion in a 3-D audio virtual environment,” Memory & Cognition, vol. 38, pp. 591–604, 2010, doi:10.3758/MC.38.5.591.
B. N. Postma and B. F.G. Katz, “Creation and calibration method of virtual acoustic models for historic auralizations,” Virtual Reality, vol. 19, no. SI: Spatial Sound, pp. 161–180, 2015, doi:10.1007/s10055-015-0275-3.
M. Noisternig, B.F.G. Katz, S. Siltanen, and L. Savioja, “Framework for real-time auralization in architectural acoustics,” Acta Acustica united with Acustica, vol. 94, pp. 1000 –1015, 2008, doi:10.3813/AAA.918116.
B.F.G. Katz, F. Dramas, G. Parseihian, O. Gutierrez, S. Kammoun, A. Brilhault, L. Brunet, M. Gallay, B. Oriola, M. Auvray, P. Truillet, M. Denis, S. Thorpe, and C. Jouffrais, “NAVIG: Guidance system for the visually impaired using virtual augmented reality,” J. Technology and Disability, vol. v. 24(2), pp. 163–178, 2012, doi:10.3233/TAD-2012-0344.
T. Carpentier & O. Warusfel, “Twenty years of Ircam Spat: looking back, looking forward,” in Int. Computer Music Conf. (ICMC), Univ. of North Texas, 2015.
T. Carpentier, M. Noisternig, & O. Warusfel, “Hybrid Reverberation Processor with Perceptual Control,” in Int. Conf. Digital Audio Effects (DAFx), Erlangen, 2014.
D. Poirier-Quinot, B.F.G. Katz & M. Noisternig, “EVERTims: Open source framework for real-time auralization in architectural acoustics and virtual reality,” Int. Conf. on Digital Audio Effects (DAFx), Edinburgh, UK, 2017.
B.N. Postma & B.F.G. Katz, “Perceptive and objective evaluation of calibrated room acoustic simulation auralizations,” J. Acoust. Soc. Am., 140, 2016.
Postma, Demontis, & Katz, “Subjective evaluation of dynamic voice directivity for auralizations,” Acta Acustica United with Acustica, 103, 2017.
--
Brian FG Katz, Ph.D, HDR
Research Director, CNRS
Groupe Lutheries - Acoustique - Musique
Sorbonne Université, CNRS, UMR 7190, Institut Jean Le Rond ∂'Alembert
bureau 510, 5ème, allé des tours 55-65
4, Place Jussieu
75005 Paris
Tel: (+33) 01 44 27 80 34
web_perso: http://www.dalembert.upmc.fr/home/katz
web_lab: http://www.dalembert.upmc.fr
web_group: http://www.dalembert.upmc.fr/lam