Système de communication vidéo augmenté

Mots-clés

Communication vidéo, Kinect, OpenCV

Contact

Nicolas Roussel, directeur de recherche au centre Inria Lille, membre de l'équipe MINT

Sujet

L'objectif de ce projet est de prototyper un nouveau système de communication vidéo tirant parti du dispositif Kinect de Microsoft et de techniques simples de vision par ordinateur.

Destiné à relier deux sites ou plus de manière permanente, le système sera conçu selon une approche multi-échelles pour permettre des transitions graduelles entre perception périphérique et communication de premier plan. Ce travail s'appuiera sur le savoir-faire et les connaissances acquises à travers la réalisation et l'utilisation de précédents systèmes tels que VideoProbe [1], MirrorSpace [2] ou Pêle-Mêle [3].

Les images du site local et du site distant seront superposées à l'écran. Les cartes de profondeur fournies par les Kinect pourront être utilisées pour rendre le système myope, i.e. incapable de voir nettement au-delà d'une certaine distance. Des techniques simples de détection de présence, de mouvements, de gestes et/ou de visage pourront être utilisées pour distinguer différents niveaux d'activité, adapter l'affichage en conséquence et déclencher des actions (déclencher un appel téléphonique ou VoIP, par exemple).

L'étudiant participera à la conception du prototype et sera chargé de son implémentation. Celle-ci se fera a priori en C++ avec Qt, le SDK Kinect de Microsoft ou OpenNI/NITE de PrimeSense, et OpenCV.

Références

[1] S. Conversy, N. Roussel, H. Hansen, H. Evans, M. Beaudouin-Lafon and W. Mackay. Partager les images de la vie quotidienne et familiale avec videoProbe. In Proceedings of IHM 2003, 15ème conférence sur l'Interaction Homme-Machine, pages 228-231, Novembre 2003. ACM, International Conference Proceedings Series. [ACM] [2] N. Roussel, H. Evans and H. Hansen. Utilisation de la distance comme interface à un système de communication vidéo. In Proceedings of IHM 2003, 15ème conférence sur l'Interaction Homme-Machine, pages 268-271, Novembre 2003. ACM, International Conference Proceedings Series. [ACM] [3] S. Gueddana and N. Roussel. Pêle-mêle, une étude de la communication multi-échelles. In Proceedings of IHM 2009, 21ème conférence francophone sur l'Interaction Homme-Machine, pages 273-282, Octobre 2009. ACM, International Conference Proceedings Series. [ACM]

Voir également ces vidéos.