Joëlle Tilmanne (Faculté Polytechnique de Mons / Numediart)

La reconnaissance de gestes est un problème complexe et qui doit prendre en compte de nombreuses contraintes. Selon les applications, les contraintes qui vont influencer l'approche choisie pour la reconnaissance seront la précision, le temps réel, l'adaptabilité, la flexibilité, la quantité de données nécessaires pour l'entraînement, la robustesse, l'indépendance par rapport à l'identité de l'utilisateur, la prise en compte du style du geste, le nombre de gestes à reconnaitre, etc.

Nous proposons un système de mapping geste-vers-geste basé sur les modèles de Markov cachés (HMMs), qui permet 1) la reconnaissance, en temps réel, d'une séquence de gestes à partir d'un sous-ensemble de ses dimensions; 2) le transfert, basé sur la covariance, du style du geste reconnu à partir de ce sous ensemble de dimensions sur les dimensions restantes et 3) la synthèse en temps réel de ces dimensions restantes à partir de leurs HMMs correspondants. Ce concept est démontré à travers un prototype qui « reconstruit » en temps réel les mouvements du bas du corps lors d'une séquence de marche, à partir d'une reconnaissance de la marche basée sur les dimensions du haut du corps, en prenant en compte le style de ces mouvements. Ce prototype démontre les résultats de la reconnaissance et le suivi du geste, ainsi que l'efficacité du mapping de style, et la synthèse de mouvements, tous trois réalisé dans un système intégré et temps réel grâce à la modélisation statistique du mouvement par modèles de Markov cachés.