Interaction et capteurs

Organisation

Cours/TD/TP/projet/examen : 10h30/0/31h30/0

Acquis d'apprentissage

L'UV "Interaction et capteurs" est constituée de deux modules suivis par des étudiants de 3ème année.

A l'issue de ce module les étudiants seront capables de :
- citer et décrire des techniques d'interactions 3D
- expliquer les fonctionnalités attendues d'un système de gestion des
interfaces homme-machine
- utiliser le moteur de jeu Unity/C# sur des projets interactifs simples
- programmer un composant de contrôle du personnage pour un jeu de plateforme 2D et en critiquer le maniement
- programmer un composant de détection de geste pour Kinect et évaluer son efficacité

A l'issue du module "Vision par ordinateur pour la réalité augmentée", les étudiants sont capables de :
- décrire les différentes méthodes et algorithmes de perception, de reconstruction et d'interaction avec l’environnement réel dans un contexte de réalité augmentée.

Compétences CDIO

• 1.3 - Advanced engineering fundamental knowledge, methods and tools
• 2.3.3 - Prioritization and Focus
• 3.1.2 - Team Operation
• 3.2.4 - Electronic/Multimedia Communication
• 3.2.6 - Oral Presentations
• 4.3.1 - Understanding Needs and Setting Goals
• 4.3.2 - Defining Function, Concept and Architecture
• 4.3.3 - System Engineering - System Modeling and Interfaces
• 4.3.4 - Development Project Management
• 4.5.3 - Software Implementing Process

Prérequis

Programmation objet (bonne pratique), Moteur de jeu « Unity » (bonne pratique), Infographie et traitement d’images (notions)

Mots-clés

Graphical User Interface, Interfaces et interactions Homme-Machine, Interactions 3D, interactions naturelles ; Calibration de capteurs, modélisation et recalage 3D, prédiction, appariement 2D/3D, suivi hybride robuste, réalité augmentée

Contenu

1) Module « Interaction homme-système »
- Cours (1h45) : Human Interaction Devices
TP (1h45) : Interactions clavier, souris, manette, GUI
- Cours (3h30) : Interactions naturelles (gestuelle et corporelle)
- TP (3h30) : Kinect
- Mini-projet (10h30) : Interactions Naturelles

2) Module « Vision par ordinateur pour la réalité augmentée »
- Modélisation et calibration de capteurs (caméra, Kinect, etc.)
- Calcul de pose,
- Méthodes analytiques de suivi
- Méthodes numériques de suivi
- Projets académiques et industriels

Evaluation

La présence en cours et la participation sont prises en compte dans l'évaluation.

1) Module « Interaction homme-système » : L'évaluation est faite sur la base d’un mini projet.
2) Module « Vision par ordinateur pour la réalité augmentée » : L'évaluation est faire sous forme de contrôle continu et d’examen écrit afin de vérifier l’assimilation des concepts et méthodes présentées en cours.

La note finale de l’UV est la moyenne des évaluations de ses deux modules.

Il n'y a pas de deuxième session.

Bibliographie

- Kenton O'Hara, Richard Harper, Helena Mentis, Abigail Sellen, and Alex Taylor. On the Naturalness of Touchless: Putting the "Interaction" Back into NUI. Transactions on Computer Human Interaction (TOCHI). ACM, 2012
- Radu Horaud & Olivier Monga - Vision par ordinateur : outils fondamentaux (2e édition revue et augmentée). Traité des Nouvelles Technologies, série informatique. Ed. Hermes, 1993, ISBN : 2-86601-481-2,
- http://perception.inrialpes.fr/people/Horaud/livre-fichiersPS/VOHoraudMonga.pdf
- R. I. Hartley & A. Zisserman - Multiple View Geometry in Computer Vision (Second). Ed. Cambridge University Press, 2004, ISBN : 0521540518

Approches pédagogiques

L’acquisition des connaissances est assurée à l’aide de cours, travaux-pratiques et micro-projets.