Post on 07-Jul-2020
transcript
Introduction à la Réalité AugmentéeGilles Simon
1
Définition (Azuma 1997)
Plus de réel que de virtuel
2
Définition (Azuma 1997)
Plus de réel que de virtuel Interactif, temps réel
3
Définition (Azuma 1997)
Plus de réel que de virtuel Interactif, temps réel Alignement spatial 3D respectueux de la perspective
4
Périphériques de visualisation Une grande variété de périphériques
Objet réel
1
Projection sur la rétine
Périphériques de visualisation
Objet réel
2
Lunettes de RA
M100 Vuzix HoloLens Microsoft
Périphériques de visualisation
Objet réel
3
Téléphone portable /tablette
Périphériques de visualisation
Objet réel
4
Ecran fixe
Périphériques de visualisation
Objet réel
5
Vidéo-projection
Applications
Imaginer le passéou le futur
10
11
Archeoguide
RÉ
ALITÉ
AU
GM
EN
TÉE
12
RÉ
ALITÉ
AU
GM
EN
TÉE
13
RÉ
ALITÉ
AU
GM
EN
TÉE
14
Applications
Annoter le réel Guider pas à pas
15
RÉ
ALITÉ
AU
GM
EN
TÉE
16
RÉ
ALITÉ
AU
GM
EN
TÉE
Applications Assistance en milieu industriel
Applications
Enrichir le réel Fusionner des informations
19
RÉ
ALITÉ
AU
GM
EN
TÉE
20
RÉ
ALITÉ
AU
GM
EN
TÉE
21
Applications
Aider à comprendre
22
23Applications Culture, éducation
RÉ
ALITÉ
AU
GM
EN
TÉE
24
Applications
Se divertir
25
RÉ
ALITÉ
AU
GM
EN
TÉE
26
27Applications Divertissement
Difficultés techniques
Comment faire pour…
28
Difficultés techniques
Reconnaître de quel objet il s’agit ?
29
Difficultés techniques
Reconnaître et désigner des composants sur cet objet ?
30
Difficultés techniques
Positionner un objet virtuel 3D au bon endroit et en respectant la perspective ?
31
Difficultés techniques 32
Difficultés techniques 33
Difficultés techniques
Deux étapes incontournables : Reconnaissance de l’objet ou de la scène
Intégration de la scène virtuelle dans l’image réelle (« Recalage 3D/2D »)
Tout ceci doit être résolu en temps réel La deuxième étape repose généralement sur la connaissance d’un
modèle 3D (CAO, nuage de points, …) Reconnaissance et recalage 3D/2D sont parfois résolus simultanément
34
Reconnaissance de scène / d’objet
?=
27
11
14
12
7
16
22
51
25
12
14
10
7
15
26
48
Descripteurs locaux (ex : SIFT)
?=
2
34
23
15
7
2
11
4
2
99
11
0
1
16
22
51
27
10
14
12
3
23
13
11
7
6
5
17
27
8
4
33
2
98
11
1
1
16
22
45
2
31
23
12
7
2
10
4
7
7
5
17
29
8
1
33
Reconnaissance de scène / d’objet
Bags-of-words Dans les grands environnements, constitution d’un
« vocabulaire » de « mots visuels » Chaque image de la base est décrite par la
fréquence d’apparition de chaque mot de la base Une image à reconnaître est elle-même exprimée en
utilisant le vocabulaire de la base (recherche documentaire)
Reconnaissance de scène / d’objet
?=
9
Reconnaissance de scène / d’objet
Classification par machine à vecteurs de support (SVM)
RDC 3 a
RDC 3 bLocal DE a
Local DE b
Local DE c
?
Reconnaissance de scène / d’objet
0 0,5 1
RDC 1
RDC 2
RDC 3
Local DE
Turbine
Convolutional Neural Networks (CNN)
Reconnaissance de scène / d’objet
© LeCun
Metric learning (CNN siamois)
Reconnaissance de scène / d’objet
Reconnaissance de scène / d’objet
Recalage 3D/2D
Recaler le modèle 3D dans l’image réelle revient à : Trouver le point de vue depuis lequel dessiner le modèle 3D afin qu’il soit
correctement aligné dans l’image
C-à-d retrouver le point de vue depuis lequel est observé l’objet dans la réalité : le problème du recalage est un problème de positionnement
43
Le problème du positionnement 44
Le problème du positionnement
En RA, on doit calculer en temps réel la position du castor correspondant à chaque prise de vue
L’image seule peut être trompeuse…
45
Le problème du positionnement
Deux catégories de techniques : outside-in et inside-out Possibilité de combiner les deux approches
© Klinker et al., TUM
Outside-in
Inside-out
46
Positionnement Outside-in
LEDs et capteurs physiques (magnétiques, acoustiques, …)
© German Aerospace Center Multimodal Telepresent Control of DLR Rollin' JUSTIN
47
Positionnement Outside-in
Géolocalisation + capteurs inertiels Pour l’intérieur : capteurs (magnétiques, …), triangulation wifi Pb : précision
© Application Métro Paris sur iPhone et iPod Touch© Creative commons
48
Positionnement Inside-out
Mise en correspondance de points entre le flux d’images et le clone 3D de l’objet (exemple : utilisation du descripteur SIFT)
49
Positionnement Inside-out
Si pas de texture, essayer les contours Reconnaissance difficile
Recalage initial difficile → combiner avec un système outside-in
50
51
Positionnement Inside-out
Autre possibilité : ajouter des tags sur l’objet ou dans la scène
© Spie Sud-Ouest & UBleam
52
Positionnement Inside-out
… ou projeter de la lumière structurée, éventuellement dans l’IR (Kinect) Portée limitée, en intérieur uniquement
La reconnaissance est difficile et le recalage initial doit être guidé
53
Conclusion sur la technologie RA
Une technologie complexe : pas de solution miracle, mais un panel d’outils À choisir en fonction du contexte (pas toujours de solution !)
Issu de 20 années de recherche académique et industrielle
Des solutions robustes en environnement contrôlé Plusieurs toolkits existent aujourd’hui, souvent multi-plateformes :
Metaio SDK (Apple), Qualcomm Vuforia, Total Immersion D’fusion, … (tracking visuel)
AR-Toolkit, … (marqueurs)
Layar, Wikitude, … (extérieur) … (cf. http://socialcompare.com/fr/comparison/augmented-reality-sdks)
54