Realtà Virtuale: il passato, il presente, il futuro
"A computer terminal is not some clunky old "A computer terminal is not some clunky old television with a typewriter in front of it. television with a typewriter in front of it.
It is an interface where the mind and body can It is an interface where the mind and body can connect with the universe and connect with the universe and
move bits of it about."move bits of it about."
Douglas AdamsDouglas Adams, , Mostly HarmlessMostly Harmless
Realtà Virtuale: il passato, il presente, il futuro
Il termine Realtà Virtuale nasce nel 1988, in un’intervista a
Jaron Lanier “A Portrait of the Young Visionary”.
Lanier:
“La VR è una tecnologia usata per sintetizzare una
realtà condivisa. Ricrea la nostra relazione con il
mondo fisico in un nuovo piano. Non influisce sul
mondo soggettivo e non ha niente a che fare
direttamente con ciò che è nel cervello. Ha a che
fare solo con cosa i nostri organi sensoriali
percepiscono.
Nella VR non c’è bisogno di una singola metafora,
come accade per il computer. Siamo abituati a
cambiare contesto nella vita reale: è normale
comportarsi diversamente in luoghi diversi.”
Che cos’è la Realtà Virtuale ?Che cos’è la Realtà Virtuale ?
Realtà Virtuale: il passato, il presente, il futuro
La Realtà Virtuale (VR) è “faticosamente” definibile…
Withrow: Un’interfaccia umano-computer in cui un computer crea un ambiente immersivo
che risponde interattivamente ed è controllato dal comportamento dell’utente
Dickelman: Un ambiente generato dal computer che simula la realtà in modo che i sensi lo
possano percepire
umsebiz.com: Una simulazione informatica tridimensionale che risponde così realisticamente agli
input da far sembrare di vivere in un altro mondo.
Mavericks of the mind: Una tecnologia interattiva che controlla totalmente gli input sensoriali e crea la
convincente illusione di essere completamente immersi in un mondo generato dal
computer.
Che cos’è la Realtà Virtuale ?Che cos’è la Realtà Virtuale ?
Realtà Virtuale: il passato, il presente, il futuro
Alcune parole chiave:
Withrow: Un’interfaccia umano-computer in cui un computer crea un ambiente immersivo
che risponde interattivamente ed è controllato dal comportamento dell’utente
Dickelman: Un ambiente generato dal computer che simula la realtà in modo che i sensi lo
possano percepire
umsebiz.com: Una simulazione informatica tridimensionale che risponde così realisticamente agli
input da far sembrare di vivere in un altro mondo.
Mavericks of the mind: Una tecnologia interattiva che controlla totalmente gli input sensoriali e crea la
convincente illusione di essere completamente immersi in un mondo generato dal
computer.
Che cos’è la Realtà Virtuale ?Che cos’è la Realtà Virtuale ?
Realtà Virtuale: il passato, il presente, il futuro
ImmersioneImmersione ImmersioneImmersione
SimulazioneSimulazione SimulazioneSimulazione
InterazioneInterazione InterazioneInterazione
PresenzaPresenza PresenzaPresenza
AmbienteAmbiente AmbienteAmbiente
ComputerComputer ComputerComputer
Sensi Sensi
Utente Utente
Che cos’è la Realtà Virtuale ?Che cos’è la Realtà Virtuale ?
Realtà Virtuale: il passato, il presente, il futuro
Definizioni:
Immersività: Il calarsi completamente nel mondo virtuale, a livello sensoriale, tramite
interfacce. Dà una misura della PERCEZIONE del mondo virtuale come esistente.
Presenza: La sensazione mentale di essere in uno spazio virtuale (non necessariamente
sintetico – applicabile anche a libri e film). Dà una misura del COINVOLGIMENTO
dell’utente.
Interazione: La possibilità dell’utente di modificare l’ambiente e, da parte dell’ambiente, di
rispondere alle azioni dell’utente. Dà una misura del REALISMO della simulazione.
Introduce requisiti stringenti sul tempo reale.
Che cos’è la Realtà Virtuale ?Che cos’è la Realtà Virtuale ?
Realtà Virtuale: il passato, il presente, il futuro
Alcuni tipi di realtà virtuale:
VR desktop: Interazione variabile,
immersività di solito scarsa
VR testuale: Può essere anche fortemente
interattiva, ma non immersiva
(es. RPG, MUD etc.)
VR immersiva: Forte sensazione di immersività,
l’interazione dipende fortemente
dalla complessità dell’ambiente
Che cos’è la Realtà Virtuale ?Che cos’è la Realtà Virtuale ?
Realtà Virtuale: il passato, il presente, il futuro
Gli ambienti della Text-based VR sono rappresentati tramite
descrizioni testuali e non grafiche.
Sono comunemente noti come MUD (Multi User Dungeons) e
MOO (MUD Object Oriented).
Per quanto nati come gioco, molti MUD e MOO sono oggi
usati a fini educativi per due motivi fondamentali:
- La creazione del contesto di comunità (permette l’esplorazione di codici sociali, dinamiche di gruppo etc.)
- L’incoraggiamento a lettura e scrittura
Svantaggi: la mancanza di feedback sensoriale li rende
spesso incompleti per alcuni fini educativi.
Realtà Virtuale TestualeRealtà Virtuale Testuale
Realtà Virtuale: il passato, il presente, il futuro
Poiché le installazioni di VR sono molto costose, spesso si
usa il termine VR in senso più vasto includendo sistemi da
“scrivania”.
Solitamente le interfacce utilizzate sono limitate (perlopiù
mouse, joystick e tastiera) e questo limita la complessità
dell’interazione che, addirittura, può essere quasi nulla. I
risultati sono a volte simulazioni quasi passive di dettaglio
limitato.
Per quanto limitate, queste installazione costituiscono per
molte persone l’unico accesso realisticamente possibile per
applicazioni di VR.
Realtà Virtuale DesktopRealtà Virtuale Desktop
Realtà Virtuale: il passato, il presente, il futuro
E’ la Realtà Virtuale propriamente detta, in cui tutte le
componenti (Presenza, Immersività e Interazione) sono
presenti, anche se in quantità variabile.
Alcune caratteristiche comunemente disponibili:
- Prospettiva legata ai movimenti della testa
- Visione stereoscopica
- Ambiente virtuale realizzato con proprietà e scala realistiche
- Interazione realistica con l’ambiente tramite interfacce per
la manipolazione, operazione controllo
- Eventuale ritorno auditivo, aptico, e motorio
- Possibilità di condivisione dell’ambiente
Realtà Virtuale ImmersivaRealtà Virtuale Immersiva
Realtà Virtuale: il passato, il presente, il futuro
La RV NON è la realtà.La RV NON è la realtà.
È in effetti una “connessione” simulata che viene proposta al posto di una
“connessione” reale tra utenti ed eventi reali.
E’ però vero che la realtà che comunemente sperimentiamo è sempre
mediata dal cervello e dal nostro sistema sensoriale. Loomis (1992)
distingue tra mondo fisicofisico e fenomenicofenomenico. Il risultato della mediazione con
il mondo fisico è il mondo fenomenico, che è una costruzione dei nostri
sensi e che è tutto ciò di cui siamo consci.
La nostra coscienza del mondo fisico è dunque indirettaindiretta.
Non è detto che, in futuro, la Realtà Virtuale non possa essere percepita
come realtà alternativa.
“And what exactly is a dream? And what exactly is a joke?”“And what exactly is a dream? And what exactly is a joke?” (Syd Barrett/Pink Floyd, Jugband Blues)(Syd Barrett/Pink Floyd, Jugband Blues)
Che cosa NON è la Realtà Virtuale?Che cosa NON è la Realtà Virtuale?
Realtà Virtuale: il passato, il presente, il futuro
La RV NON mira a ricostruire la realtà.La RV NON mira a ricostruire la realtà.
Mira piuttosto a convincere un utente di essere nella realtà,
affinchè possa svolgere con naturalezza il compito (tasktask) che
gli è stato assegnato.
L’utente deve pensare che il mondo fenomenico (virtuale) in
cui è immerso mantiene le aspettative di un mondo reale. La
realtà diventa una proprietà del mondo fenomenico.
Il fattore umano diventa un metro di giudizio indispensabile.
Che cosa NON è la Realtà Virtuale?Che cosa NON è la Realtà Virtuale?
"What is 'real'? How do you define 'real'? If you mean what we can
taste, smell, hear and feel then what's 'real' is nothing more than
electrical signals interpreted by your brain."
Morpheus, The Matrix
Realtà Virtuale: il passato, il presente, il futuro
La RV NON simula la realtà.La RV NON simula la realtà.
Comunemente la RV simula alcuni aspetti della realtà, quelli
più legati al particolare microcosmo relativo al task da
svolgere.
Le pesanti esigenze in termini di tempo di calcolo e potenza
computazionale, si risolvono solitamente in
un’approssimazione di molte delle caratteristiche dell’AV
rispetto al mondo reale.
L’efficacia e il realismo della simulazione vanno validate con
l’ausilio di metriche che ne giudicano l’aderenza al
corrispondente reale, ma solo nel contesto del task.
Che cosa NON è la Realtà Virtuale?Che cosa NON è la Realtà Virtuale?
Realtà Virtuale: il passato, il presente, il futuro
-- Neo, I imagine you know something about Virtual Reality.Neo, I imagine you know something about Virtual Reality.
-- Essentially, it's a hardware system that uses an apparatus to Essentially, it's a hardware system that uses an apparatus to
make you feel that you are in a computer program. make you feel that you are in a computer program.
-- If the VR apparatus controlled all of your senses, would you be If the VR apparatus controlled all of your senses, would you be
able to tell the difference between the virtual world and the real able to tell the difference between the virtual world and the real
world? world?
-- You might not, no. You might not, no.
-- No, you wouldn't.No, you wouldn't.
[The Matrix [The Matrix -- WACHOSKI 1999] WACHOSKI 1999]
-- A show. Then who am I?A show. Then who am I?
-- You're the star. You're the star.
-- Nothing was real. Nothing was real.
-- Nothing was real. That's what made you so good to watch. Nothing was real. That's what made you so good to watch.
[The Truman Show [The Truman Show –– NICCOL 1998]NICCOL 1998]
Realtà Virtuale e Realtà RealeRealtà Virtuale e Realtà Reale
Realtà Virtuale: il passato, il presente, il futuro
Realtà Virtuale:Realtà Virtuale:
il passatoil passato
Realtà Virtuale: il passato, il presente, il futuro
Nel 1956 Morton Heiling inventò un’attrazione chiamata
SENSORAMA, una sorta di simulatore passivo di motociclo.
Il sedile e il manubrio potevano vibrare
e lo schermo visualizzava un filmato
stereoscopico realizzato nel traffico di
Manhattan.
Anche il vento era replicato, ad una
velocità proporzionale a quella del
proprio movimento.
Perfino gli odori dei gas di scarico
venivano presentati nei momenti
appropriati.
Da dove nasce la VR ?Da dove nasce la VR ?
Realtà Virtuale: il passato, il presente, il futuro
“Al costo di 25 cents, Sensorama offre impressioni multi-
sensoriali di un giro in moto di 10 minuti per New York”
Dal momento che l’esperienza non era
interattiva, non si può ancora parlare
di Realtà Virtuale.
Il Sensorama non fu un gran successo
(“Era forse troppo rivoluzionario per i
suoi tempi”).
Da dove nasce la VR ?Da dove nasce la VR ?
Realtà Virtuale: il passato, il presente, il futuro
Nel 1969, all’Università dello UTAH, Ivan Sutherland, il padre
della computer grafica, implementò un HMD stereoscopico.
Le immagini erano proiettate due
minuscoli monitor, uno per occhio,
montati su un dispositivo sospeso al
soffitto e fissato alla testa dell’utente
I movimenti della testa erano rilevati
dal dispositivo e inviati al computer
che generava la corretta prospettiva.
Il primo HMDIl primo HMD
Realtà Virtuale: il passato, il presente, il futuro
Il progetto fu denominato "La spada di
Damocle", dal momento che sopra il casco vi era un così alto
numero di tubi, fili ed attrezzature varie.
Inizialmente, il sistema utilizzava una telecamera
per mostrare immagini nei due display ottici. Poco
dopo venne modificato per mostrare il primo vero
mondo virtuale: l’utente poteva osservare un cubo
in wireframe e, muovendo la testa, vedere i vari
lati dell’oggetto.
Parallelamente nacque il BOOM, un binocolo con
due schermi, montato su un braccio meccanico per
il tracking.
Il primo HMDIl primo HMD
Realtà Virtuale: il passato, il presente, il futuro
Lo stesso Sutherland si era laureato nel 1962 a Stanford
presentando il sistema Sketchpad, un sistema grafico con il
quale l’utente poteva interagire mediante una penna ottica.
L'idea era ricavata dall'osservazione del
naturale gesto di disegno e quindi dalla
necessità di sfruttare il gesto spontaneo
del disegnatore con uno strumento molto
leggero e flessibile, che si avvicinasse
molto alla penna che era per il normale
strumento di disegno.
Inoltre il Sketchpad permetteva la gestione
parametrica delle entità di disegno perchè
aveva individuato in questa potenzialità
una delle peculiarità più promettenti della
computer grafica.
La nascita dell’interazioneLa nascita dell’interazione
Realtà Virtuale: il passato, il presente, il futuro
C’erano ormai abbastanza elementi per definire una nuova
entità. Nel 1970 Myron Kreuger coniò il termine Realtà
Artificiale.
“La realtà artificiale consiste nella
partecipazione, con tutto il corpo, agli
eventi del computer, così convincente da
farli accettare come una esperienza reale”
La promessa della realtà artificiale NON è quella
di riprodurre la realtà convenzionale, ma
l’opportunità di creare realtà SINTETICHE per le
quali non ci sono precedenti reali.
La realtà artificialeLa realtà artificiale
Realtà Virtuale: il passato, il presente, il futuro
Nel 1976 P.J. Kilpatrick, alla UNC, connesse un manipolatore
per teleoperazione ad un semplice ambiente grafico 3d. L’ambiente consisteva in un tavolo ed un oggetto posto di esso, oltre alla
replica grafica del manipolatore. Se l’utente provava a portare la replica
grafica del manipolatore oltre il tavolo, il manipolatore fisico si bloccava
impedendo il movimento. Se l’utente afferrava l’oggetto, ne sentiva il
peso quando lo sollevava. In questo caso il manipolatore impediva di
chiudere le dita, dando la sensazione di aver afferrato l’oggetto.
Il forceIl force--feedbackfeedback
Realtà Virtuale: il passato, il presente, il futuro
Grafica 3DGrafica 3D
Nel 1977 il MIT realizzò l’Aspen Movie Map, una simulazione
virtuale della città di Aspen, Colorado.
Gli utenti potevano esplorare la città
in tre modalità: inverno, estate,
poligoni. I primi due erano basati su
foto (i ricercatori fotografarono ogni
possibile movimento nelle strade
della città durante le due stagioni)
mentre la terza era un modello 3D. La
tecnologia usata era il videodisc, che
permetteva un accesso non
sequenziale alle immagini in modo da
poter selezionare quella corretta a
seconda del punto di vista.
Realtà Virtuale: il passato, il presente, il futuro
SensoriSensori
Nel 1979 inventò Polhemus 3SPACE, un sistema di sensori per
rilevare la posizione e l’orientamento assoluti di punti nello
spazio.
Inizialmente concepito per essere
usato insieme ad un HMD, tale
sensore verrà usato anche per molti
altri utilizzi.
Il Polhemus era lontano dall’essere
perfetto e soffriva la presenza di
strutture metalliche. Ciò nonostante
permetteva di sostituire complessi
dispositivi meccanici per la
rilevazione dei 6 DOF necessari nelle
applicazioni di VR.
Realtà Virtuale: il passato, il presente, il futuro
Interfacce avanzateInterfacce avanzate
Nel 1984 la NASA perfezionò un HMD usato come “cockpit
virtuale” (creato nel ’66) riducendone il costo da $1M a $20K.
All’HMD fu affiancato un sensore
Polhemus a 6-DOF per determinare
posizione e orientazione dell’utente, e
dei guanti (datagloves) che rilevavano la
postura delle mani.
Anche sui polsi furono inseriti dei sensori
6-DOF, in modo che l’utente potesse
selezionare e manipolare gli oggetti
virtuali.
Infine la VPL (di Jaron Lernier) integrò
questo sistema con una workstation
Silicon Graphics per generare ambienti
grafici dettagliati e realistici.
Realtà Virtuale: il passato, il presente, il futuro
Il CyberspazioIl Cyberspazio
Da tempo la fantascienza aveva intuito le potenzialità degli
strumenti della VR. Ma la VR non era ancora nata…
Uno dei padri morali della VR è consi-
derato Philip K. Dick, con UBIK (1969).
La VR è creata direttamente con stimo-
lazioni sensoriali su corpi in animazione
sospesa (cosa ci ricorda?).
Nel 1984 Gibson scrive Neuromancer e
introduce il Cyberspace, l’insieme delle
informazioni di una rete di computer.
Oggi comunemente si definisce
Cyberspazio il VE che Internet crea con
tutti i servizi e le informazioni da esso
fornite.
Realtà Virtuale: il passato, il presente, il futuro
“Virtual Reality is conceived of as an expansion of reality, the provision of alternate realities for people in mass in which to share
experiences, and so the types of metaphors that come up are things like cars, travel, different countries, different cultures. For
instance, you might very well have a virtual car that you ride around even though physically you're in one place. It would go through
different territories in Virtual Reality so that you could get around them - or transporter booths, perhaps. So you could have
geographical metaphors. There might very well evolve a new geography, let's say - a fictitious planet with new continents that you
can dive into to find new realities.
In the early Virtual Realities you'll only be able to see the Virtual Reality when you're in it. Later, there will be more sophisticated
ones where you can blend Virtual objects and physical objects so that you can live in a mixed reality for a while and be able to see
your physical environment as if you were wearing sunglasses but also have nonphysical objects mixed in it. That will be a later stage.
We're already developing technology to do that but it's an order of magnitude more complex to pull off.
In Virtual Reality any tool is possible and there will be some wonderful tools. In Virtual Reality your memory can be externalized.
Because your experience is computer-generated, you can simply save it, and so you can play back your old experience anytime from
your own perspective. Given that, you can organize your experience and use your experience, use your externalized memory in itself,
as the basis for what you would call The Finder in the Macintosh. That will be quite a different thing. You can keep whole universes
in your pocket or behind your ear and pull them out and look through them any time. “
Finalmente, la Realtà VirtualeFinalmente, la Realtà Virtuale
Con la fondazione della VPL da parte di Jaron Lernier (1984),
la VR diventa una realtà commerciale: sistemi in cui vengono
integrate le tecnologie descritte in precedenza (guanti e tuta
sensorizzata, HMD, grafica 3d), possono essere venduti a
prezzi abbordabili.
Nel 1989, come detto, lo stesso Lanier in un intervista
(http://www.well.com/user/jaron/vrint.html) individua un nome per
questo set di tecnologie e per l’esperienza ad esse connessa:
nasce la Realtà Virtuale.
Realtà Virtuale: il passato, il presente, il futuro
RIVELAZIONI (1995, Barry Levinson)
VR e CinemaVR e Cinema
CLIP
Realtà Virtuale: il passato, il presente, il futuro
NIRVANA (1997, Gabriele Salvatores)
VR e CinemaVR e Cinema
CLIP
Realtà Virtuale: il passato, il presente, il futuro
IL TREDICESIMO PIANO (1999, Josef Rusnak)
VR e CinemaVR e Cinema
CLIP
Realtà Virtuale: il passato, il presente, il futuro
MATRIX (1999, Wachoski Bros.)
VR e CinemaVR e Cinema
CLIP
Realtà Virtuale: il passato, il presente, il futuro
Realtà Virtuale:Realtà Virtuale:
il futuroil futuro
Realtà Virtuale: il passato, il presente, il futuro
Componenti di
interfaccia: Risoluzione, complessità,
velocità, ingombri: hw da
migliorare ulteriormente
Costi dell’hardware: La VR richiede componenti
costosi e delicati, non alla
portata di tutti.
Perché la VR non è di massa?Perché la VR non è di massa?
Problemi di sicurezza: A volte la VR fa “paura” per le interfacce coinvolte e per la sua invasività.
Inoltre usi prolungati di alcuni dispositivi possono affaticare e provocare
nausea e irritabilità.
Realtà Virtuale: il passato, il presente, il futuro
E’ più difficile ingannare i sensi: I primi dischi e film erano percepiti come realistici. Oggi siamo più
smaliziati e notiamo ogni incoerenza con la realtà.
Perché la VR non è di massa?Perché la VR non è di massa?
Coinvolgimento non totale: Per quanto i maggiori sensi siano stimolati, alcuni stimoli sono ancora
insufficienti o inesistenti (FF su tutto il corpo, ritorno tattile, olfatto,
gusto).
Realtà Virtuale: il passato, il presente, il futuro
E’ monoutente: Mentre il cinema e la televisione possono essere fruiti da più utenti, la VR è
monoutente (o quasi). Gli AV collaborativi stanno però cambiando questa
tendenza.
Perché la VR non è di massa?Perché la VR non è di massa?
Scopi: Nonostante le tante applicazioni, spesso non è ancora ben chiaro dove e
come inserire la VR nella nostra vita e come usarla proficuamente.
Realtà Virtuale: il passato, il presente, il futuro
Naturalezza dell’interazione: Piena e corretta interpretazione delle azioni: sensori, speech recognition
Realismo delle rappresentazioni: Ritorno realistico su tutti i canali sensoriali e motori. In particolare
affrontare le problematiche di:
- Tatto: utilizzo di interfacce indossabili che forniscano sensazioni tattili
- Movimento: interfacce per la locomozione
- Olfatto: analizzatore e sintetizzatore olfattivo (problemi: tempi di
evacuazione)
- Stimolazione nervosa diretta. Eccitante ma disturbante (soppressione
dell’io ?)
Sfide per il futuroSfide per il futuro
Realtà Virtuale: il passato, il presente, il futuro
Realtà Virtuale: il passato, il presente, il futuro
Realtà Virtuale:Realtà Virtuale:
il…corsoil…corso
Realtà Virtuale: il passato, il presente, il futuro
Programma del corsoProgramma del corso Programma del corsoProgramma del corso
Realtà Virtuale Realtà Virtuale
Storia
Tecnologie
Applicazioni
Tools
11 11
3D Graphics Modellazione
Lighting
Texturing
22 22
Real time rendering Real-time rendering
Scene Graph
RTR techniques
Procedural Modeling
Virtual Humans
33 33
Altri sensoriali Altri canali sensoriali
Audio 3D
Fisica
Haptics
Realtà Aumentata
44 44
Laboratorio
XVR
55 55
Realtà Virtuale: il passato, il presente, il futuro
Modalità d’esameModalità d’esame Modalità d’esameModalità d’esame
- Progetto in XVR su tema da concordare
- Tesina di approfondimento su tema da concordare
- Orale su porzione del programma
Realtà Virtuale: il passato, il presente, il futuro
Marcello CarrozzinoMarcello Carrozzino PERCRO PERCRO –– Scuola Superiore Sant’Anna, PisaScuola Superiore Sant’Anna, Pisa
ee--mail: mail: [email protected]@sssup.it
skypeskype:: ee--bowphonebowphone
FacebookFacebook, , TwitterTwitter
Home Home pagepage del corso:del corso:
http://percro.sssup.it/marcello/didatticahttp://percro.sssup.it/marcello/didattica
ContattiContatti ContattiContatti