Il tracciamento oculare è un punto di svolta per la realtà virtuale che va ben oltre il rendering foveato

Si parla spesso di eye-tracking, la capacità di misurare in modo rapido e preciso la direzione in cui un utente sta guardando mentre si trova all'interno di un visore VR, nel contesto del rendering foveato e di come potrebbe ridurre i requisiti prestazionali della realtà virtuale. E mentre il rendering foveated è un caso d'uso entusiasmante per il tracciamento oculare nei visori VR, il tracciamento oculare offre molto di più.

Per molti anni si è parlato di eye-tracking per quanto riguarda la realtà virtuale come una tecnologia lontana, ma l'hardware sta finalmente diventando sempre più disponibile per sviluppatori e clienti. PSVR 2 e Quest Pro sono gli ultimi esempi di visori con tracciamento oculare integrato, insieme a Varjo Aero, Vive Pro Eye e altri.

Con questo slancio, in pochi anni potremmo vedere il tracciamento oculare diventare una parte standard delle cuffie VR di consumo. Quando ciò accade, c'è una vasta gamma di funzionalità che la tecnologia può abilitare per migliorare drasticamente l'esperienza VR.

Rendering Foveato

Cominciamo prima con quello che molte persone conoscono già. Il rendering foveated mira a ridurre la potenza di calcolo necessaria per la visualizzazione di scene VR impegnative. Il nome deriva dalla "fovea", una piccola fossa al centro della retina umana che è densamente piena di fotorecettori. È la fovea che ci offre una visione ad alta risoluzione al centro del nostro campo visivo; nel frattempo la nostra visione periferica è in realtà molto scarsa nel cogliere dettagli e colori, ed è più sintonizzata per individuare il movimento e il contrasto che per vedere i dettagli. Puoi immaginarla come una fotocamera con un sensore grande con pochi megapixel e un altro sensore più piccolo al centro con molti megapixel.

La regione della tua visione in cui puoi vedere in dettaglio elevato è in realtà molto più piccola di quanto la maggior parte pensi, solo pochi gradi attraverso il centro della tua vista. La differenza nel potere risolutivo tra la fovea e il resto della retina è così drastica che senza la tua fovea non potresti distinguere il testo in questa pagina. Puoi vederlo facilmente da solo: se tieni gli occhi concentrati su questa parola e provi a leggere solo due frasi sottostanti, scoprirai che è quasi impossibile capire cosa dicono le parole, anche se puoi vedere qualcosa che assomiglia a parole. La ragione per cui le persone sopravvalutano la regione foveale della loro visione sembra essere perché il cervello fa molte interpretazioni e previsioni inconsce per costruire un modello di come crediamo che sia il mondo.

Il rendering foveato mira a sfruttare questa stranezza della nostra visione rendendo la scena virtuale in alta risoluzione solo nella regione che vede la fovea, e quindi riducendo drasticamente la complessità della scena nella nostra visione periferica dove il dettaglio non può essere comunque risolto . Ciò ci consente di concentrare la maggior parte della potenza di elaborazione dove contribuisce maggiormente ai dettagli, risparmiando risorse di elaborazione altrove. Potrebbe non sembrare un grosso problema, ma con l'aumentare della risoluzione del display delle cuffie VR e del campo visivo, la potenza necessaria per il rendering di scene complesse cresce a un ritmo quasi esponenziale.

Il tracciamento oculare ovviamente entra in gioco perché abbiamo bisogno di sapere dove si trova sempre il centro dello sguardo dell'utente in modo rapido e con alta precisione per ottenere il rendering foveato. Si ritiene che questa illusione possa essere realizzata in un modo completamente invisibile all'utente; aneddoticamente, ho visto demo recenti in cui questo era il caso.

Rilevamento e regolazione automatici dell'utente

Oltre a rilevare il movimento, il tracciamento oculare può essere utilizzato anche come identificatore biometrico. Ciò rende il tracciamento oculare un ottimo candidato per più profili utente su un singolo visore: quando indosso il visore, il sistema può identificarmi istantaneamente come utente unico e richiamare il mio ambiente personalizzato, la libreria dei contenuti, l'avanzamento del gioco e le impostazioni. Quando un amico indossa il visore, il sistema può caricare le sue preferenze e i dati salvati.

L'eye-tracking può anche essere utilizzato per misurare con precisione l'IPD, la distanza tra i propri occhi. Conoscere il proprio IPD è importante nella realtà virtuale perché è necessario per spostare le lenti e i display nella posizione ottimale sia per il comfort che per la qualità visiva. Sfortunatamente molte persone non sanno qual è il loro IPD (puoi ottenere una misurazione approssimativa se chiedi a qualcuno di tenere un righello davanti ai tuoi occhi o chiedi al tuo oculista).

Con il tracciamento oculare, sarebbe facile misurare istantaneamente l'IPD di ciascun utente e quindi fare in modo che il software dell'auricolare assista l'utente nella regolazione della corrispondenza dell'IPD dell'auricolare o avverta gli utenti che il loro IPD è al di fuori dell'intervallo supportato dall'auricolare.

In cuffie più avanzate, questo processo potrebbe essere invisibile e automatico: l'IPD potrebbe essere misurato in modo invisibile e l'auricolare potrebbe avere una regolazione IPD motorizzata che sposterebbe automaticamente le lenti nella posizione corretta senza che l'utente debba esserne consapevole. .

Display varifocali

I sistemi ottici utilizzati negli odierni visori VR funzionano abbastanza bene, ma in realtà sono piuttosto semplici e non supportano un'importante funzione della visione umana: la messa a fuoco dinamica. Questo perché il display in un visore VR è sempre alla stessa distanza dai nostri occhi, anche quando la profondità stereoscopica suggerisce il contrario. Questo porta a un problema chiamato conflitto vergence-accomodation. Se vuoi saperne di più in profondità, dai un'occhiata al nostro primer qui sotto:

Primer: Vergence-Accommodation Conflict (fare clic per espandere)

Alloggio

Nel mondo reale, per mettere a fuoco un oggetto vicino, la lente dell'occhio si piega per fare in modo che la luce dell'oggetto colpisca il punto giusto della retina, offrendoti una visione nitida dell'oggetto. Per un oggetto più lontano, la luce viaggia da diverse angolazioni nell'occhio e il cristallino deve nuovamente piegarsi per garantire che la luce sia focalizzata sulla retina. Questo è il motivo per cui, se chiudi un occhio e ti concentri sul dito a pochi centimetri dal tuo viso, il mondo dietro il tuo dito è sfocato. Al contrario, se ti concentri sul mondo dietro il tuo dito, il tuo dito diventa sfocato. Questo si chiama alloggio.

Vergenza

Poi c'è la vergenza, che è quando ciascuno dei tuoi occhi ruota verso l'interno per "convergere" le viste separate da ciascun occhio in un'unica immagine sovrapposta. Per oggetti molto distanti, i tuoi occhi sono quasi paralleli, perché la distanza tra loro è così piccola rispetto alla distanza dell'oggetto (il che significa che ogni occhio vede una porzione quasi identica dell'oggetto). Per oggetti molto vicini, i tuoi occhi devono ruotare verso l'interno per allineare la prospettiva di ciascun occhio. Puoi vedere anche questo con il nostro trucco del mignolo come sopra: questa volta, usando entrambi gli occhi, tieni il dito a pochi centimetri dal tuo viso e guardalo. Nota che vedi immagini doppie di oggetti molto dietro il tuo dito. Quando poi ti concentri su quegli oggetti dietro il tuo dito, ora vedi un'immagine a doppio dito.

Il conflitto

Con strumenti sufficientemente precisi, potresti usare la vergenza o l'accomodazione per sapere quanto è lontano un oggetto che una persona sta guardando. Ma il fatto è che sia l'accomodazione che la vergenza si verificano insieme nei tuoi occhi, automaticamente. E non si verificano solo nello stesso momento: c'è una correlazione diretta tra vergenza e accomodamento, tale che per ogni data misura di vergenza, c'è un livello di accomodamento direttamente corrispondente (e viceversa). Da quando eri un bambino piccolo, il tuo cervello e gli occhi hanno formato la memoria muscolare per far accadere queste due cose insieme, senza pensare, ogni volta che guardi qualsiasi cosa.

Ma quando si tratta della maggior parte dei visori AR e VR odierni, la convergenza e l'accomodazione non sono sincronizzate a causa dei limiti intrinseci del design ottico.

In un visore AR o VR di base, c'è un display (che è, diciamo, a 3 pollici di distanza dai tuoi occhi) che mostra la scena virtuale, e una lente che focalizza la luce dal display sui tuoi occhi (proprio come la lente in il tuo occhio normalmente focalizzerebbe la luce del mondo sulla tua retina). Tuttavia, poiché il display si trova a una distanza statica dall'occhio e la forma della lente è statica, la luce proveniente da tutti gli oggetti mostrati su quel display proviene dalla stessa distanza. Quindi, anche se c'è una montagna virtuale a cinque miglia di distanza e una tazza di caffè su un tavolo a cinque pollici di distanza, la luce di entrambi gli oggetti entra nell'occhio con la stessa angolazione (il che significa che la tua sistemazione - la flessione della lente nell'occhio - non cambia mai ).

Ciò è in conflitto con la vergenza in tali visori che, poiché possiamo mostrare un'immagine diversa a ciascun occhio, è variabile. Essere in grado di regolare l'immagine in modo indipendente per ciascun occhio, in modo tale che i nostri occhi debbano convergere su oggetti a diverse profondità, è essenzialmente ciò che offre la stereoscopia dei visori AR e VR di oggi.

Ma la visualizzazione più realistica (e probabilmente più comoda) che potremmo creare eliminerebbe il problema dell'adattamento alla vergenza e consentirebbe ai due di lavorare in sincronia, proprio come siamo abituati nel mondo reale.

I display varifocali, quelli che possono alterare dinamicamente la loro profondità focale, vengono proposti come soluzione a questo problema. Esistono numerosi approcci ai display varifocali, forse il più semplice dei quali è un sistema ottico in cui il display viene spostato fisicamente avanti e indietro dall'obiettivo per modificare al volo la profondità focale.

Il raggiungimento di un display varifocale così attivato richiede il tracciamento oculare perché il sistema deve sapere con precisione dove sta guardando l'utente nella scena. Tracciando un percorso nella scena virtuale da ciascuno degli occhi dell'utente, il sistema può trovare il punto in cui tali percorsi si intersecano, stabilendo il piano focale appropriato che l'utente sta guardando. Queste informazioni vengono quindi inviate al display per adattarsi di conseguenza, impostando la profondità focale in modo che corrisponda alla distanza virtuale dall'occhio dell'utente all'oggetto.

Un display varifocale ben implementato potrebbe non solo eliminare il conflitto vergence-accomodation, ma anche consentire agli utenti di concentrarsi su oggetti virtuali molto più vicini a loro rispetto alle cuffie esistenti.

E ben prima di inserire display varifocali nei visori VR, il tracciamento oculare potrebbe essere utilizzato per la profondità di campo simulata, che potrebbe approssimare la sfocatura di oggetti al di fuori del piano focale degli occhi dell'utente.

Display foveati

Mentre il rendering foveato mira a distribuire meglio la potenza di rendering tra la parte della nostra visione in cui possiamo vedere nitidamente e la nostra visione periferica a basso dettaglio, qualcosa di simile può essere ottenuto per il numero effettivo di pixel.

Piuttosto che modificare semplicemente i dettagli del rendering su alcune parti del display rispetto ad altre, i display foveated sono quelli che vengono spostati fisicamente per rimanere davanti allo sguardo dell'utente, indipendentemente da dove guardi.

I display Foveated aprono la porta al raggiungimento di una risoluzione molto più elevata nei visori VR senza forzare il problema cercando di stipare pixel a risoluzione più elevata in tutto il nostro campo visivo. Farlo non solo sarebbe costoso, ma incontrerebbe anche vincoli di potenza impegnativi poiché il numero di pixel si avvicina alla risoluzione della retina. Invece, i display foveati sposterebbero un display più piccolo e denso di pixel ovunque l'utente stia guardando in base ai dati di tracciamento oculare. Questo approccio potrebbe anche portare a campi visivi più elevati rispetto a quelli altrimenti ottenibili con un singolo display piatto.

Varjo è un'azienda che lavora su un sistema di visualizzazione foveato. Usano un display tipico che copre un ampio campo visivo (ma non è molto denso di pixel), quindi sovrappongono un microdisplay molto più denso di pixel su di esso. La combinazione dei due significa che l'utente ottiene sia un ampio campo visivo per la sua visione periferica, sia una regione ad altissima risoluzione per la sua visione foveale.

Gli ultimi prototipi di Varjo non stanno attualmente spostando il display più piccolo (è solo al centro dell'obiettivo), ma l'azienda ha preso in considerazione una serie di metodi per spostare il display per garantire che l'area ad alta risoluzione sia sempre al centro del tuo sguardo.

Continua a pagina 2 »