Eye-tracking este o schimbare de joc pentru VR, care merge mult dincolo de redarea foveated

Urmărirea ochilor – capacitatea de a măsura rapid și precis direcția pe care o privește un utilizator în timp ce se află în interiorul unei căști VR – este adesea vorbită în contextul redării foveated și despre cum ar putea reduce cerințele de performanță ale VR. Și, în timp ce randarea foveated este un caz de utilizare interesant pentru urmărirea ochilor în căștile VR, urmărirea ochilor este pentru a aduce mult mai mult la masă.

S-a vorbit despre urmărirea ochilor în ceea ce privește VR ca tehnologie îndepărtată de mulți ani, dar hardware-ul devine în sfârșit din ce în ce mai disponibil pentru dezvoltatori și clienți. PSVR 2 și Quest Pro sunt cele mai recente exemple de căști cu urmărire a ochilor încorporată, împreună cu Varjo Aero, Vive Pro Eye și multe altele.

Cu acest impuls, în doar câțiva ani am putea vedea urmărirea ochilor devenind o parte standard a căștilor VR pentru consumatori. Atunci când se întâmplă acest lucru, există o gamă largă de funcții pe care tehnologia le poate activa, pentru a îmbunătăți drastic experiența VR.

Redare foveated

Să începem mai întâi cu cel cu care mulți oameni sunt deja familiarizați. Redarea foveated are scopul de a reduce puterea de calcul necesară pentru afișarea scenelor VR solicitante. Numele provine de la „fovea” – o mică groapă în centrul retinei umane, care este plină dens cu fotoreceptori. Fovea este cea care ne oferă viziune de înaltă rezoluție în centrul câmpului nostru vizual; Între timp, vederea noastră periferică este de fapt foarte slabă la captarea detaliilor și culorilor și este mai bine reglată pentru a observa mișcarea și contrastul decât pentru a vedea detaliile. Vă puteți gândi la ea ca la o cameră care are un senzor mare cu doar câțiva megapixeli și un alt senzor mai mic în mijloc, cu mulți megapixeli.

Regiunea viziunii tale în care poți vedea în detaliu este de fapt mult mai mică decât cred majoritatea - doar câteva grade în centrul vederii tale. Diferența de putere de rezoluție dintre fovee și restul retinei este atât de drastică, încât fără fovea ta, nu ai putea desluși textul de pe această pagină. Puteți vedea cu ușurință acest lucru pentru dvs. : dacă vă păstrați ochii concentrați asupra acestui cuvânt și încercați să citiți doar două propoziții de mai jos, veți descoperi că este aproape imposibil să înțelegeți ce spun cuvintele, deși puteți vedea ceva care seamănă cu cuvintele. Motivul pentru care oamenii supraestimează regiunea foveală a vederii lor pare să fie pentru că creierul face multe interpretări și predicții inconștiente pentru a construi un model al modului în care credem că este lumea.

Redarea foveată își propune să exploateze această ciudatenie a viziunii noastre prin redarea scenei virtuale la rezoluție înaltă numai în regiunea pe care o vede fovea și apoi reduce drastic complexitatea scenei în viziunea noastră periferică, unde detaliul oricum nu poate fi rezolvat. . Acest lucru ne permite să concentrăm cea mai mare parte a puterii de procesare acolo unde contribuie cel mai mult la detalii, economisind în același timp resursele de procesare în altă parte. Poate că nu sună o afacere uriașă, dar pe măsură ce rezoluția afișajului căștilor VR și câmpul vizual crește, puterea necesară pentru a reda scene complexe crește cu o rată aproape exponențială.

Urmărirea ochilor intră desigur în joc, deoarece trebuie să știm în orice moment unde se află centrul privirii utilizatorului, rapid și cu mare precizie, pentru a obține randarea foveated. Se crede că această iluzie ar putea fi realizată într-un mod care este complet invizibil pentru utilizator; anecdotic, am văzut demonstrații recente în care acesta a fost cazul.

Detectarea și ajustarea automată a utilizatorului

Pe lângă detectarea mișcării, urmărirea ochilor poate fi folosită și ca identificator biometric. Acest lucru face ca urmărirea ochilor să fie un candidat excelent pentru mai multe profiluri de utilizator într-un singur set cu cască - când pun setul cu cască, sistemul mă poate identifica instantaneu ca utilizator unic și îmi poate apela mediul personalizat, biblioteca de conținut, progresul jocului și setările. Când un prieten își pune setul cu cască, sistemul își poate încărca preferințele și datele salvate.

Urmărirea ochilor poate fi folosită și pentru a măsura cu precizie IPD, distanța dintre ochi. Cunoașterea IPD-ului dvs. este importantă în VR, deoarece este necesar să mutați lentilele și afișajele în poziția optimă atât pentru confort, cât și pentru calitatea vizuală. Din păcate, mulți oameni nu știu care este IPD-ul lor (puteți obține o măsurătoare aproximativă dacă cereți cuiva să țină o riglă până la ochi sau întrebați medicul oftalmolog).

Cu urmărirea ochilor, ar fi ușor să măsurați instantaneu IPD-ul fiecărui utilizator și apoi ca software-ul căștii să-l ajute pe utilizator să ajusteze potrivirea IPD-ului căștilor sau să avertizeze utilizatorii că IPD-ul lor se află în afara intervalului acceptat de setul cu cască.

În căștile mai avansate, acest proces ar putea fi invizibil și automat - IPD-ul ar putea fi măsurat invizibil, iar setul cu cască ar putea avea o ajustare motorizată a IPD care ar muta automat lentilele în poziția corectă, fără ca utilizatorul să fie conștient de nimic. .

Afișaje varifocale

Sistemele optice utilizate în căștile VR de astăzi funcționează destul de bine, dar sunt de fapt destul de simple și nu suportă o funcție importantă a vederii umane: focalizarea dinamică. Acest lucru se datorează faptului că afișajul dintr-o cască VR este întotdeauna la aceeași distanță de ochii noștri, chiar și atunci când adâncimea stereoscopică sugerează altceva. Acest lucru duce la o problemă numită conflict vergență-acomodare. Dacă doriți să învățați puțin mai multe în profunzime, consultați manualul nostru de mai jos:

Primer: Conflict Vergence-Acomodare (click pentru a extinde)

Cazare

În lumea reală, pentru a vă concentra asupra unui obiect apropiat, lentila ochiului se îndoaie pentru a face lumina de la obiect să lovească locul potrivit de pe retină, oferindu-vă o vedere clară a obiectului. Pentru un obiect care este mai departe, lumina se deplasează în unghiuri diferite în ochiul tău și lentila trebuie să se îndoaie din nou pentru a se asigura că lumina este focalizată pe retină. De aceea, dacă închideți un ochi și vă concentrați pe degetul la câțiva centimetri de față, lumea din spatele degetului este neclară. În schimb, dacă te concentrezi asupra lumii din spatele degetului tău, degetul tău devine neclar. Aceasta se numește cazare.

Vergence

Apoi există vergență, care este atunci când fiecare dintre ochi se rotește spre interior pentru a „converge” vederile separate de la fiecare ochi într-o singură imagine suprapusă. Pentru obiectele foarte îndepărtate, ochii tăi sunt aproape paraleli, deoarece distanța dintre ei este atât de mică în comparație cu distanța obiectului (adică fiecare ochi vede o porțiune aproape identică a obiectului). Pentru obiectele foarte apropiate, ochii tăi trebuie să se rotească spre interior pentru a alinia perspectiva fiecărui ochi. Puteți vedea acest lucru și cu trucul nostru cu degetul mic ca mai sus: de data aceasta, folosind ambii ochi, țineți degetul la câțiva centimetri de față și priviți-l. Observați că vedeți imagini duble ale obiectelor mult în spatele degetului. Atunci când te concentrezi pe acele obiecte din spatele degetului, acum vezi o imagine cu dublu deget.

Conflictul

Cu instrumente suficient de precise, puteți folosi fie vergență, fie acomodare pentru a ști cât de departe este un obiect pe care îl privește o persoană. Dar lucrul este că atât acomodarea, cât și vergența se întâmplă în ochiul tău împreună, automat. Și nu se întâmplă doar în același timp - există o corelație directă între vergență și acomodare, astfel încât pentru orice măsurătoare dată a vergenței, există un nivel de acomodare direct corespunzător (și invers). De când erai copil mic, creierul și ochii tăi și-au format memoria musculară pentru a face ca aceste două lucruri să se întâmple împreună, fără să te gândești, oricand te uiți la ceva.

Dar când vine vorba de majoritatea căștilor AR și VR de astăzi, vergența și adaptarea nu sunt sincronizate din cauza limitărilor inerente ale designului optic.

Într-o cască de bază AR sau VR, există un afișaj (care este, să spunem, la 3″ distanță de ochiul tău) care arată scena virtuală și o lentilă care concentrează lumina de pe afișaj pe ochiul tău (la fel ca lentila din ochiul tău ar concentra în mod normal lumina din lume pe retină). Dar, deoarece afișajul se află la o distanță statică de ochiul dvs. și forma lentilei este statică, lumina care vine de la toate obiectele afișate pe acel afișaj vine de la aceeași distanță. Deci, chiar dacă există un munte virtual la cinci mile distanță și o ceașcă de cafea pe o masă la cinci centimetri distanță, lumina ambelor obiecte intră în ochi în același unghi (ceea ce înseamnă că acomodarea dvs. - îndoirea lentilei în ochi - nu se schimbă niciodată ).

Acest lucru vine în conflict cu vergența în astfel de căști, care, pentru că putem afișa o imagine diferită fiecărui ochi, este variabilă. Capacitatea de a ajusta imaginea în mod independent pentru fiecare ochi, astfel încât ochii noștri trebuie să convergă spre obiecte la adâncimi diferite, este în esență ceea ce oferă căștilor cu căști AR și VR de astăzi.

Dar cel mai realist (și, fără îndoială, cel mai confortabil) afișaj pe care l-am putea crea ar elimina problema de acomodare-vergență și le-ar lăsa pe cele două să funcționeze în sincronizare, exact așa cum ne-am obișnuit în lumea reală.

Afișajele varifocale - cele care își pot modifica în mod dinamic adâncimea focală - sunt propuse ca o soluție la această problemă. Există o serie de abordări ale afișajelor varifocale, dintre care poate cea mai simplă este un sistem optic în care afișajul este mișcat fizic înainte și înapoi de la obiectiv pentru a schimba adâncimea focală din mers.

Realizarea unui astfel de afișaj varifocal activat necesită urmărirea ochilor, deoarece sistemul trebuie să știe cu precizie unde se uită utilizatorul în scenă. Prin trasarea unei căi în scena virtuală din fiecare dintre ochii utilizatorului, sistemul poate găsi punctul în care acele căi se intersectează, stabilind planul focal adecvat la care se uită utilizatorul. Aceste informații sunt apoi trimise pe afișaj pentru a se ajusta în consecință, setând adâncimea focală pentru a se potrivi cu distanța virtuală de la ochiul utilizatorului la obiect.

Un afișaj varifocal bine implementat ar putea nu numai să elimine conflictul vergență-acomodare, ci și să permită utilizatorilor să se concentreze pe obiecte virtuale mult mai apropiate de ele decât în ​​căștile existente.

Și cu mult înainte de a introduce afișaje varifocale în căștile VR, urmărirea ochilor ar putea fi utilizată pentru simularea adâncimii de câmp, care ar putea aproxima neclaritatea obiectelor în afara planului focal al ochilor utilizatorului.

Afișări foveated

În timp ce randarea foveated are scopul de a distribui mai bine puterea de redare între partea din viziunea noastră unde putem vedea clar și vederea noastră periferică cu detalii reduse, ceva similar poate fi realizat pentru numărul real de pixeli.

În loc să schimbe doar detaliile randării pe anumite părți ale afișajului față de altele, afișajele foveated sunt cele care sunt mutate fizic pentru a rămâne în fața privirii utilizatorului, indiferent unde se uită.

Ecranele foveated deschid ușa pentru a obține o rezoluție mult mai mare în căștile VR, fără a forța problema brută, încercând să înghesuiți pixeli la rezoluție mai mare în întregul nostru câmp vizual. Procedând astfel, nu numai că ar fi costisitor, dar ar fi, de asemenea, să se confrunte cu constrângeri de putere provocatoare, pe măsură ce numărul de pixeli se apropie de rezoluția retinei. În schimb, afișajele foveated ar muta un afișaj mai mic, dens în pixeli, oriunde caută utilizatorul, pe baza datelor de urmărire a ochilor. Această abordare ar putea duce chiar la câmpuri vizuale mai mari decât ar putea fi realizate altfel cu un singur afișaj plat.

Varjo este o companie care lucrează la un sistem de afișare foveated. Ei folosesc un afișaj tipic care acoperă un câmp vizual larg (dar nu este foarte dens în pixeli) și apoi suprapun un microdisplay care este mult mai dens în pixeli deasupra acestuia. Combinația celor două înseamnă că utilizatorul obține atât un câmp vizual larg pentru vederea periferică, cât și o regiune de rezoluție foarte mare pentru vederea foveală.

Cele mai recente prototipuri ale lui Varjo nu mișcă în prezent afișajul mai mic (se atârnă doar în centrul lentilei), dar compania a luat în considerare o serie de metode de mutare a afișajului pentru a se asigura că zona de înaltă rezoluție este întotdeauna în centrul dvs. privirea.

Continuare pe pagina 2 »