Eye-tracking je promjena igre za VR koja ide daleko dalje od Foveated renderiranja

Eye-tracking—sposobnost brzog i preciznog mjerenja smjera u kojem korisnik gleda dok je unutar VR slušalica—često se govori o kontekstu foveated renderiranja i kako bi to moglo smanjiti zahtjeve performansi VR-a. I dok je foveated renderiranje uzbudljiv slučaj korištenja za praćenje oka u VR slušalicama, praćenje oka donosi puno više.

O Eye-trackingu se govori u vezi s VR-om kao udaljenom tehnologijom dugi niz godina, ali hardver konačno postaje sve dostupniji programerima i kupcima. PSVR 2 i Quest Pro najnoviji su primjeri slušalica s ugrađenim praćenjem očiju, zajedno s Varjo Aero, Vive Pro Eye i ostalima.

Uz ovaj zamah, za samo nekoliko godina mogli bismo vidjeti kako praćenje oka postaje standardni dio potrošačkih VR slušalica. Kada se to dogodi, postoji širok raspon značajki koje tehnologija može omogućiti da bi se drastično poboljšalo VR iskustvo.

Foveated Rendering

Počnimo prvo s onim s kojim su mnogi ljudi već upoznati. Foveated renderiranje ima za cilj smanjiti računsku snagu potrebnu za prikazivanje zahtjevnih VR scena. Ime dolazi od "fovee" - male jame u središtu ljudske mrežnice koja je gusto prepuna fotoreceptora. To je fovea koja nam daje vid visoke rezolucije u središtu našeg vidnog polja; u međuvremenu je naš periferni vid zapravo vrlo loš u uočavanju detalja i boja i bolje je podešen za uočavanje pokreta i kontrasta nego za uočavanje detalja. Možete to zamisliti kao kameru koja ima veliki senzor sa samo nekoliko megapiksela i još jedan manji senzor u sredini s puno megapiksela.

Područje vašeg vida u kojem možete vidjeti s velikim detaljima zapravo je puno manje nego što većina misli - samo nekoliko stupnjeva u središtu vašeg pogleda. Razlika u moći razlučivanja između fovee i ostatka mrežnice toliko je drastična da bez vaše fovee ne biste mogli razaznati tekst na ovoj stranici. To možete lako vidjeti sami: ako držite oči usredotočene na ovu riječ i pokušate pročitati samo dvije rečenice ispod, vidjet ćete da je gotovo nemoguće razaznati što riječi govore, iako možete vidjeti nešto što sliči riječima. Čini se da je razlog zašto ljudi precjenjuju fovealnu regiju svog vida to što mozak mnogo nesvjesno tumači i predviđa kako bi izgradio model kakav svijet izgleda po našem mišljenju.

Foveated rendering ima za cilj iskoristiti ovu osobinu našeg vida renderiranjem virtualne scene u visokoj razlučivosti samo u regiji koju fovea vidi, a zatim drastično smanjiti složenost scene u našem perifernom vidu gdje se detalji ionako ne mogu razlučiti . To nam omogućuje da većinu procesorske snage usredotočimo tamo gdje najviše pridonosi detaljima, dok drugdje štedimo resurse za obradu. To možda ne zvuči kao velika stvar, ali kako se razlučivost zaslona VR slušalica i vidno polje povećavaju, snaga potrebna za renderiranje složenih scena raste gotovo eksponencijalnom brzinom.

Praćenje očiju naravno dolazi u obzir jer moramo znati gdje je središte korisnikova pogleda u svakom trenutku brzo i s visokom preciznošću kako bismo izveli foveated rendering. Vjeruje se da bi se ova iluzija mogla napraviti na način koji je potpuno nevidljiv korisniku; anegdotalno, vidio sam nedavne demonstracije u kojima je to bio slučaj.

Automatsko otkrivanje i prilagodba korisnika

Osim za otkrivanje pokreta, praćenje oka može se koristiti i kao biometrijski identifikator. To čini praćenje oka odličnim kandidatom za višestruke korisničke profile na jednoj slušalici—kada stavim slušalicu, sustav me može odmah identificirati kao jedinstvenog korisnika i pozvati moje prilagođeno okruženje, biblioteku sadržaja, napredak u igri i postavke. Kada prijatelj stavi slušalice, sustav može učitati njegove preferencije i spremljene podatke.

Praćenje očiju također se može koristiti za precizno mjerenje IPD-a, udaljenosti između očiju. Poznavanje vašeg IPD-a važno je u VR-u jer je potrebno za pomicanje leća i zaslona u optimalan položaj za udobnost i vizualnu kvalitetu. Nažalost, mnogi ljudi ne znaju koji je njihov IPD (možete dobiti grubo mjerenje ako zamolite nekoga da prinese ravnalo vašim očima ili pitajte svog oftalmologa).

S praćenjem oka bilo bi lako trenutačno izmjeriti IPD svakog korisnika, a zatim bi softver slušalica pomogao korisniku u podešavanju usklađenosti IPD-a slušalica ili upozorio korisnike da je njihov IPD izvan raspona koji slušalice podržavaju.

U naprednijim slušalicama ovaj bi proces mogao biti nevidljiv i automatski—IPD bi se mogao mjeriti nevidljivo, a slušalice bi mogle imati motorizirano podešavanje IPD-a koje bi automatski pomicalo leće u ispravan položaj, a da korisnik toga ne mora biti svjestan .

Varifokalni zasloni

Optički sustavi koji se koriste u današnjim VR slušalicama rade prilično dobro, ali su zapravo prilično jednostavni i ne podržavaju važnu funkciju ljudskog vida: dinamički fokus. To je zato što je zaslon u VR slušalicama uvijek na istoj udaljenosti od naših očiju, čak i kada stereoskopska dubina sugerira suprotno. To dovodi do problema koji se naziva sukob vergencije i akomodacije. Ako želite naučiti nešto dublje, pogledajte našu početnu stranicu u nastavku:

Primer: Vergence-Accommodation Conflict (kliknite za proširenje)

Smještaj

U stvarnom svijetu, da biste se fokusirali na bliski objekt, leća vašeg oka se savija kako bi svjetlost iz objekta pogodila pravo mjesto na vašoj mrežnici, dajući vam oštar pogled na objekt. Za objekt koji je dalje, svjetlost putuje pod različitim kutovima u vaše oko i leća se opet mora saviti kako bi osigurala fokusiranje svjetlosti na vašu mrežnicu. To je razlog zašto, ako zatvorite jedno oko i fokusirate se na prst nekoliko centimetara od lica, svijet iza vašeg prsta je mutan. Suprotno tome, ako se usredotočite na svijet iza vašeg prsta, vaš prst postaje mutan. To se zove smještaj.

Vergencija

Zatim postoji vergencija, a to je kada se svako vaše oko okreće prema unutra kako bi 'konvergiralo' odvojene poglede svakog oka u jednu preklapajuću sliku. Za vrlo udaljene objekte, vaše oči su gotovo paralelne, jer je udaljenost između njih tako mala u usporedbi s udaljenošću objekta (što znači da svako oko vidi gotovo identičan dio objekta). Za vrlo blizu objekata, vaše oči moraju se okrenuti prema unutra kako bi se perspektiva svakog oka uskladila. Ovo također možete vidjeti pomoću našeg trika s malim prstom kao što je gore navedeno: ovaj put, koristeći oba oka, držite prst nekoliko centimetara od lica i gledajte ga. Primijetite da vidite dvostruke slike objekata daleko iza svog prsta. Kada se zatim fokusirate na te objekte iza vašeg prsta, sada vidite dvostruku sliku prsta.

Sukob

Uz dovoljno precizne instrumente, mogli biste upotrijebiti ili vergenciju ili akomodaciju da biste znali koliko je udaljen objekt u koji osoba gleda. Ali stvar je u tome što se i akomodacija i vergencija događaju u vašem oku zajedno, automatski. I ne događaju se samo u isto vrijeme - postoji izravna korelacija između vergencije i akomodacije, tako da za bilo koje mjerenje vergencije postoji izravno odgovarajuća razina akomodacije (i obrnuto). Otkako ste bili mala beba, vaš mozak i oči formirali su mišićnu memoriju kako bi se te dvije stvari dogodile zajedno, bez razmišljanja, kada god pogledate u bilo što.

Ali kada je riječ o većini današnjih AR i VR slušalica, vergencija i prilagodba nisu usklađeni zbog inherentnih ograničenja optičkog dizajna.

U osnovnim AR ili VR slušalicama postoji zaslon (koji je, recimo, 3 inča udaljen od vašeg oka) koji prikazuje virtualnu scenu i leća koja fokusira svjetlo sa zaslona na vaše oko (baš kao leća u vaše oko bi inače fokusiralo svjetlo iz svijeta na vašu mrežnicu). Ali budući da je zaslon statična udaljenost od vašeg oka, a oblik leće je statičan, svjetlost koja dolazi od svih objekata prikazanih na tom zaslonu dolazi s iste udaljenosti. Dakle, čak i ako postoji virtualna planina udaljena pet milja i šalica kave na stolu udaljena pet inča, svjetlost iz oba predmeta ulazi u oko pod istim kutom (što znači da se vaša akomodacija - savijanje leće u vašem oku - nikada ne mijenja ).

To dolazi u sukob s vergencijom u takvim slušalicama koje su – budući da svakom oku možemo pokazati drugačiju sliku – varijabilne. Mogućnost prilagodbe zamisli neovisno za svako oko, tako da naše oči trebaju konvergirati na objektima na različitim dubinama, u biti je ono što današnjim AR i VR slušalicama daje stereoskopiju.

Ali najrealističniji (i vjerojatno najudobniji) zaslon koji bismo mogli stvoriti eliminirao bi problem vergencije-prilagođavanja i omogućio da ta dva rade sinkronizirano, baš kao što smo navikli u stvarnom svijetu.

Varifokalni zasloni—oni koji mogu dinamički mijenjati svoju žarišnu dubinu—predlažu se kao rješenje za ovaj problem. Postoji niz pristupa varifokalnim zaslonima, od kojih je možda najjednostavniji optički sustav gdje se zaslon fizički pomiče naprijed-natrag od leće kako bi se u hodu promijenila žarišna dubina.

Postizanje takvog aktiviranog varifokalnog zaslona zahtijeva praćenje oka jer sustav treba točno znati gdje u sceni korisnik gleda. Prateći putanju u virtualnu scenu iz svakog oka korisnika, sustav može pronaći točku u kojoj se te staze sijeku, uspostavljajući odgovarajuću žarišnu ravninu koju korisnik gleda. Ove se informacije zatim šalju na zaslon kako bi se prilagodile u skladu s tim, postavljajući žarišnu dubinu tako da odgovara virtualnoj udaljenosti od korisnikova oka do objekta.

Dobro implementiran varifokalni zaslon ne samo da bi mogao eliminirati sukob vergencije i akomodacije, već bi također omogućio korisnicima da se fokusiraju na virtualne objekte koji su im mnogo bliže nego u postojećim slušalicama.

I puno prije nego što stavimo varifokalne zaslone u VR slušalice, praćenje oka moglo bi se koristiti za simulaciju dubine polja, koja bi mogla približno odrediti zamućenje objekata izvan žarišne ravnine očiju korisnika.

Foveated Displays

Iako je cilj foveated renderiranja bolja raspodjela snage renderiranja između dijela našeg vida gdje možemo vidjeti oštro i našeg perifernog vida s niskim detaljima, nešto slično se može postići za stvarni broj piksela.

Umjesto da samo mijenjaju pojedinosti prikazivanja na određenim dijelovima zaslona u odnosu na druge, foveated zasloni su oni koji se fizički pomiču kako bi ostali ispred pogleda korisnika bez obzira kamo gledaju.

Foveated zasloni otvaraju vrata postizanju puno veće razlučivosti u VR slušalicama bez brutalnog forsiranja problema pokušavajući natrpati piksele u višoj razlučivosti u našem cijelom vidnom polju. To ne samo da bi bilo skupo, već bi se susrelo i s izazovnim ograničenjima napajanja jer se broj piksela približava rezoluciji mrežnice. Umjesto toga, zasloni s žljebovima premjestili bi manji zaslon s gustinom piksela kamo god korisnik gleda na temelju podataka o praćenju pogleda. Ovaj bi pristup čak mogao dovesti do viših vidnih polja nego što bi se inače moglo postići s jednim ravnim zaslonom.

Varjo je jedna tvrtka koja radi na sustavu prikaza s žljebovima. Oni koriste tipičan zaslon koji pokriva široko vidno polje (ali nema veliku gustoću piksela), a zatim na njega postavljaju mikrozaslon koji ima mnogo veću gustoću piksela. Kombinacija to dvoje znači da korisnik dobiva i široko vidno polje za svoj periferni vid i područje vrlo visoke rezolucije za svoj fovealni vid.

Najnoviji Varjo prototipovi trenutačno ne pomiču manji zaslon (samo visi u središtu leće), ali tvrtka je razmotrila niz metoda za pomicanje zaslona kako bi osigurala da područje visoke rezolucije uvijek bude u središtu vašeg pogled.

Nastavak na stranici 2 »