Eye-tracking er en Game Changer for VR, der går langt ud over Foveated Rendering

Eye-tracking – evnen til hurtigt og præcist at måle den retning, en bruger kigger i, mens han er inde i et VR-headset – tales ofte om i forbindelse med foveated rendering, og hvordan det kunne reducere ydeevnekravene til VR. Og mens foveated gengivelse er en spændende brugssag til eye-tracking i VR-headset, så bringer eyetracking-standere meget mere til bordet.

Eye-tracking har været talt om med hensyn til VR som en fjern teknologi i mange år, men hardwaren bliver endelig mere og mere tilgængelig for udviklere og kunder. PSVR 2 og Quest Pro er de seneste eksempler på headset med indbygget eye-tracking sammen med folk som Varjo Aero, Vive Pro Eye og mere.

Med dette momentum kunne vi på få år se eye-tracking blive en standard del af VR-headset til forbrugere. Når det sker, er der en lang række funktioner, som teknologien kan aktivere, og som kan forbedre VR-oplevelsen drastisk.

Foveated Rendering

Lad os først starte med den, som mange mennesker allerede kender. Foveated gengivelse har til formål at reducere den beregningskraft, der kræves til at vise krævende VR-scener. Navnet kommer fra 'fovea' - en lille hul i midten af ​​den menneskelige nethinde, som er tæt pakket med fotoreceptorer. Det er foveaen, som giver os højopløsningssyn i centrum af vores synsfelt; i mellemtiden er vores perifere syn faktisk meget dårligt til at opfange detaljer og farver og er bedre indstillet til at se bevægelse og kontrast end at se detaljer. Du kan tænke på det som et kamera, der har en stor sensor med blot et par megapixel, og en anden mindre sensor i midten med masser af megapixel.

Det område af dit syn, hvor du kan se i høj detalje, er faktisk meget mindre, end de fleste tror - kun et par grader på tværs af midten af ​​dit syn. Forskellen i opløsningsevne mellem fovea og resten af ​​nethinden er så drastisk, at uden din fovea kunne du ikke se teksten på denne side. Du kan nemt se dette for dig selv: Hvis du holder dine øjne fokuseret på dette ord og prøver at læse blot to sætninger nedenfor, vil du opdage, at det er næsten umuligt at finde ud af, hvad ordene siger, selvom du kan se noget, der ligner ord. Grunden til, at folk overvurderer fovealregionen af ​​deres syn, synes at være, fordi hjernen laver en masse ubevidst fortolkning og forudsigelse for at bygge en model for, hvordan vi tror, ​​verden er.

Foveated rendering har til formål at udnytte dette særpræg ved vores vision ved kun at gengive den virtuelle scene i høj opløsning i det område, som foveaen ser, og derefter drastisk reducere kompleksiteten af ​​scenen i vores perifere vision, hvor detaljerne alligevel ikke kan løses. . Dette giver os mulighed for at fokusere det meste af processorkraften, hvor den bidrager mest til detaljerne, samtidig med at vi sparer behandlingsressourcer andre steder. Det lyder måske ikke som en stor sag, men efterhånden som skærmopløsningen på VR-headset og synsfelt øges, vokser den nødvendige kraft til at gengive komplekse scener med en næsten eksponentiel hastighed.

Eye-tracking spiller selvfølgelig ind, fordi vi har brug for at vide, hvor centrum af brugerens blik til enhver tid er hurtigt og med høj præcision for at kunne udføre foveeret gengivelse. Det menes, at denne illusion kunne gøres på en måde, der er fuldstændig usynlig for brugeren; anekdotisk har jeg set nylige demoer, hvor dette var tilfældet.

Automatisk brugerregistrering og -justering

Ud over at detektere bevægelse, kan eye-tracking også bruges som en biometrisk identifikator. Det gør eye-tracking til en god kandidat for flere brugerprofiler på tværs af et enkelt headset – når jeg tager headsettet på, kan systemet øjeblikkeligt identificere mig som en unik bruger og kalde mit tilpassede miljø, indholdsbibliotek, spilfremskridt og indstillinger frem. Når en ven tager headsettet på, kan systemet indlæse deres præferencer og gemte data.

Eye-tracking kan også bruges til præcist at måle IPD, afstanden mellem ens øjne. At kende din IPD er vigtigt i VR, fordi det er nødvendigt for at flytte linserne og skærmene til den optimale position for både komfort og visuel kvalitet. Desværre ved mange mennesker ikke, hvad deres IPD er (du kan få en grov måling, hvis du beder nogen om at holde en lineal op til dine øjne, eller spørger din øjenlæge).

Med eye-tracking ville det være nemt øjeblikkeligt at måle hver brugers IPD og derefter få headsettets software til at hjælpe brugeren med at justere headsettets IPD-match, eller advare brugere om, at deres IPD er uden for det område, der understøttes af headsettet.

I mere avancerede headsets kunne denne proces være usynlig og automatisk - IPD'en kunne måles usynligt, og headsettet kunne have en motoriseret IPD-justering, som automatisk flytter linserne til den korrekte position, uden at brugeren behøver at være opmærksom på noget af det .

Varifokale skærme

De optiske systemer, der bruges i nutidens VR-headset, fungerer ret godt, men de er faktisk ret enkle og understøtter ikke en vigtig funktion af menneskesyn: dynamisk fokus. Det skyldes, at displayet i et VR-headset altid er i samme afstand fra vores øjne, selv når den stereoskopiske dybde antyder noget andet. Dette fører til et problem kaldet vergens-indkvarteringskonflikt. Hvis du vil lære lidt mere i dybden, så tjek vores primer nedenfor:

Primer: Vergence-Accommodation Conflict (klik for at udvide)

Indkvartering

I den virkelige verden, for at fokusere på et nærliggende objekt, bøjes linsen i dit øje for at få lyset fra objektet til at ramme det rigtige sted på din nethinde, hvilket giver dig et skarpt billede af objektet. For et objekt, der er længere væk, bevæger lyset sig i forskellige vinkler ind i dit øje, og linsen skal igen bøje for at sikre, at lyset fokuseres på din nethinde. Det er derfor, hvis du lukker det ene øje og fokuserer på din finger et par centimeter fra dit ansigt, er verden bag din finger sløret. Omvendt, hvis du fokuserer på verden bag din finger, bliver din finger sløret. Dette kaldes indkvartering.

Vergens

Så er der vergens, som er, når hvert af dine øjne roterer indad for at 'konvergere' de separate visninger fra hvert øje til ét overlappende billede. For meget fjerne objekter er dine øjne næsten parallelle, fordi afstanden mellem dem er så lille i forhold til objektets afstand (hvilket betyder, at hvert øje ser en næsten identisk del af objektet). For meget nærliggende objekter skal dine øjne rotere indad for at bringe hvert øjes perspektiv på linje. Du kan også se dette med vores lillefingertrick som ovenfor: Denne gang, brug begge øjne, hold fingeren et par centimeter fra dit ansigt og se på den. Bemærk, at du ser dobbeltbilleder af objekter langt bag din finger. Når du så fokuserer på de objekter bag din finger, ser du nu et dobbeltfingerbillede.

Konflikten

Med præcise nok instrumenter kan du bruge enten vergens eller tilpasning til at vide, hvor langt væk et objekt er, som en person kigger på. Men sagen er, at både akkommodation og vergens sker i dit øje sammen, automatisk. Og de sker ikke bare på samme tid - der er en direkte sammenhæng mellem vergens og akkommodation, sådan at der for enhver given måling af vergens er et direkte tilsvarende niveau af akkommodation (og omvendt). Siden du var en lille baby, har din hjerne og dine øjne dannet muskelhukommelse for at få disse to ting til at ske sammen, uden at tænke, hver gang du ser på noget.

Men når det kommer til de fleste af nutidens AR- og VR-headsets, er vergens og indkvartering ude af synkronisering på grund af iboende begrænsninger af det optiske design.

I et grundlæggende AR- eller VR-headset er der en skærm (som er, lad os sige, 3″ væk fra dit øje), som viser den virtuelle scene, og en linse, der fokuserer lyset fra skærmen på dit øje (ligesom linsen i dit øje ville normalt fokusere lyset fra verden på din nethinde). Men da skærmen er en statisk afstand fra dit øje, og linsens form er statisk, kommer lyset fra alle objekter, der vises på skærmen, fra samme afstand. Så selvom der er et virtuelt bjerg fem miles væk og en kaffekop på et bord fem tommer væk, kommer lyset fra begge genstande ind i øjet i samme vinkel (hvilket betyder, at din bolig – bøjningen af ​​linsen i dit øje – aldrig ændrer sig ).

Det kommer i konflikt med vergens i sådanne headset, som - fordi vi kan vise et forskelligt billede til hvert øje - er variabelt. At være i stand til at justere forestillingen uafhængigt for hvert øje, sådan at vores øjne skal konvergere mod objekter i forskellige dybder, er i bund og grund det, der giver nutidens AR- og VR-headset stereoskopi.

Men den mest realistiske (og velsagtens mest komfortable) skærm, vi kunne skabe, ville eliminere problemet med grænseovernatning og lade de to arbejde synkront, ligesom vi er vant til i den virkelige verden.

Varifokale skærme - dem, der dynamisk kan ændre deres brændvidde - foreslås som en løsning på dette problem. Der er en række tilgange til varifokale skærme, hvoraf den måske mest enkle er et optisk system, hvor skærmen fysisk flyttes frem og tilbage fra linsen for at ændre brændvidde i farten.

At opnå et sådant aktiveret varifokalt display kræver eye-tracking, fordi systemet skal vide præcist, hvor i scenen brugeren kigger. Ved at spore en sti ind i den virtuelle scene fra hver af brugerens øjne, kan systemet finde det punkt, hvor disse stier krydser hinanden, og etablere det korrekte fokusplan, som brugeren ser på. Denne information sendes derefter til skærmen for at justere i overensstemmelse hermed, og indstille brændvidden til at matche den virtuelle afstand fra brugerens øje til objektet.

En velimplementeret varifokal skærm kunne ikke kun eliminere konflikten mellem grænseovergang og indkvartering, men også give brugerne mulighed for at fokusere på virtuelle objekter meget tættere på dem end i eksisterende headset.

Og længe før vi sætter varifokale skærme ind i VR-headset, kunne eye-tracking bruges til simuleret dybdeskarphed, som kunne tilnærme sløringen af ​​objekter uden for fokusplanet for brugerens øjne.

Foveated Displays

Mens foveated rendering sigter mod bedre at fordele gengivelseskraften mellem den del af vores vision, hvor vi kan se skarpt, og vores perifere vision med lave detaljer, kan noget lignende opnås for det faktiske antal pixels.

I stedet for blot at ændre detaljerne i gengivelsen på visse dele af skærmen i forhold til andre, er foveerede skærme dem, der fysisk flyttes for at forblive foran brugerens blik, uanset hvor de kigger.

Foveated skærme åbner døren for at opnå meget højere opløsning i VR-headset uden at brute-force problemet ved at forsøge at proppe pixels med højere opløsning på tværs af hele vores synsfelt. At gøre det ville ikke kun være dyrt, men også støde ind i udfordrende strømbegrænsninger, når antallet af pixels nærmer sig nethindeopløsning. I stedet ville foveated skærme flytte en mindre, pixeltæt skærm til hvor end brugeren kigger baseret på eye-tracking-data. Denne tilgang kunne endda føre til højere synsfelter, end man ellers kunne opnå med en enkelt flad skærm.

Varjo er en virksomhed, der arbejder på et foveated displaysystem. De bruger en typisk skærm, der dækker et bredt synsfelt (men ikke er særlig pixeltæt), og overlejrer derefter en mikroskærm, der er meget mere pixeltæt oven på den. Kombinationen af ​​de to betyder, at brugeren både får et bredt synsfelt for deres perifere syn og et område med meget høj opløsning for deres foveale syn.

Varjos seneste prototyper flytter i øjeblikket ikke den mindre skærm (den hænger bare ud i midten af ​​linsen), men virksomheden har overvejet en række metoder til at flytte skærmen for at sikre, at området med høj opløsning altid er i centrum af din stirre.

Fortsættes på side 2 »