Virtuell virkelighet

Eye-tracking er en Game Changer for VR som går langt utover Foveated Rendering

Eye-tracking er en Game Changer for VR som går langt utover Foveated Rendering

Eye-tracking – evnen til raskt og presist å måle retningen en bruker ser mens han er inne i et VR-headset – snakkes ofte om i sammenheng med foveert gjengivelse, og hvordan det kan redusere ytelseskravene til VR. Og selv om fremhevet gjengivelse er et spennende bruksområde for øyesporing i VR-headset, gir øyesporingsstativ mye mer til bordet.

Eye-tracking har blitt snakket om med hensyn til VR som en fjern teknologi i mange år, men maskinvaren blir endelig stadig mer tilgjengelig for utviklere og kunder. PSVR 2 og Quest Pro er de siste eksemplene på hodesett med innebygd eye-tracking, sammen med slike som Varjo Aero, Vive Pro Eye og mer.

Med dette momentumet kunne vi på bare noen få år se eye-tracking bli en standard del av VR-headset for forbrukere. Når det skjer, er det et bredt spekter av funksjoner som teknologien kan aktivere som kan forbedre VR-opplevelsen drastisk.

Foveated Rendering

La oss først begynne med den som mange allerede er kjent med. Foveated rendering har som mål å redusere beregningskraften som kreves for å vise krevende VR-scener. Navnet kommer fra "fovea" - en liten grop i midten av den menneskelige netthinnen som er tettpakket med fotoreseptorer. Det er foveaen som gir oss høyoppløsningssyn i sentrum av synsfeltet vårt; i mellomtiden er vårt perifere syn faktisk veldig dårlig til å fange opp detaljer og farger, og er bedre innstilt for å oppdage bevegelse og kontrast enn å se detaljer. Du kan tenke på det som et kamera som har en stor sensor med bare noen få megapiksler, og en annen mindre sensor i midten med mange megapiksler.

Området i synet ditt der du kan se i høy detalj er faktisk mye mindre enn de fleste tror – bare noen få grader over midten av synet. Forskjellen i oppløsningskraft mellom fovea og resten av netthinnen er så drastisk at uten foveaen din, kunne du ikke se teksten på denne siden. Du kan enkelt se dette selv: hvis du holder blikket fokusert på dette ordet og prøver å lese bare to setninger nedenfor, vil du finne at det er nesten umulig å skjønne hva ordene sier, selv om du kan se noe som ligner på ord. Grunnen til at folk overvurderer fovealområdet i synet ser ut til å være fordi hjernen gjør mye ubevisst tolkning og prediksjon for å bygge en modell av hvordan vi tror verden er.

Foveated rendering tar sikte på å utnytte dette særpreg i synet vårt ved å gjengi den virtuelle scenen i høy oppløsning bare i regionen som foveaen ser, og deretter drastisk redusere kompleksiteten til scenen i vårt perifere syn der detaljene ikke kan løses uansett. . Ved å gjøre det kan vi fokusere mesteparten av prosessorkraften der den bidrar mest til detaljer, samtidig som vi sparer behandlingsressurser andre steder. Det høres kanskje ikke ut som en stor avtale, men etter hvert som skjermoppløsningen til VR-headset og synsfelt øker, vokser kraften som trengs for å gjengi komplekse scener i en nesten eksponentiell hastighet.

Eye-tracking spiller selvfølgelig inn fordi vi trenger å vite hvor sentrum av brukerens blikk er til enhver tid raskt og med høy presisjon for å få frem foveert gjengivelse. Det antas at denne illusjonen kan gjøres på en måte som er helt usynlig for brukeren; anekdotisk har jeg sett nylige demoer hvor dette var tilfelle.

Automatisk brukerdeteksjon og justering

I tillegg til å oppdage bevegelse, kan øyesporing også brukes som en biometrisk identifikator. Det gjør øyesporing til en god kandidat for flere brukerprofiler på tvers av et enkelt hodesett – når jeg tar på hodesettet, kan systemet umiddelbart identifisere meg som en unik bruker og hente frem det tilpassede miljøet, innholdsbiblioteket, spillfremdriften og innstillingene. Når en venn tar på seg hodesettet, kan systemet laste inn innstillingene og lagrede data.

Eye-tracking kan også brukes til å nøyaktig måle IPD, avstanden mellom øynene. Å kjenne din IPD er viktig i VR fordi det er nødvendig for å flytte linsene og skjermene til den optimale posisjonen for både komfort og visuell kvalitet. Dessverre er det mange som ikke vet hva deres IPD er (du kan få en grov måling hvis du ber noen holde en linjal opp til øynene dine, eller spør øyelegen din).

Med eye-tracking vil det være enkelt å umiddelbart måle hver brukers IPD og deretter få headsettets programvare til å hjelpe brukeren med å justere headsettets IPD-match, eller advare brukere om at deres IPD er utenfor området som støttes av headsettet.

I mer avanserte hodesett kan denne prosessen være usynlig og automatisk – IPD kan måles usynlig, og hodesettet kan ha en motorisert IPD-justering som automatisk flytter linsene til riktig posisjon uten at brukeren trenger å være klar over noe av det .

Varifokale skjermer

feature-varifocal-concept-headset-640x365

De optiske systemene som brukes i dagens VR-headset fungerer ganske bra, men de er faktisk ganske enkle og støtter ikke en viktig funksjon av menneskelig syn: dynamisk fokus. Dette er fordi displayet i et VR-headset alltid er i samme avstand fra øynene våre, selv når den stereoskopiske dybden tilsier noe annet. Dette fører til et problem som kalles vergens-overnatting-konflikt. Hvis du ønsker å lære litt mer i dybden, sjekk ut primeren vår nedenfor:

Primer: Vergence-Accommodation Conflict (klikk for å utvide)

Overnatting

overnatting-øye-diagram-559x500

I den virkelige verden, for å fokusere på et nært objekt, bøyes øyelinsen for å få lyset fra objektet til å treffe riktig sted på netthinnen, og gir deg et skarpt syn på objektet. For et objekt som er lenger unna, beveger lyset seg i forskjellige vinkler inn i øyet ditt, og linsen må igjen bøye seg for å sikre at lyset fokuseres på netthinnen din. Dette er grunnen til at hvis du lukker det ene øyet og fokuserer på fingeren noen få centimeter fra ansiktet ditt, er verden bak fingeren uskarp. Omvendt, hvis du fokuserer på verden bak fingeren din, blir fingeren uskarp. Dette kalles overnatting.

Vergens

vergensdiagram-504x500

Så er det vergens, som er når hvert av øynene dine roterer innover for å "konvergere" de separate visningene fra hvert øye til ett overlappende bilde. For svært fjerne objekter er øynene dine nesten parallelle, fordi avstanden mellom dem er så liten i forhold til avstanden til objektet (noe som betyr at hvert øye ser en nesten identisk del av objektet). For svært nærme objekter må øynene dine rotere innover for å bringe hvert øyes perspektiv på linje. Du kan også se dette med lillefingertrikset vårt som ovenfor: denne gangen, bruk begge øynene, hold fingeren noen centimeter fra ansiktet og se på den. Legg merke til at du ser dobbeltbilder av objekter langt bak fingeren. Når du så fokuserer på de objektene bak fingeren din, ser du nå et dobbeltfingerbilde.

Konflikten

Med presise nok instrumenter kan du bruke enten vergens eller overnatting for å vite hvor langt unna et objekt er som en person ser på. Men saken er at både overnatting og vergens skjer i øyet ditt sammen, automatisk. Og de skjer ikke bare samtidig – det er en direkte korrelasjon mellom vergens og akkommodasjon, slik at for enhver gitt måling av vergens er det et direkte tilsvarende akkommodasjonsnivå (og omvendt). Siden du var en liten baby, har hjernen og øynene dine dannet muskelminne for å få disse to tingene til å skje sammen, uten å tenke, hver gang du ser på noe.

Men når det kommer til de fleste av dagens AR- og VR-headset, er vergens og innkvartering ute av synkronisering på grunn av iboende begrensninger i den optiske designen.

I et grunnleggende AR- eller VR-headset er det en skjerm (som er, la oss si, 3 tommer unna øyet) som viser den virtuelle scenen, og en linse som fokuserer lyset fra skjermen på øyet ditt (akkurat som linsen i øyet ditt vil normalt fokusere lyset fra verden på netthinnen). Men siden skjermen er en statisk avstand fra øyet ditt, og linsens form er statisk, kommer lyset fra alle objektene som vises på skjermen, fra samme avstand. Så selv om det er et virtuelt fjell fem miles unna og en kaffekopp på et bord fem tommer unna, kommer lyset fra begge objektene inn i øyet i samme vinkel (som betyr at boligen din – bøyningen av linsen i øyet – aldri endres ).

Det kommer i konflikt med vergens i slike hodesett som – fordi vi kan vise et annet bilde for hvert øye – er variabelt. Å kunne justere forestillingen uavhengig for hvert øye, slik at øynene våre trenger å konvergere mot objekter på forskjellige dybder, er i hovedsak det som gir dagens AR- og VR-headset stereoskopi.

Men den mest realistiske (og uten tvil mest komfortable) skjermen vi kunne lage, ville eliminere problemet med vergens-innkvartering og la de to fungere synkronisert, akkurat som vi er vant til i den virkelige verden.

Varifokale skjermer - de som dynamisk kan endre fokusdybden - er foreslått som en løsning på dette problemet. Det finnes en rekke tilnærminger til varifokale skjermer, kanskje den enkleste av disse er et optisk system der skjermen fysisk flyttes frem og tilbake fra linsen for å endre brennvidde i farten.

Å oppnå en slik aktivert varifokal visning krever eye-tracking fordi systemet trenger å vite nøyaktig hvor i scenen brukeren ser. Ved å spore en sti inn i den virtuelle scenen fra hvert av brukerens øyne, kan systemet finne punktet hvor disse banene krysser hverandre, og etablere det riktige fokalplanet som brukeren ser på. Denne informasjonen sendes deretter til skjermen for å justere tilsvarende, og stille inn brennvidden for å matche den virtuelle avstanden fra brukerens øye til objektet.

En godt implementert varifokal skjerm kan ikke bare eliminere grense-overnatting-konflikten, men også tillate brukere å fokusere på virtuelle objekter mye nærmere dem enn i eksisterende hodesett.

Og i god tid før vi legger varifokale skjermer inn i VR-headset, kan øyesporing brukes for simulert dybdeskarphet, som kan tilnærme uskarpheten til objekter utenfor brennplanet til brukerens øyne.

Foveated skjermer

Mens foveert gjengivelse tar sikte på å bedre fordele gjengivelseskraften mellom den delen av synet vårt der vi kan se skarpt og vårt perifere syn med lite detaljer, kan noe lignende oppnås for det faktiske antall piksler.

I stedet for å bare endre detaljene i gjengivelsen på visse deler av skjermen kontra andre, er foveated skjermer de som flyttes fysisk for å holde seg foran brukerens blikk uansett hvor de ser.

Foveated skjermer åpner døren for å oppnå mye høyere oppløsning i VR-headset uten å presse problemet ved å prøve å stappe piksler med høyere oppløsning over hele synsfeltet vårt. Å gjøre det ville ikke bare være kostbart, men også støte på utfordrende strømbegrensninger når antall piksler nærmer seg netthinneoppløsning. I stedet vil foveated skjermer flytte en mindre, pikseltett skjerm dit brukeren ser basert på øyesporingsdata. Denne tilnærmingen kan til og med føre til høyere synsfelt enn ellers kunne oppnås med en enkelt flat skjerm.

varjo-eksempel-640x386

Varjo er ett selskap som jobber med et foveated skjermsystem. De bruker en typisk skjerm som dekker et bredt synsfelt (men er ikke veldig pikseltett), og legger deretter en mikroskjerm som er mye mer pikseltett på toppen av den. Kombinasjonen av de to betyr at brukeren får både et bredt synsfelt for sitt perifere syn, og et område med svært høy oppløsning for sitt foveale syn.

Varjos nyeste prototyper flytter for øyeblikket ikke den mindre skjermen (den henger bare ut i midten av linsen), men selskapet har vurdert en rekke metoder for å flytte skjermen for å sikre at området med høy oppløsning alltid er i sentrum av din blikk.

Fortsetter på side 2 »