Eye-tracking on pelinmuutos VR:lle, joka ylittää foveated renderoinnin

Eye-tracking – kyky mitata nopeasti ja tarkasti, mihin suuntaan käyttäjä katsoo ollessaan VR-kuulokkeiden sisällä – puhutaan usein foveated renderöinnin yhteydessä ja siitä, kuinka se voisi vähentää VR:n suorituskykyvaatimuksia. Ja vaikka foveated renderöinti on jännittävä käyttötapa katseen seurantaan VR-kuulokkeissa, katseenseurantatelineet tuovat paljon enemmän pöytään.

Eye-trackingista on puhuttu VR:n suhteen etäisenä teknologiana jo vuosia, mutta laitteisto on vihdoin tulossa yhä enemmän kehittäjien ja asiakkaiden saataville. PSVR 2 ja Quest Pro ovat uusimpia esimerkkejä kuulokkeista, joissa on sisäänrakennettu katseenseuranta, sekä Varjo Aero, Vive Pro Eye ja muut.

Tämän vauhdin myötä katseenseurantasta tulee muutamassa vuodessa tavallinen osa kuluttajien VR-kuulokkeita. Kun näin tapahtuu, on olemassa laaja valikoima ominaisuuksia, joiden avulla tekniikka voi parantaa VR-kokemusta merkittävästi.

Foveated renderöinti

Aloitetaan ensin siitä, jonka monet ovat jo tuttuja. Foveated renderöinnillä pyritään vähentämään laskentatehoa, joka tarvitaan vaativien VR-kohtausten näyttämiseen. Nimi tulee "foveasta" - pienestä kuoppasta ihmisen verkkokalvon keskellä, joka on tiiviisti täynnä fotoreseptoreita. Se on fovea, joka antaa meille korkearesoluutioisen näkemyksen näkökenttämme keskellä; Sillä välin meidän perifeerinen näkökykymme on todella huono poimimaan yksityiskohtia ja värejä, ja se on viritetty paremmin havaitsemaan liikettä ja kontrastia kuin näkemään yksityiskohtia. Voit ajatella sitä kuin kameraa, jossa on suuri kenno vain muutamalla megapikselillä ja toinen pienempi kenno keskellä, jossa on paljon megapikseliä.

Näkösi alue, jossa näet erittäin yksityiskohtaisesti, on itse asiassa paljon pienempi kuin useimmat luulevat – vain muutaman asteen näkymäsi keskellä. Ero fovean ja muun verkkokalvon erotuskyvyssä on niin raju, että ilman foveaa et pystyisi erottelemaan tämän sivun tekstiä. Voit nähdä tämän helposti itse: jos pidät katseesi keskittyneenä tähän sanaan ja yrität lukea vain kaksi lausetta alla, huomaat, että on lähes mahdotonta saada selvää, mitä sanat sanovat, vaikka näet jotain sanoja muistuttavaa. Syy siihen, että ihmiset yliarvioivat näön foveaalisen alueen, näyttää johtuvan siitä, että aivot tekevät paljon alitajuisia tulkintoja ja ennusteita rakentaakseen mallin siitä, miten uskomme maailman olevan.

Foveated renderöinnillä pyritään hyödyntämään tätä näkemyksemme omituisuutta renderöimällä virtuaalinen kohtaus korkearesoluutioisena vain fovean näkemällä alueella ja sitten leikkaamaan dramaattisesti kohtauksen monimutkaisuutta reunanäössämme, jossa yksityiskohtia ei voida kuitenkaan ratkaista. . Näin voimme keskittää suurimman osan prosessointitehosta sinne, missä se vaikuttaa eniten yksityiskohtiin, samalla kun säästämme käsittelyresursseja muualla. Se ei ehkä kuulosta suurelta jutulta, mutta kun VR-kuulokkeiden näytön resoluutio ja näkökenttä kasvavat, monimutkaisten kohtausten renderöimiseen tarvittava teho kasvaa lähes eksponentiaalisesti.

Silmänseuranta tulee tietysti käyttöön, koska meidän on tiedettävä, missä käyttäjän katseen keskipiste on aina nopeasti ja erittäin tarkasti, jotta voimme saada aikaan foveed renderöinnin. Uskotaan, että tämä illuusio voitaisiin tehdä tavalla, joka on käyttäjälle täysin näkymätön. anekdoottisesti olen nähnyt viimeaikaisia ​​demoja, joissa näin oli.

Automaattinen käyttäjän tunnistus ja säätö

Liiketunnistuksen lisäksi katseenseurantaa voidaan käyttää myös biometrisenä tunnisteena. Tämä tekee katseenseurannasta erinomaisen ehdokkaan useille käyttäjäprofiileille yhdellä kuulokkeella – kun laitan kuulokkeet päähän, järjestelmä tunnistaa minut välittömästi ainutlaatuiseksi käyttäjäksi ja hakee mukautetun ympäristöni, sisältökirjastoni, pelin edistymisen ja asetukset. Kun ystävä laittaa kuulokkeet päähän, järjestelmä voi ladata hänen asetukset ja tallennetut tiedot.

Silmänseurantaa voidaan käyttää myös IPD:n eli silmien välisen etäisyyden tarkkaan mittaamiseen. IPD:n tunteminen on tärkeää VR:ssä, koska linssien ja näytöt on siirrettävä optimaaliseen asentoon sekä mukavuuden että visuaalisen laadun kannalta. Valitettavasti monet ihmiset eivät tiedä, mikä heidän IPD:nsä on (voit saada karkean mittauksen, jos pyydät jotakuta pitämään viivain silmiesi edessä tai kysy silmälääkäriltäsi).

Silmänseurannan avulla olisi helppo mitata välittömästi jokaisen käyttäjän IPD ja sitten kuulokkeen ohjelmisto auttaisi käyttäjää säätämään kuulokkeen IPD-sovitusta tai varoittaisi käyttäjiä, että heidän IPD:nsä on kuulokkeiden tukeman alueen ulkopuolella.

Edistyneemmissä kuulokkeissa tämä prosessi voisi olla näkymätön ja automaattinen – IPD voitaisiin mitata näkymättömästi, ja kuulokkeessa voisi olla moottoroitu IPD-säätö, joka siirtää linssit automaattisesti oikeaan asentoon ilman, että käyttäjän tarvitsee olla tietoinen siitä. .

Varifocal-näytöt

Nykypäivän VR-kuulokkeissa käytetyt optiset järjestelmät toimivat melko hyvin, mutta ne ovat itse asiassa melko yksinkertaisia ​​eivätkä tue ihmisen näön tärkeää toimintoa: dynaamista tarkennusta. Tämä johtuu siitä, että VR-kuulokkeiden näyttö on aina samalla etäisyydellä silmistämme, vaikka stereoskooppinen syvyys ehdottaisi muuta. Tämä johtaa ongelmaan, jota kutsutaan vergence-accommodation -konfliktiksi. Jos haluat oppia hieman perusteellisemmin, tutustu alla olevaan pohjusteemme:

Primer: Vergence-Accommodation Conflict (laajenna napsauttamalla)

Majoitus

Todellisessa maailmassa, kun haluat tarkentaa lähellä olevaan kohteeseen, silmäsi linssi taipuu, jotta kohteen valo osuu oikeaan kohtaan verkkokalvollasi, jolloin saat tarkan näkymän kohteesta. Jos kohde on kauempana, valo kulkee eri kulmissa silmään, ja linssin on jälleen taiputtava varmistaakseen valon keskittymisen verkkokalvollesi. Tästä syystä, jos suljet toisen silmän ja keskität sormeen muutaman tuuman päässä kasvoistasi, sormesi takana oleva maailma on epäselvä. Päinvastoin, jos keskityt sormesi takana olevaan maailmaan, sormestasi tulee epäselvä. Tätä kutsutaan majoitukseksi.

Vergence

Sitten on vergenssi, jolloin jokainen silmäsi kääntyy sisäänpäin "konvergoimaan" kunkin silmän erilliset näkymät yhdeksi päällekkäiseksi kuvaksi. Hyvin kaukana olevissa kohteissa silmäsi ovat lähes yhdensuuntaiset, koska niiden välinen etäisyys on niin pieni verrattuna kohteen etäisyyteen (eli jokainen silmä näkee lähes identtisen osan kohteesta). Hyvin lähellä olevissa kohteissa silmiäsi on kierrettävä sisäänpäin, jotta jokaisen silmän perspektiivi on kohdistettu. Voit nähdä tämän myös pikkusormitempullamme kuten yllä: pidä tällä kertaa molemmilla silmillä sormeasi muutaman tuuman päässä kasvoistasi ja katso sitä. Huomaa, että näet kaksoiskuvat kohteista kaukana sormesi takana. Kun sitten tarkennat sormesi takana oleviin objekteihin, näet nyt kaksoissormen kuvan.

Konflikti

Riittävän tarkoilla välineillä voit käyttää joko vergenssiä tai akkomodaatiota tietääksesi kuinka kaukana kohde on, jota ihminen katsoo. Mutta asia on, että sekä majoitus että vergenssi tapahtuvat yhdessä, automaattisesti. Eivätkä ne tapahdu vain samaan aikaan – vergenssin ja mukautumisen välillä on suora korrelaatio siten, että jokaiselle vergenssimittaukselle on suoraan vastaava akkomodaatiotaso (ja päinvastoin). Pienestä vauvasta lähtien aivosi ja silmäsi ovat muodostaneet lihasmuistia, jotta nämä kaksi asiaa tapahtuvat yhdessä ajattelematta aina kun katsot mitä tahansa.

Mutta mitä tulee useimpiin nykypäivän AR- ja VR-kuulokkeisiin, vergenssi ja majoitus eivät ole synkronoituja optisen suunnittelun luontaisten rajoitusten vuoksi.

AR- tai VR-peruskuulokkeissa on näyttö (joka on esimerkiksi 3 tuuman päässä silmästäsi), joka näyttää virtuaalisen kohtauksen, ja linssi, joka kohdistaa valon näytöstä silmään (kuten linssissä silmäsi keskittäisi normaalisti maailmasta tulevan valon verkkokalvollesi). Mutta koska näyttö on staattisen etäisyyden päässä silmästäsi ja linssin muoto on staattinen, kaikista näytöllä näytetyistä kohteista tuleva valo tulee samalta etäisyydeltä. Joten vaikka virtuaalinen vuori olisi viiden mailin päässä ja kahvikuppi pöydällä viiden tuuman päässä, molempien kohteiden valo tulee silmään samassa kulmassa (mikä tarkoittaa, että asuinpaikkasi – linssin taipuminen silmässäsi – ei muutu koskaan ).

Tämä on ristiriidassa tällaisten kuulokkeiden vergenssin kanssa, joka – koska voimme näyttää eri kuvan jokaiselle silmälle – on vaihteleva. Nykypäivän AR- ja VR-kuulokkeiden stereoskoopin ansiosta pystymme säätämään kuvitelman itsenäisesti kullekin silmälle siten, että silmiemme on lähestyttävä eri syvyyksillä olevia kohteita.

Mutta realistisin (ja luultavasti mukavin) näyttö, jonka voisimme luoda, poistaisi lähentymis-asennusongelman ja antaisi näiden kahden toimia synkronoituna, aivan kuten olemme tottuneet todellisessa maailmassa.

Varifokaaliset näytöt – ne, jotka voivat muuttaa polttosyvyyttään dynaamisesti – on ehdotettu ratkaisuksi tähän ongelmaan. Varifokaalisille näytöille on olemassa useita lähestymistapoja, joista ehkä yksinkertaisin on optinen järjestelmä, jossa näyttöä liikutetaan fyysisesti edestakaisin objektiivista polttosyvyyden muuttamiseksi lennossa.

Tällaisen aktivoidun varifocal-näytön saavuttaminen vaatii katseenseurantaa, koska järjestelmän on tiedettävä tarkasti, mihin kohtaukseen käyttäjä katsoo. Jäljittämällä polun virtuaalikohtaukseen jokaisesta käyttäjän silmästä, järjestelmä voi löytää pisteen, jossa nämä polut leikkaavat, ja määrittää oikean polttotason, jota käyttäjä katsoo. Nämä tiedot lähetetään sitten näytölle säätämistä varten ja polttosyvyys asetetaan vastaamaan virtuaalista etäisyyttä käyttäjän silmästä kohteeseen.

Hyvin toteutettu varifocal-näyttö ei vain poista vergence-accommodation -ristiriitaa, vaan antaa käyttäjille mahdollisuuden keskittyä paljon lähempänä heitä oleviin virtuaalikohteisiin kuin olemassa olevissa kuulokkeissa.

Ja paljon ennen kuin laitamme varifocal-näyttöjä VR-kuulokkeisiin, katseenseurantaa voitaisiin käyttää simuloituun syväterävyysalueeseen, mikä voisi suunnitella käyttäjän silmien polttotason ulkopuolella olevien kohteiden hämärtymistä.

Foveated näytöt

Vaikka foveated renderöinnillä pyritään jakamaan renderöintiteho paremmin sen osion välillä, jossa näemme terävästi, ja vähän yksityiskohtaisen reunanäkömme välillä, jotain samanlaista voidaan saavuttaa todellisella pikselimäärällä.

Sen sijaan, että muuttaisivat vain näytön tiettyjen osien renderöinnin yksityiskohtia verrattuna muihin, foveated-näytöt ovat niitä, joita liikutetaan fyysisesti pysyäkseen käyttäjän katseen edessä riippumatta siitä, minne he katsovat.

Foveated-näytöt avaavat oven saavuttaa paljon korkeampi resoluutio VR-kuulokkeissa ilman, että ongelmaa pahoinpidellään yrittämällä tukahduttaa pikseleitä korkeammalla resoluutiolla koko näkökentässämme. Se ei olisi vain kallista, vaan myös törmääisi haastaviin tehorajoituksiin, kun pikselien määrä lähestyy verkkokalvon resoluutiota. Sen sijaan foveated-näytöt siirtäisivät pienemmän, pikselitiheän näytön katseenseurantatietojen perusteella minne tahansa käyttäjä katsoo. Tämä lähestymistapa voisi jopa johtaa suurempiin näkökenttiin kuin muuten voitaisiin saavuttaa yhdellä litteällä näytöllä.

Varjo on yritys, joka työskentelee foveated-näyttöjärjestelmän parissa. He käyttävät tyypillistä näyttöä, joka kattaa laajan näkökentän (mutta ei ole kovin pikselitiheä), ja asettavat sen päälle mikronäytön, joka on paljon pikselitiheämpi. Näiden kahden yhdistelmä tarkoittaa, että käyttäjä saa sekä laajan näkökentän ääreisnäölleen että erittäin korkearesoluutioisen alueen foveaaliselle näkemiselle.

Varjon uusimmat prototyypit eivät tällä hetkellä siirrä pienempää näyttöä (se vain roikkuu objektiivin keskellä), mutta yritys on harkinnut useita menetelmiä näytön siirtämiseen varmistaakseen, että korkearesoluutioinen alue on aina näytön keskellä. katse.

Jatkuu sivulla 2 »