Праћење очију је мењач игре за ВР који иде далеко даље од Фовеатед Рендеринг

Праћење очију—способност брзог и прецизног мерења правца у коме корисник гледа док се налази унутар ВР слушалица—често се говори о контексту рендеровања у облику отвора и како би то могло да смањи захтеве перформанси ВР. И док је фовеатед рендеринг узбудљив случај употребе за праћење очију у ВР слушалицама, праћење очију представља много више на столу.

О праћењу очију се говори о ВР-у као удаљеној технологији већ дуги низ година, али хардвер коначно постаје све доступнији програмерима и купцима. ПСВР 2 и Куест Про су најновији примери слушалица са уграђеним праћењем очију, заједно са попут Варјо Аеро, Виве Про Еие и још много тога.

Са овим замахом, за само неколико година могли смо да видимо да праћење очију постаје стандардни део потрошачких ВР слушалица. Када се то догоди, постоји широк спектар функција које технологија може омогућити том постољу да драстично побољша ВР искуство.

Фовеатед Рендеринг

Почнимо са оним са којим су многи људи већ упознати. Фовеатед рендеровање има за циљ да смањи рачунарску снагу потребну за приказивање захтевних ВР сцена. Име потиче од „фовее“ – мале јаме у центру људске мрежњаче која је густо препуна фоторецептора. То је фовеа која нам даје визију високе резолуције у центру нашег видног поља; у међувремену, наш периферни вид је заправо веома лош у хватању детаља и боја, и боље је подешен за уочавање покрета и контраста него да види детаље. Можете га замислити као камеру која има велики сензор са само неколико мегапиксела и још један мањи сензор у средини са пуно мегапиксела.

Подручје ваше визије у којем можете да видите високе детаље је заправо много мање него што већина мисли - само неколико степени преко центра вашег погледа. Разлика у моћи разлучивања између фовее и остатка мрежњаче је толико драстична да без ваше фовее не бисте могли да разазнате текст на овој страници. То можете лако да видите и сами: ако држите очи усредсређене на ову реч и покушате да прочитате само две реченице испод, видећете да је скоро немогуће разабрати шта речи говоре, иако можете видети нешто што личи на речи. Чини се да је разлог због којег људи прецењују фовеални регион свог вида тај што мозак врши много несвесних интерпретација и предвиђања како би изградио модел како верујемо да је свет.

Фовеатед рендеровање има за циљ да искористи ову необичност наше визије тако што ће виртуелну сцену приказати у високој резолуцији само у региону који фовеа види, а затим драстично смањити сложеност сцене у нашем периферном виду где се детаљи ионако не могу решити . То нам омогућава да фокусирамо већину процесорске снаге тамо где она највише доприноси детаљима, док штедимо ресурсе обраде негде другде. То можда не звучи као велика ствар, али како се повећава резолуција екрана ВР слушалица и видно поље, снага потребна за приказивање сложених сцена расте скоро експоненцијалном брзином.

Праћење очију, наравно, долази у игру јер морамо да знамо где је центар погледа корисника у сваком тренутку брзо и са великом прецизношћу да бисмо могли да изведемо фовеатед рендеринг. Верује се да се ова илузија може направити на начин који је потпуно невидљив за корисника; анегдотски, видео сам недавне демо снимке где је то био случај.

Аутоматско откривање и подешавање корисника

Поред откривања покрета, праћење очију се такође може користити као биометријски идентификатор. То чини праћење ока одличним кандидатом за више корисничких профила на једној слушалици — када ставим слушалице, систем може одмах да ме идентификује као јединственог корисника и да позове моје прилагођено окружење, библиотеку садржаја, напредак игре и подешавања. Када пријатељ стави слушалице, систем може да учита њихова преференце и сачуване податке.

Праћење очију се такође може користити за прецизно мерење ИПД-а, удаљености између очију. Познавање вашег ИПД-а је важно у ВР-у јер је потребно да се сочива и екрани помере у оптималан положај за удобност и визуелни квалитет. Нажалост, многи људи не знају шта је њихов ИПД (можете добити грубо мерење ако замолите некога да вам држи лењир до очију или питајте свог очног лекара).

Са праћењем ока, било би лако одмах измерити ИПД сваког корисника, а затим да софтвер слушалица помогне кориснику да прилагоди ИПД подударање слушалица или упозори кориснике да је њихов ИПД изван опсега који слушалице подржавају.

У напреднијим слушалицама, овај процес би могао бити невидљив и аутоматски - ИПД би се могао мерити невидљиво, а слушалице би могле да имају моторизовано подешавање ИПД-а које би аутоматски померило сочива у исправан положај, а да корисник не мора да буде свестан било чега од тога. .

Варифокални дисплеји

Оптички системи који се користе у данашњим ВР слушалицама раде прилично добро, али су заправо прилично једноставни и не подржавају важну функцију људског вида: динамички фокус. То је зато што је екран у ВР слушалицама увек на истој удаљености од наших очију, чак и када стереоскопска дубина сугерише другачије. Ово доводи до проблема који се зове конфликт прилагодбе. Ако желите да научите нешто детаљније, погледајте наш пример испод:

Пример: Конфликт између границе и смештаја (кликните за проширење)

Смештај

У стварном свету, да бисте се фокусирали на објекат у близини, сочиво вашег ока се савија како би светлост предмета погодила право место на вашој мрежњачи, дајући вам оштар поглед на објекат. За објекат који је удаљенији, светлост путује под различитим угловима у ваше око и сочиво се поново мора савијати како би се осигурало да је светлост фокусирана на вашу мрежњачу. Због тога, ако затворите једно око и фокусирате се на прст неколико инча од лица, свет иза вашег прста је замагљен. Насупрот томе, ако се фокусирате на свет иза прста, ваш прст постаје мутан. Ово се зове смештај.

Вергенце

Затим постоји вергенција, што је када се свако ваше око ротира према унутра да би „конвергирало“ одвојене погледе из сваког ока у једну слику која се преклапа. За веома удаљене објекте, ваше очи су скоро паралелне, јер је растојање између њих тако мало у поређењу са растојањем објекта (што значи да свако око види скоро идентичан део објекта). За веома блиске објекте, ваше очи морају да се ротирају према унутра да би се перспектива сваког ока ускладила. Ово можете видети и са нашим триком са малим прстом као горе: овог пута, користећи оба ока, држите прст неколико инча од лица и погледајте га. Обратите пажњу да видите двоструке слике објеката далеко иза прста. Када се затим фокусирате на те објекте иза прста, сада видите слику двоструког прста.

Сукоб

Са довољно прецизним инструментима, можете користити или вергенцију или акомодацију да бисте знали колико је удаљен предмет који особа гледа. Али ствар је у томе што се и акомодација и вергенција дешавају у вашем оку заједно, аутоматски. И они се не дешавају само у исто време – постоји директна корелација између вергенције и акомодације, тако да за било које мерење вергенције постоји директно одговарајући ниво акомодације (и обрнуто). Од када сте били мала беба, ваш мозак и очи су формирали мишићну меморију како би се ове две ствари дешавале заједно, без размишљања, кад год погледате било шта.

Али када је у питању већина данашњих АР и ВР слушалица, вергенција и смештај нису синхронизовани због инхерентних ограничења оптичког дизајна.

У основним АР или ВР слушалицама, постоји екран (који је, рецимо, 3 инча од вашег ока) који приказује виртуелну сцену, и сочиво које фокусира светлост са екрана на ваше око (баш као сочиво у ваше око би нормално фокусирало светлост из света на вашу мрежњачу). Али пошто је екран на статичкој удаљености од вашег ока, а облик сочива је статичан, светлост која долази од свих објеката приказаних на том екрану долази са исте удаљености. Дакле, чак и ако постоји виртуелна планина удаљена пет миља и шоља за кафу на столу пет инча, светлост оба објекта улази у око под истим углом (што значи да се ваш смештај — савијање сочива у вашем оку — никада не мења ).

То долази у сукоб са вергенцијом у таквим слушалицама које су – јер можемо да покажемо различиту слику сваком оку – променљиве. Могућност прилагођавања замисли независно за свако око, тако да наше очи треба да конвергирају на објекте на различитим дубинама, у суштини је оно што данашњим АР и ВР слушалицама даје стереоскопију.

Али најреалистичнији (и вероватно најудобнији) екран који бисмо могли да направимо би елиминисао проблем прилагођавања граниче и дозволио да ова два раде синхронизовано, баш као што смо навикли у стварном свету.

Варифокални дисплеји—они који могу динамички да мењају своју фокусну дубину—предлажу се као решење за овај проблем. Постоји низ приступа варифокалним дисплејима, од којих је можда најједноставнији оптички систем где се екран физички помера напред и назад од сочива како би се променила фокусна дубина у ходу.

Постизање оваквог активираног варифокалног дисплеја захтева праћење ока јер систем треба да зна тачно где у сцени корисник гледа. Праћењем путање у виртуелну сцену из сваког ока корисника, систем може пронаћи тачку у којој се те стазе укрштају, успостављајући одговарајућу фокалну раван у коју корисник гледа. Ове информације се затим шаљу на екран да би се прилагодио у складу са тим, подешавајући дубину фокуса тако да одговара виртуелној удаљености од ока корисника до објекта.

Добро имплементирани варифокални дисплеј не само да би могао да елиминише конфликт вергенције и прилагођавања, већ и да омогући корисницима да се фокусирају на виртуелне објекте који су им много ближе него у постојећим слушалицама.

И много пре него што ставимо варифокалне дисплеје у ВР слушалице, праћење ока би се могло користити за симулирану дубину поља, што би могло приближити замућење објеката изван фокусне равни очију корисника.

Фовеатед Дисплаис

Док фовеатед рендеровање има за циљ бољу дистрибуцију снаге рендеровања између дела нашег вида где можемо да видимо оштро и нашег периферног вида са ниским детаљима, нешто слично се може постићи за стварни број пиксела.

Уместо да мењају само детаље рендеровања на одређеним деловима екрана у односу на друге, фовеатед дисплеји су они који се физички померају да остану испред погледа корисника без обзира где гледају.

Заслоњени екрани отварају врата постизању много веће резолуције у ВР слушалицама без грубог наметања проблема покушавајући да нагурамо пикселе веће резолуције у целом нашем видном пољу. То не само да би било скупо, већ би и наишло на изазовна ограничења снаге како се број пиксела приближава резолуцији мрежњаче. Уместо тога, фовеатед дисплеји би померили мањи екран са густоћом пиксела где год корисник гледа на основу података о праћењу очију. Овај приступ би чак могао да доведе до виших видних поља него што би се иначе могло постићи са једним равним екраном.

Варјо је једна компанија која ради на систему дисплеја са фовеатед. Они користе типичан екран који покрива широко видно поље (али није много густ пиксела), а затим на њега постављају микродисплеј који је много гушћи пиксела. Комбинација ова два значи да корисник добија и широко видно поље за свој периферни вид и регион веома високе резолуције за свој фовеални вид.

Варјо-ови најновији прототипови тренутно не померају мањи екран (он само виси у центру сочива), али компанија је размотрила бројне методе за померање екрана како би осигурала да је област високе резолуције увек у центру вашег поглед.

Наставак на страници 2 »