Śledzenie ruchu gałek ocznych to przełom w VR, który wykracza daleko poza standardowe renderowanie

Śledzenie gałek ocznych — możliwość szybkiego i precyzyjnego pomiaru kierunku, w którym patrzy użytkownik w goglach VR — jest często omawiane w kontekście preferowanego renderowania i tego, jak może zmniejszyć wymagania dotyczące wydajności VR. I chociaż preferowane renderowanie jest ekscytującym przypadkiem użycia śledzenia wzroku w zestawach VR, śledzenie wzroku może przynieść znacznie więcej do stołu.

O eye-trackingu w odniesieniu do VR jako odległej technologii mówiło się od wielu lat, ale sprzęt w końcu staje się coraz bardziej dostępny dla programistów i klientów. PSVR 2 i Quest Pro to najnowsze przykłady zestawów słuchawkowych z wbudowanym śledzeniem ruchu gałek ocznych, obok Varjo Aero, Vive Pro Eye i innych.

Dzięki temu rozmachowi w ciągu zaledwie kilku lat mogliśmy zobaczyć, jak śledzenie wzroku stało się standardową częścią konsumenckich zestawów słuchawkowych VR. Kiedy tak się dzieje, istnieje szeroki zakres funkcji, które technologia może włączyć w tym stojaku, aby radykalnie poprawić wrażenia VR.

Foveated Renderowanie

Zacznijmy od tego, który wiele osób już zna. Renderowanie Foveated ma na celu zmniejszenie mocy obliczeniowej wymaganej do wyświetlania wymagających scen VR. Nazwa pochodzi od „dołka” — małego zagłębienia w centrum siatkówki człowieka, gęsto wypełnionego fotoreceptorami. To dołek, który zapewnia nam widzenie w wysokiej rozdzielczości w centrum naszego pola widzenia; tymczasem nasze widzenie peryferyjne jest w rzeczywistości bardzo słabe w wychwytywaniu szczegółów i kolorów i jest lepiej dostrojone do dostrzegania ruchu i kontrastu niż dostrzegania szczegółów. Możesz myśleć o tym jak o aparacie, który ma duży czujnik z zaledwie kilkoma megapikselami i inny mniejszy czujnik pośrodku z dużą ilością megapikseli.

Obszar twojego widzenia, w którym możesz zobaczyć bardzo szczegółowo, jest w rzeczywistości znacznie mniejszy niż większość myśli - zaledwie kilka stopni w poprzek środka twojego pola widzenia. Różnica w zdolności rozdzielczej między dołkiem a resztą siatkówki jest tak drastyczna, że ​​bez dołka nie można było rozróżnić tekstu na tej stronie. Możesz to łatwo zobaczyć na własne oczy: jeśli skupisz wzrok na tym słowie i spróbujesz przeczytać tylko dwa zdania poniżej, przekonasz się, że prawie niemożliwe jest zrozumienie, co mówią słowa, nawet jeśli widzisz coś, co je przypomina. Powodem, dla którego ludzie przeceniają dołkowy obszar swojego wzroku, wydaje się być to, że mózg wykonuje wiele nieświadomych interpretacji i przewidywań, aby zbudować model tego, jak wierzymy, że świat jest.

Renderowanie foveated ma na celu wykorzystanie tego dziwactwa naszego wzroku poprzez renderowanie wirtualnej sceny w wysokiej rozdzielczości tylko w regionie, który widzi dołek, a następnie drastyczne zmniejszenie złożoności sceny w naszym polu widzenia peryferyjnego, gdzie i tak nie można rozróżnić szczegółów . Dzięki temu możemy skoncentrować większość mocy obliczeniowej tam, gdzie ma ona największy wpływ na szczegóły, jednocześnie oszczędzając zasoby przetwarzania w innych miejscach. To może nie brzmieć jak wielka sprawa, ale wraz ze wzrostem rozdzielczości i pola widzenia gogli VR moc potrzebna do renderowania złożonych scen rośnie w tempie niemal wykładniczym.

Śledzenie ruchu gałek ocznych oczywiście wchodzi w grę, ponieważ musimy zawsze szybko i z dużą precyzją wiedzieć, gdzie znajduje się środek wzroku użytkownika, aby wykonać preferowany rendering. Uważa się, że tę iluzję można zrobić w sposób całkowicie niewidoczny dla użytkownika; anegdotycznie, widziałem ostatnie dema, w których tak było.

Automatyczne wykrywanie i regulacja użytkownika

Oprócz wykrywania ruchu, eye-tracking może być również używany jako identyfikator biometryczny. To sprawia, że ​​śledzenie ruchu gałek ocznych jest doskonałym kandydatem dla wielu profili użytkowników w ramach jednego zestawu słuchawkowego — kiedy zakładam zestaw słuchawkowy, system może natychmiast zidentyfikować mnie jako unikalnego użytkownika i przywołać moje dostosowane środowisko, bibliotekę treści, postęp w grze i ustawienia. Gdy znajomy założy zestaw słuchawkowy, system może załadować jego preferencje i zapisane dane.

Śledzenie gałek ocznych można również wykorzystać do precyzyjnego pomiaru IPD, czyli odległości między oczami. Znajomość IPD jest ważna w VR, ponieważ jest wymagana do ustawienia soczewek i wyświetlaczy w optymalnej pozycji zarówno pod kątem komfortu, jak i jakości obrazu. Niestety wiele osób nie wie, jaka jest ich IChP (możesz uzyskać przybliżony pomiar, jeśli poprosisz kogoś o przyłożenie linijki do oczu lub poprosisz okulistę).

Dzięki śledzeniu ruchów gałek ocznych łatwo byłoby natychmiast zmierzyć IPD każdego użytkownika, a następnie poprosić oprogramowanie zestawu słuchawkowego o pomoc w dostosowaniu IPD zestawu słuchawkowego lub ostrzeżenie użytkowników, że ich IPD jest poza zakresem obsługiwanym przez zestaw słuchawkowy.

W bardziej zaawansowanych zestawach słuchawkowych proces ten może być niewidoczny i automatyczny — IPD można mierzyć w sposób niewidoczny, a zestaw słuchawkowy może mieć zmotoryzowaną regulację IPD, która automatycznie przesuwa soczewki do właściwej pozycji bez konieczności bycia tego świadomym przez użytkownika. .

Wyświetlacze zmiennoogniskowe

Systemy optyczne stosowane w dzisiejszych goglach VR działają całkiem dobrze, ale w rzeczywistości są raczej proste i nie obsługują ważnej funkcji ludzkiego wzroku: dynamicznego ogniskowania. Dzieje się tak dlatego, że wyświetlacz w goglach VR jest zawsze w tej samej odległości od naszych oczu, nawet jeśli głębokość stereoskopowa sugeruje inaczej. Prowadzi to do problemu zwanego konfliktem między wergencją a akomodacją. Jeśli chcesz dowiedzieć się nieco więcej, sprawdź nasz elementarz poniżej:

Elementarz: Konflikt wergencji z akomodacją (kliknij, aby rozwinąć)

Zakwaterowanie

W prawdziwym świecie, aby skupić się na bliskim obiekcie, soczewka oka wygina się, aby światło z obiektu trafiło we właściwe miejsce na siatkówce, dając ostry obraz obiektu. W przypadku obiektu znajdującego się dalej światło wędruje do oka pod różnymi kątami, a soczewka ponownie musi się wygiąć, aby zapewnić skupienie światła na siatkówce. To dlatego, jeśli zamkniesz jedno oko i skupisz się na palcu kilka centymetrów od twarzy, świat za twoim palcem będzie rozmyty. I odwrotnie, jeśli skupisz się na świecie za swoim palcem, twój palec stanie się rozmazany. To się nazywa zakwaterowanie.

wergencja

Następnie pojawia się wergencja, która polega na tym, że każde oko obraca się do wewnątrz, aby „złączyć” oddzielne widoki z każdego oka w jeden nakładający się obraz. W przypadku bardzo odległych obiektów twoje oczy są prawie równoległe, ponieważ odległość między nimi jest tak mała w porównaniu z odległością obiektu (co oznacza, że ​​każde oko widzi prawie identyczną część obiektu). W przypadku bardzo bliskich obiektów oczy muszą obracać się do wewnątrz, aby wyrównać perspektywę każdego oka. Możesz to również zobaczyć dzięki naszej sztuczce z małym palcem, jak powyżej: tym razem, używając obojga oczu, trzymaj palec kilka cali od twarzy i spójrz na niego. Zauważ, że daleko za twoim palcem widzisz podwójne obrazy obiektów. Kiedy następnie skupisz się na tych obiektach za palcem, zobaczysz obraz podwójnego palca.

Konflikt

Dysponując wystarczająco precyzyjnymi instrumentami, możesz użyć wergencji lub akomodacji, aby wiedzieć, jak daleko znajduje się obiekt, na który patrzy dana osoba. Ale chodzi o to, że zarówno akomodacja, jak i wergencja zachodzą w twoim oku razem, automatycznie. I nie zdarzają się one po prostu w tym samym czasie — istnieje bezpośrednia korelacja między wergencją a akomodacją, tak że dla dowolnego pomiaru wergencji istnieje bezpośrednio odpowiadający jej poziom akomodacji (i vice versa). Odkąd byłeś małym dzieckiem, twój mózg i oczy utworzyły pamięć mięśniową, dzięki której te dwie rzeczy dzieją się razem, bez zastanowienia, za każdym razem, gdy na coś patrzysz.

Ale jeśli chodzi o większość dzisiejszych zestawów słuchawkowych AR i VR, wergencja i akomodacja nie są zsynchronizowane ze względu na nieodłączne ograniczenia konstrukcji optycznej.

W podstawowych goglach AR lub VR znajduje się wyświetlacz (znajdujący się w odległości powiedzmy 3 cali od oka), który pokazuje wirtualną scenę, oraz soczewka, która skupia światło z wyświetlacza na twoim oku (podobnie jak soczewka w oko normalnie skupiałoby światło ze świata na siatkówce). Ale ponieważ wyświetlacz znajduje się w statycznej odległości od oka, a kształt soczewki jest statyczny, światło pochodzące ze wszystkich obiektów pokazanych na tym wyświetlaczu pochodzi z tej samej odległości. Więc nawet jeśli w odległości pięciu mil znajduje się wirtualna góra, a na stole pięć cali dalej stoi filiżanka kawy, światło z obu obiektów wpada do oka pod tym samym kątem (co oznacza, że ​​akomodacja — zgięcie soczewki w oku — nigdy się nie zmienia). ).

Stoi to w sprzeczności z wergencją w takich zestawach słuchawkowych, która — ponieważ każdemu oku możemy pokazać inny obraz — jest zmienna. Możliwość niezależnego dostosowania obrazu dla każdego oka, tak że nasze oczy muszą skupiać się na obiektach na różnych głębokościach, jest zasadniczo tym, co zapewnia dzisiejszą stereoskopię zestawów słuchawkowych AR i VR.

Ale najbardziej realistyczny (i prawdopodobnie najwygodniejszy) wyświetlacz, jaki moglibyśmy stworzyć, wyeliminowałby problem z dopasowaniem wergencji i pozwoliłby obu pracować w synchronizacji, tak jak jesteśmy przyzwyczajeni w prawdziwym świecie.

Jako rozwiązanie tego problemu proponuje się wyświetlacze zmiennoogniskowe — takie, które mogą dynamicznie zmieniać swoją głębię ostrości. Istnieje wiele podejść do wyświetlaczy zmiennoogniskowych, z których być może najprostszym jest system optyczny, w którym wyświetlacz jest fizycznie przesuwany w przód iw tył od obiektywu w celu zmiany głębi ogniskowej w locie.

Osiągnięcie takiego uruchamianego wyświetlacza zmiennoogniskowego wymaga śledzenia ruchu gałek ocznych, ponieważ system musi dokładnie wiedzieć, w którym miejscu sceny patrzy użytkownik. Śledząc ścieżkę do wirtualnej sceny z każdego oka użytkownika, system może znaleźć punkt, w którym te ścieżki się przecinają, ustalając właściwą płaszczyznę ogniskową, na którą patrzy użytkownik. Informacje te są następnie wysyłane do wyświetlacza w celu odpowiedniego dostosowania, ustawiając głębię ostrości w celu dopasowania wirtualnej odległości od oka użytkownika do obiektu.

Dobrze zaimplementowany wyświetlacz zmiennoogniskowy może nie tylko wyeliminować konflikt między wergencją a akomodacją, ale także pozwolić użytkownikom skupić się na wirtualnych obiektach znacznie bliżej nich niż w istniejących zestawach słuchawkowych.

Zanim umieścimy zmiennoogniskowe wyświetlacze w goglach VR, śledzenie ruchu gałek ocznych może być wykorzystywane do symulowania głębi ostrości, co może zbliżyć się do rozmycia obiektów poza płaszczyzną ogniskową oczu użytkownika.

Foveated wyświetlacze

Podczas gdy renderowanie preferowane ma na celu lepszą dystrybucję mocy renderowania między częścią naszego wzroku, w której widzimy ostro, a naszym widzeniem peryferyjnym o niskiej szczegółowości, coś podobnego można osiągnąć w przypadku rzeczywistej liczby pikseli.

Zamiast po prostu zmieniać szczegóły renderowania w niektórych częściach wyświetlacza w porównaniu z innymi, wyświetlacze foveated to te, które są fizycznie przesuwane, aby pozostać przed wzrokiem użytkownika bez względu na to, gdzie patrzy.

Foveated wyświetlacze otwierają drzwi do osiągnięcia znacznie wyższej rozdzielczości w zestawach VR bez brutalnego wymuszania problemu, próbując upchnąć piksele w wyższej rozdzielczości w całym naszym polu widzenia. Takie postępowanie byłoby nie tylko kosztowne, ale także napotkałoby trudne ograniczenia mocy, ponieważ liczba pikseli zbliża się do rozdzielczości siatkówki. Zamiast tego, wyświetlacze foveated przesunęłyby mniejszy, gęsty w pikselach wyświetlacz w miejsce, w którym patrzy użytkownik, w oparciu o dane śledzenia ruchu gałek ocznych. Takie podejście może nawet prowadzić do wyższych pól widzenia niż w przypadku pojedynczego płaskiego wyświetlacza.

Varjo to jedna firma pracująca nad systemem wyświetlania foveated. Używają typowego wyświetlacza, który obejmuje szerokie pole widzenia (ale nie jest bardzo gęsty w pikselach), a następnie nakładają na niego mikrowyświetlacz o znacznie większej gęstości pikseli. Połączenie tych dwóch elementów oznacza, że ​​użytkownik otrzymuje zarówno szerokie pole widzenia dla widzenia peryferyjnego, jak i obszar o bardzo wysokiej rozdzielczości dla widzenia dołkowego.

Najnowsze prototypy Varjo nie przesuwają obecnie mniejszego wyświetlacza (po prostu wisi on na środku obiektywu), ale firma rozważyła szereg metod przesuwania wyświetlacza, aby zapewnić, że obszar o wysokiej rozdzielczości zawsze znajduje się na środku twojego spojrzenie.

Ciąg dalszy na stronie 2 »