Віртуальна реальність
Відстеження погляду змінює гру для віртуальної реальності, що виходить далеко за рамки рендерингу у вигляді фовеатів
Відстеження очей — здатність швидко й точно вимірювати напрямок, у якому дивиться користувач, перебуваючи в гарнітурі віртуальної реальності — часто говорять у контексті рендерингу з ямками та того, як це може знизити вимоги до продуктивності віртуальної реальності. І в той час як фовеатний рендеринг є захоплюючим випадком використання стеження за очима в гарнітурах віртуальної реальності, відстеження погляду приносить набагато більше.
Про відстеження очей говорили у відношенні VR як про далеку технологію протягом багатьох років, але апаратне забезпечення нарешті стає все більш доступним для розробників і клієнтів. PSVR 2 і Quest Pro — це останні приклади гарнітур із вбудованим відстеженням очей, а також такі, як Varjo Aero, Vive Pro Eye тощо.
З таким імпульсом лише за кілька років ми побачимо, як відстеження очей стане стандартною частиною споживчих гарнітур VR. Коли це станеться, існує широкий спектр функцій, які технологія може ввімкнути, щоб значно покращити досвід VR.
Фовеатний рендеринг
Давайте спочатку почнемо з того, з яким багато людей вже знайомі. Foveated рендеринг має на меті зменшити обчислювальну потужність, необхідну для відображення вимогливих сцен VR. Назва походить від «ямки» — невеликої ямки в центрі сітківки людини, яка щільно заповнена фоторецепторами. Це фовеа, яка дає нам зір із високою роздільною здатністю в центрі нашого поля зору; тим часом наш периферійний зір насправді дуже погано вловлює деталі та колір і краще налаштований на виявлення руху та контрасту, ніж на бачення деталей. Ви можете думати про це як про камеру, яка має великий датчик із лише кількома мегапікселями та ще один менший датчик посередині з великою кількістю мегапікселів.
Область вашого зору, в якій ви можете бачити з високою деталізацією, насправді набагато менша, ніж більшість думає, — лише кілька градусів по центру вашого огляду. Різниця в здатності роздільної здатності між ямкою та рештою сітківки настільки різка, що без вашої ямки ви не змогли б розібрати текст на цій сторінці. Ви можете легко переконатися в цьому самі: якщо ви зосередите свій погляд на цьому слові та спробуєте прочитати лише два речення нижче, ви виявите, що майже неможливо розібрати, що говорять слова, навіть якщо ви можете побачити щось схоже на слова. Причина того, що люди переоцінюють фовеальну область свого зору, здається, полягає в тому, що мозок виконує багато несвідомих інтерпретацій і передбачень, щоб створити модель того, яким, на нашу думку, є світ.
Foveated рендеринг має на меті використати цю особливість нашого зору, відтворюючи віртуальну сцену у високій роздільній здатності лише в тій області, яку бачить фовеа, а потім різко зменшує складність сцени в нашому периферійному зорі, де деталі все одно неможливо розпізнати. . Це дозволяє нам зосередити більшу частину обчислювальної потужності там, де вона найбільше сприяє деталізації, заощаджуючи ресурси обробки в інших місцях. Це може здатися не дуже великим, але зі збільшенням роздільної здатності дисплея гарнітур VR і поля зору потужність, необхідна для відтворення складних сцен, зростає майже експоненціально.
Відстеження погляду, звичайно, вступає в дію, тому що нам потрібно завжди знати, де знаходиться центр погляду користувача, швидко та з високою точністю, щоб здійснити фовеативне рендеринг. Вважається, що цю ілюзію можна зробити у спосіб, який буде абсолютно непомітним для користувача; до речі, я бачив останні демонстрації, де це було саме так.
Автоматичне виявлення та налаштування користувача
Окрім виявлення руху, стеження за очима також можна використовувати як біометричний ідентифікатор. Це робить відстеження погляду чудовим кандидатом для кількох профілів користувачів в одній гарнітурі — коли я надягаю гарнітуру, система може миттєво ідентифікувати мене як унікального користувача та викликати моє персоналізоване середовище, бібліотеку вмісту, прогрес гри та налаштування. Коли друг одягає гарнітуру, система може завантажити його налаштування та збережені дані.
Відстеження зору також можна використовувати для точного вимірювання IPD, відстані між очима. Знати свій IPD важливо у віртуальній реальності, оскільки це потрібно, щоб перемістити лінзи та дисплеї в оптимальне положення для комфорту та якості зображення. На жаль, багато людей не знають, що таке їхній ІПД (ви можете отримати приблизне вимірювання, якщо попросите когось піднести лінійку до ваших очей або запитайте свого офтальмолога).
З відстеженням очей можна було б легко миттєво виміряти IPD кожного користувача, а потім програмне забезпечення гарнітури допоможе користувачеві налаштувати відповідність IPD гарнітури або попередить користувачів, що їх IPD знаходиться за межами діапазону, який підтримується гарнітурою.
У більш просунутих гарнітурах цей процес може бути невидимим і автоматичним — IPD можна вимірювати непомітно, а гарнітура може мати моторизоване регулювання IPD, яке автоматично переміщуватиме лінзи в правильне положення без необхідності користувачеві знати про це. .
Варіофокальні дисплеї
Оптичні системи, які використовуються в сучасних гарнітурах VR, працюють досить добре, але насправді вони досить прості та не підтримують важливу функцію людського зору: динамічний фокус. Це пояснюється тим, що дисплей у гарнітурі віртуальної реальності завжди знаходиться на однаковій відстані від наших очей, навіть якщо стереоскопічна глибина свідчить про інше. Це призводить до проблеми, яка називається конфліктом вергенції та пристосування. Якщо ви хочете дізнатися більше, перегляньте наш посібник нижче:
Primer: Vergence-Accommodation Conflict (клацніть, щоб розгорнути)
Проживання
У реальному світі, щоб сфокусуватися на близькому об’єкті, кришталик вашого ока згинається, щоб світло від об’єкта потрапляло в потрібну точку сітківки, даючи вам чітке бачення об’єкта. Для об’єкта, який знаходиться далі, світло поширюється під різними кутами в ваше око, і лінза знову повинна зігнутися, щоб забезпечити фокусування світла на сітківці. Ось чому, якщо ви заплющуєте одне око й фокусуєтеся на пальці в кількох дюймах від обличчя, світ за вашим пальцем стає розмитим. І навпаки, якщо ви зосереджуєтеся на світі за пальцем, ваш палець стає розмитим. Це називається акомодацією.
Вергенція
Крім того, є вергенція, коли кожне з ваших очей повертається всередину, щоб «звести» окремі погляди кожного ока в одне зображення, що перекривається. Для дуже віддалених об’єктів ваші очі майже паралельні, оскільки відстань між ними дуже мала порівняно з відстанню об’єкта (це означає, що кожне око бачить майже ідентичну частину об’єкта). Для дуже близьких об’єктів ваші очі повинні обертатися всередину, щоб вирівняти перспективу обох очей. Ви також можете побачити це за допомогою нашого трюку з мізинцями, як описано вище: цього разу, використовуючи обидва очі, тримайте палець на відстані кількох дюймів від свого обличчя та подивіться на нього. Зверніть увагу, що далеко за вашим пальцем ви бачите подвійні зображення об’єктів. Коли ви потім сфокусуєтеся на цих об’єктах за вашим пальцем, тепер ви побачите зображення подвійного пальця.
Конфлікт
Маючи достатньо точні інструменти, ви можете використовувати або вергенцію, або акомодацію, щоб дізнатися, наскільки далеко знаходиться об’єкт, на який дивиться людина. Але справа в тому, що і акомодація, і вергенція відбуваються у вашому оці разом, автоматично. І вони відбуваються не просто одночасно — існує пряма кореляція між вергенцією та акомодацією, так що для будь-якого вимірювання вергенції існує прямо відповідний рівень акомодації (і навпаки). З дитинства ваш мозок і очі сформували м’язову пам’ять, щоб ці дві речі відбувалися разом, не замислюючись, коли ви дивитесь на щось.
Але коли справа доходить до більшості сучасних гарнітур AR і VR, узгодженість і адаптація не синхронізовані через властиві обмеження оптичної конструкції.
У базовій гарнітурі AR або VR є дисплей (який, скажімо, на відстані 3 дюймів від вашого ока), який показує віртуальну сцену, і лінза, яка фокусує світло від дисплея на ваше око (так само, як лінза в ваше око зазвичай фокусує світло від світу на вашу сітківку). Але оскільки дисплей знаходиться на статичній відстані від вашого ока, а форма лінзи є статичною, світло від усіх об’єктів, показаних на цьому дисплеї, надходить з однакової відстані. Отже, навіть якщо є віртуальна гора за п’ять миль і чашка кави на столі за п’ять дюймів, світло від обох об’єктів потрапляє в око під однаковим кутом (це означає, що ваша акомодація — вигин кришталика в оці — ніколи не змінюється). ).
Це суперечить вергенції в таких гарнітурах, яка, оскільки ми можемо показувати різне зображення для кожного ока, варіальна. Сучасні гарнітури AR і VR забезпечують стереоскопію завдяки можливості налаштовувати уявлення незалежно для кожного ока, щоб наші очі зводилися на об’єкти на різній глибині.
Але найреалістичніший (і, мабуть, найзручніший) дисплей, який ми могли б створити, усунув би проблему сумісності та дозволив би двом працювати синхронно, як ми звикли в реальному світі.
Варифокальні дисплеї — ті, які можуть динамічно змінювати фокусну глибину — пропонуються як рішення цієї проблеми. Існує кілька підходів до варіофокальних дисплеїв, мабуть, найпростішим із яких є оптична система, у якій дисплей фізично переміщується вперед і назад від об’єктива, щоб миттєво змінювати фокусну глибину.
Для створення такого керованого варіофокального дисплея потрібне відстеження очей, оскільки системі потрібно точно знати, куди в сцені дивиться користувач. Простежуючи шлях у віртуальну сцену від кожного з очей користувача, система може знайти точку перетину цих шляхів, встановлюючи правильну фокальну площину, на яку дивиться користувач. Потім ця інформація надсилається на дисплей для відповідного налаштування, встановлюючи фокусну глибину відповідно до віртуальної відстані від ока користувача до об’єкта.
Добре реалізований варіофокальний дисплей може не тільки усунути конфлікт вергенції та розміщення, але також дозволить користувачам фокусуватися на віртуальних об’єктах, набагато ближчих до них, ніж у існуючих гарнітурах.
І задовго до того, як ми розмістимо варіофокальні дисплеї в гарнітурах віртуальної реальності, відстеження очей можна було б використовувати для імітації глибини різкості, яка могла б приблизно розмивати об’єкти поза фокальною площиною очей користувача.
Фовеатні дисплеї
У той час як фовеатична візуалізація спрямована на кращий розподіл потужності візуалізації між частиною нашого зору, де ми можемо чітко бачити, і периферичним зором із низьким рівнем деталізації, щось подібне можна досягти для фактичної кількості пікселів.
Замість того, щоб просто змінювати деталі візуалізації на певних частинах дисплея порівняно з іншими, фововані дисплеї – це ті, які фізично переміщуються, щоб залишатися перед поглядом користувача, куди б він не дивився.
Foveated дисплеї відкривають двері для досягнення набагато вищої роздільної здатності в гарнітурах віртуальної реальності без грубого форсування проблеми, намагаючись втиснути пікселі з вищою роздільною здатністю в усе поле зору. Це буде не тільки дорого, але й зіткнеться зі складними обмеженнями живлення, оскільки кількість пікселів наближається до роздільної здатності сітківки ока. Замість цього рифлені дисплеї перемістять менший дисплей із щільністю пікселів туди, куди дивиться користувач, на основі даних відстеження очей. Цей підхід може навіть призвести до більших полів зору, ніж можна було б досягти за допомогою одного плоского дисплея.
Varjo — це одна компанія, яка працює над системою лоткового дисплея. Вони використовують типовий дисплей, який охоплює широке поле зору (але не дуже піксельний), а потім поверх нього накладають мікродисплей із набагато більшою щільністю пікселів. Поєднання цих двох засобів означає, що користувач отримує як широке поле зору для периферійного зору, так і область дуже високої роздільної здатності для фовеального зору.
Останні прототипи Varjo наразі не переміщують менший дисплей (він просто висить у центрі об’єктива), але компанія розглянула низку методів переміщення дисплея, щоб забезпечити високу роздільну здатність завжди в центрі вашого погляд.
