Meta представляє свою систему змішаної реальності Meta Reality

Стереоскопічне перенесення кольорів, просторове прив’язування та розуміння сцени забезпечать більш реалістичний досвід змішаної реальності.

За словами Сартхака Рея, менеджера з продуктів Meta, можливість бачити навколишній світ і взаємодіяти з ним через змішану реальність відкриває нові можливості для VR. «Ви можете грати з друзями в тій самій фізичній кімнаті або працювати над продуктивністю, яка поєднує величезні віртуальні монітори з фізичними інструментами, і це крок до нашого довгострокового бачення доповненої реальності».

Всупереч поширеній думці, досвід змішаної реальності є найефективнішим, якщо пристрій VR/AR може переконливо поєднувати фізичний і віртуальний світи. Відповідно до нещодавньої публікації в блозі на Oculus. com, це означає, що гарнітура повинна робити більше, ніж просто забезпечувати 2D-відео.

Щоб підвищити свою прихильність розвитку передових технологій VR, Meta оголосила про запуск Meta Reality, нової системи змішаної реальності, яка пропонує погляд зсередини на те, що потрібно для створення виняткового досвіду.

Стереоскопічна передача кольорів для просторового усвідомлення

Meta визнає важливість технології передачі кольорів і стереоскопічної 3D-технології, коли справа доходить до надання комфортних і захоплюючих відчуттів змішаної реальності.

«Meta Quest Pro поєднує в собі дві камери для відтворення реалістичної глибини, що гарантує, що досвід змішаної реальності, створений із використанням наскрізного передачі кольорів, буде комфортним для людей», — пояснив менеджер із розробки комп’ютерного бачення Meta Рікардо Сільвейра Кабрал. «Але також підказки стереотекстури дозволяють мозку користувача зробити все інше та зробити висновок про глибину, навіть якщо реконструкція глибини не ідеальна або виходить за межі діапазону системи».

Наприклад, під час використання Passthrough ваш мозок дізнається, що чашка кави знаходиться приблизно так само далеко від вашої руки, як і ручка, яка сидить поруч з вами.

Oculus Insight, який міг зафіксувати лише 100 точок інтересу для визначення положення гарнітури в кімнаті, був технологією, яка забезпечила першу автономну систему відстеження для споживчого пристрою VR. З тих пір його було оновлено, щоб увімкнути глибоке зондування. Для порівняння, Meta Quest Pro може створювати до 10 000 точок інтересу за секунду за різних умов освітлення, дозволяючи вам створювати покращене 3D-представлення вашого фізичного простору в реальному часі.

Завдяки цьому процесу Meta може створити тривимірну модель фізичного світу, яка постійно оновлюється. Потім ви можете використовувати ці дані, щоб створити структуру прогнозованого відтворення, яка може створювати зображення вашого реального середовища. Щоб компенсувати затримку візуалізації, реконструкції підлаштовуються під погляди лівого та правого ока користувачів за допомогою алгоритму Asynchronous TimeWarp.

За словами Сільвейри Кабрал, використання кольорової стереоскопічної камери дозволяє команді забезпечити більш реалістичну інтерпретацію реального світу.

Розуміння сцени для змішування віртуального вмісту з фізичним світом

Компонент Scene Understanding платформи Presence Platform був представлений під час події Connect 2021. Ця технологія дає змогу розробникам створювати складні змішані реалії з урахуванням сцени. За словами Вей Лю, менеджера з продуктів Meta Quest Pro, компонент компанії Scene Understanding був розроблений, щоб допомогти розробникам зосередитися на створенні свого бізнесу та розвитку досвіду.

«Ми представили Scene Understanding як системне рішення, — сказав Лю.

Розуміння сцени розбивається на три області:

• Модель сцени – єдине, комплексне, актуальне та кероване системою представлення середовища, що складається з геометричної та семантичної інформації. Основними елементами моделі сцени є прив’язки. Кожен якір можна прикріпити до різних компонентів. Наприклад, вітальня користувача організована навколо окремих прив’язок із семантичними мітками, такими як підлога, стеля, стіни, стіл і диван. Анкери прикріплюються за допомогою простого геометричного зображення: двовимірної межі або тривимірної обмежувальної рамки.
• Зйомка сцени – керований системою процес, який дозволяє користувачам ходити та знімати архітектуру кімнати та меблі для створення моделі сцени. У майбутньому мета полягатиме в тому, щоб надати автоматизовану версію Scene Capture, яка не вимагатиме від людей вручну знімати оточення.
• Scene API – інтерфейс, який програми можуть використовувати для доступу до просторової інформації в Scene Model для різних випадків використання, включаючи розміщення вмісту, фізику, навігацію тощо. За допомогою Scene API розробники можуть використовувати Scene Model, щоб віртуальний м’яч відскакував від фізичної поверхні в реальній кімнаті або віртуальний робот, який може масштабувати фізичні стіни.

«Розуміння сцени зменшує тертя для розробників, дозволяючи їм створювати МР-досвід, який є максимально правдоподібним і захоплюючим завдяки ефектам оклюзії та зіткнень у реальному часі», — додав Рей.

Просторові прив’язки для віртуального розміщення об’єктів

Розробники можуть легко створювати першокласну змішану реальність за допомогою Spatial Anchors, яка є основною можливістю платформи Meta Quest Pro. Наприклад, дизайнер продукту може легко закріпити кілька 3D-моделей у фізичному просторі за допомогою такої платформи, як Gravity Sketch, щоб створити безперебійне середовище для свого продукту.

«Якщо стереоскопічне перенесення кольорів і розуміння сцени роблять важку роботу, щоб дозволити МР-дослідженню поєднати фізичний і віртуальний світ, наші можливості прив’язки забезпечують сполучну тканину, яка утримує все разом», — сказала менеджер із продуктів Meta Лаура Ону.

Разом із моделлю сцени просторові прив’язки можна використовувати для створення насичених автоматичних середовищ для різноманітних переживань і ситуацій. Наприклад, ви можете створити віртуальні двері, з’єднані з фізичною стіною. Це було б величезним кроком для компаній, які шукають технологію XR для своїх корпоративних рішень у сфері цифрових побратимів, автоматизації складів і навіть робототехніки.

Наразі здається, що Мета більше зосереджена на соціальному досвіді. «Поєднуючи «Розуміння сцени» з просторовими прив’язками, ви можете змішувати та адаптувати свій досвід МР до середовища користувача, щоб створити новий світ, повний можливостей», — за словами Ону, який додає: «Ви можете стати секретним агентом у власній вітальні». , розмістіть віртуальні меблі у своїй кімнаті або намалюйте ескіз розширення свого будинку, створіть ігри з фізики тощо».

Спільні просторові прив’язки для спільного розміщення

Крім того, Meta додала функцію Shared Spatial Anchors до платформи присутності. Це дозволяє створювати локальні багатокористувацькі умови, ділячись своїми якорями з іншими користувачами в одному просторі. Це дозволить вам та іншим друзям грати в настільну гру VR на фізичному столі так само, як Tilt Five забезпечує їхній ігровий досвід.

Виграшна комбінація для змішаної реальності

Поєднання Spatial Anchors, Passthrough і Scene Understanding може допомогти створити насичене та інтерактивне середовище, яке створене так, щоб виглядати та відчуватися як реальний світ. Авінав Пашине, менеджер із продуктів Meta Quest Pro, зазначив, що для створення чудового та комфортного середовища змішаної реальності для користувачів є багато компромісів.

Майбутнє Meta Reality все ще розвивається, оскільки компанія постійно вдосконалює платформу за допомогою оновлень програмного забезпечення та апаратних інновацій, які будуть представлені в наступному поколінні їхніх продуктів. Сільвейра Кабрал, менеджер із продуктів Meta Quest Pro, зазначив, що перший продукт компанії є важливим кроком в еволюції Meta Reality.

«Ми хочемо вчитися разом із розробниками, коли вони створюють переконливі враження, які переосмислюють те, що можливо з гарнітурою VR. Ця історія ще не завершена — це лише перша сторінка».