Meta ujawnia swój system rzeczywistości mieszanej Meta Reality

Stereoskopowe przechodzenie kolorów, zakotwiczenie przestrzenne i rozumienie scen zapewnią bardziej realistyczne wrażenia rzeczywistości mieszanej.

Według Sarthaka Raya, menedżera produktu w firmie Meta, możliwość oglądania otaczającego świata i interakcji z nim za pośrednictwem rzeczywistości mieszanej otwiera nowe możliwości dla VR. „Możesz grać z przyjaciółmi w tym samym fizycznym pokoju lub w doświadczeniach produktywności, które łączą ogromne wirtualne monitory z fizycznymi narzędziami, i jest to krok w kierunku naszej długoterminowej wizji rzeczywistości rozszerzonej”.

Wbrew powszechnemu przekonaniu doświadczenie rzeczywistości mieszanej jest najskuteczniejsze, jeśli urządzenie VR/AR potrafi w przekonujący sposób połączyć świat fizyczny i wirtualny. Oznacza to, że zestaw słuchawkowy musi robić coś więcej niż tylko dostarczać wideo 2D, zgodnie z ostatnim postem na blogu Oculus. com.

Aby jeszcze bardziej zaangażować się w rozwój najnowocześniejszych technologii VR, Meta ogłosiła wprowadzenie Meta Reality, nowego systemu rzeczywistości mieszanej, który oferuje wgląd w to, co składa się na tworzenie wyjątkowych wrażeń.

Stereoskopowe przejście kolorów dla świadomości przestrzennej

Meta zdaje sobie sprawę ze znaczenia technologii color-passthrough i stereoskopowego 3D, jeśli chodzi o dostarczanie komfortowych i wciągających doświadczeń rzeczywistości mieszanej.

„Meta Quest Pro łączy widoki z dwóch kamer, aby zrekonstruować realistyczną głębię, co gwarantuje, że doświadczenia rzeczywistości mieszanej zbudowane przy użyciu przejścia kolorów są wygodne dla ludzi” — wyjaśnił Ricardo Silveira Cabral, kierownik ds. inżynierii Meta Computer Vision. „Ale także stereofoniczne wskazówki tekstury pozwalają mózgowi użytkownika zrobić resztę i wywnioskować głębię, nawet jeśli rekonstrukcja głębi nie jest idealna lub jest poza zasięgiem systemu”.

Na przykład podczas korzystania z funkcji Passthrough Twój mózg uczy się, że filiżanka kawy znajduje się mniej więcej w takiej samej odległości od Twojej dłoni, jak od długopisu, który znajduje się tuż obok Ciebie.

Oculus Insight, który mógł uchwycić tylko 100 punktów zainteresowania w celu określenia pozycji gogli w pomieszczeniu, był technologią, która zapewniła pierwszy samodzielny system śledzenia dla konsumenckiego urządzenia VR. Od tego czasu został zmodernizowany, aby umożliwić głębokie wykrywanie. Dla porównania, Meta Quest Pro może generować do 10 000 punktów zainteresowania na sekundę w różnych warunkach oświetleniowych, co pozwala na tworzenie ulepszonej reprezentacji 3D Twojej przestrzeni fizycznej w czasie rzeczywistym.

Dzięki temu procesowi Meta jest w stanie stworzyć model 3D świata fizycznego, który jest stale aktualizowany. Następnie możesz użyć tych danych do stworzenia struktury renderowania predykcyjnego, która może tworzyć obrazy Twojego rzeczywistego środowiska. Aby zrekompensować opóźnienie renderowania, rekonstrukcje są dostosowywane do widoku lewego i prawego oka użytkownika za pomocą algorytmu Asynchronous TimeWarp.

Według Silveiry Cabral użycie kolorowej kamery stereoskopowej umożliwia zespołowi przedstawienie bardziej realistycznej interpretacji rzeczywistego świata.

Zrozumienie sceny do mieszania treści wirtualnych ze światem fizycznym

Komponent Scene Understanding platformy Presence został wprowadzony podczas wydarzenia Connect 2021. Ta technologia umożliwia programistom tworzenie złożonych i świadomych scen środowisk rzeczywistości mieszanej. Według Wei Lyu, menedżera produktu Meta Quest Pro, komponent Scene Understanding firmy został zaprojektowany, aby pomóc programistom skupić się na budowaniu ich biznesu i doświadczeń.

„Wprowadziliśmy funkcję Scene Understanding jako rozwiązanie systemowe” — powiedział Lyu.

Zrozumienie sceny jest podzielone na trzy obszary:

• Model sceny — pojedyncza, kompleksowa, aktualna i zarządzana przez system reprezentacja środowiska składająca się z informacji geometrycznych i semantycznych. Podstawowymi elementami modelu sceny są kotwice. Każda kotwica może być przymocowana do różnych elementów. Na przykład pokój dzienny użytkownika jest zorganizowany wokół pojedynczych kotwic z etykietami semantycznymi, takimi jak podłoga, sufit, ściany, biurko i kanapa. Kotwice są dołączane za pomocą prostej reprezentacji geometrycznej: obwiedni 2D lub obwiedni 3D.
• Przechwytywanie sceny — kierowany przez system przepływ, który pozwala użytkownikom spacerować i rejestrować architekturę pokoju i meble w celu wygenerowania modelu sceny. W przyszłości celem będzie dostarczenie zautomatyzowanej wersji Scene Capture, która nie wymaga od ludzi ręcznego rejestrowania otoczenia.
• Scene API — interfejs, za pomocą którego aplikacje mogą uzyskiwać dostęp do informacji przestrzennych w modelu sceny w różnych przypadkach, w tym umieszczania treści, fizyki, nawigacji itp. Za pomocą interfejsu API scen programiści mogą używać modelu sceny, aby wirtualna piłka odbijała się od fizycznej powierzchnie w rzeczywistym pokoju lub wirtualny robot, który może skalować fizyczne ściany.

„Scene Understanding zmniejsza tarcie dla programistów, pozwalając im tworzyć doświadczenia MR, które są tak wiarygodne i wciągające, jak to tylko możliwe, z efektami okluzji i kolizji w czasie rzeczywistym” — dodał Ray.

Kotwice przestrzenne do umieszczania obiektów wirtualnych

Deweloperzy mogą z łatwością tworzyć pierwszorzędne doświadczenia rzeczywistości mieszanej za pomocą kotwic przestrzennych, które są podstawową funkcją platformy Meta Quest Pro. Na przykład projektant produktu może łatwo zakotwiczyć wiele modeli 3D w przestrzeni fizycznej za pomocą platformy takiej jak Gravity Sketch, aby stworzyć płynne środowisko dla swojego produktu.

„Jeżeli stereoskopowe przejście kolorów i rozpoznawanie sceny wykonują ciężką pracę, aby wrażenia MR łączyły świat fizyczny i wirtualny, nasze możliwości zakotwiczenia zapewniają tkankę łączną, która utrzymuje to wszystko razem” — powiedziała Laura Onu, menedżer produktu Meta.

Wraz z modelem sceny kotwice przestrzenne mogą być używane do tworzenia bogatych i automatycznych środowisk dla różnych doświadczeń i sytuacji. Na przykład możesz utworzyć wirtualne drzwi połączone z fizyczną ścianą. Byłby to ogromny krok dla firm poszukujących technologii XR w swoich rozwiązaniach korporacyjnych w zakresie cyfrowego bliźniactwa, automatyzacji magazynów, a nawet robotyki.

Na razie wygląda na to, że Meta bardziej koncentruje się na doświadczeniach społecznościowych. „Łącząc rozumienie sceny z kotwicami przestrzennymi, możesz łączyć i dostosowywać swoje doświadczenia MR do środowiska użytkownika, aby stworzyć nowy świat pełen możliwości”, mówi Onu, który dodaje: „Możesz zostać tajnym agentem we własnym salonie , umieszczaj wirtualne meble w swoim pokoju lub szkicuj rozbudowę domu, twórz gry fizyczne i nie tylko”.

Wspólne kotwice przestrzenne dla współlokowanych doświadczeń

Ponadto Meta dodała funkcję Shared Spatial Anchors do platformy Presence. Dzięki temu możesz tworzyć lokalne doświadczenia dla wielu graczy, udostępniając swoje kotwice innym użytkownikom w tej samej przestrzeni. Pozwoliłoby to tobie i innym znajomym grać w grę planszową VR na fizycznym stole w taki sam sposób, w jaki Tilt Five zapewnia ich wrażenia z gry.

Zwycięska kombinacja rzeczywistości mieszanej

Połączenie zakotwiczeń przestrzennych, przejścia i zrozumienia sceny może pomóc w stworzeniu bogatego i interaktywnego środowiska, które ma wyglądać i działać jak prawdziwy świat. Avinav Pashine, menedżer produktu w Meta Quest Pro, zauważył, że stworzenie wspaniałego i wygodnego środowiska rzeczywistości mieszanej dla użytkowników wiąże się z wieloma kompromisami.

Przyszłość Meta Reality wciąż ewoluuje, ponieważ firma stale ulepsza platformę poprzez aktualizacje oprogramowania i innowacje sprzętowe, które zostaną dostarczone w następnej generacji ich produktów. Silveira Cabral, menedżer produktu Meta Quest Pro, zauważyła, że pierwszy produkt firmy to ważny krok w ewolucji Meta Reality.

„Chcemy uczyć się razem z programistami, którzy tworzą fascynujące doświadczenia, które na nowo definiują możliwości gogli VR. Ta historia nie jest jeszcze zakończona — to dopiero pierwsza strona”.