Meta dezvăluie sistemul său de realitate mixtă Meta Reality

Transmiterea stereoscopică a culorilor, ancorarea spațială și înțelegerea scenei vor oferi experiențe de realitate mixtă mai realiste.

Potrivit lui Sarthak Ray, manager de produs la Meta, abilitatea de a vedea și de a interacționa cu lumea din jurul tău prin realitatea mixtă deschide noi oportunități pentru VR. „Puteți juca cu prietenii în aceeași cameră fizică sau experiențe de productivitate care combină monitoare virtuale uriașe cu instrumente fizice și este un pas către viziunea noastră pe termen lung pentru realitatea augmentată. ”

Contrar credinței populare, o experiență de realitate mixtă este cea mai eficientă dacă dispozitivul VR/AR poate îmbina în mod convingător lumile fizice și virtuale. Aceasta înseamnă că setul cu cască trebuie să facă mai mult decât să furnizeze un flux video 2D, potrivit unei postări recente pe blog pe Oculus. com.

Pentru a-și continua angajamentul de a dezvolta tehnologii VR de ultimă oră, Meta a anunțat lansarea Meta Reality, un nou sistem de realitate mixtă care oferă o privire interioară asupra a ceea ce înseamnă crearea unei experiențe excepționale.

Transmitere stereoscopică a culorilor pentru conștientizarea spațiului

Meta recunoaște importanța tehnologiei de trecere a culorii și a tehnologiei 3D stereoscopice atunci când vine vorba de a oferi experiențe confortabile și captivante în realitate mixtă.

„Meta Quest Pro combină două vizualizări ale camerei pentru a reconstrui adâncimea realistă, ceea ce asigură că experiențele de realitate mixtă construite folosind culoarea Passthrough sunt confortabile pentru oameni”, a explicat Ricardo Silveira Cabral, directorul de inginerie Meta Computer Vision. „Dar, de asemenea, indicii de textură stereo permit creierului utilizatorului să facă restul și să deducă profunzimea chiar și atunci când reconstrucția adâncimii nu este perfectă sau este dincolo de raza de acțiune a sistemului. ”

De exemplu, când folosești Passthrough, creierul tău învață că ceașca de cafea este la fel de departe de mâna ta, precum este de stiloul care stă chiar lângă tine.

Oculus Insight, care putea capta doar 100 de puncte de interes pentru a determina poziția căștilor într-o cameră, a fost o tehnologie care a furnizat primul sistem de urmărire independent pentru un dispozitiv VR de consum. De atunci a fost modernizat pentru a permite detecția profundă. Pentru comparație, Meta Quest Pro poate produce până la 10. 000 de puncte de interes pe secundă în diferite condiții de iluminare, permițându-vă să creați o reprezentare 3D îmbunătățită a spațiului dumneavoastră fizic, totul în timp real.

Prin acest proces, Meta este capabil să creeze un model 3D al lumii fizice care este actualizat continuu. Puteți utiliza apoi aceste date pentru a crea un cadru de randare predictiv care poate produce imagini ale mediului dumneavoastră real. Pentru a compensa latența redării, reconstrucțiile sunt ajustate la vizualizările ochiului stâng și drept al utilizatorilor prin algoritmul Asynchronous TimeWarp.

Potrivit lui Silveira Cabral, utilizarea unei camere stereoscopice color permite echipei să ofere o interpretare mai realistă a lumii reale.

Înțelegerea scenei pentru îmbinarea conținutului virtual în lumea fizică

Componenta Scene Understanding a Platformei Prezență a fost introdusă în timpul evenimentului Connect 2021. Această tehnologie permite dezvoltatorilor să creeze experiențe de realitate mixtă complexe și conștiente de scenă. Potrivit lui Wei Lyu, managerul de produs al Meta Quest Pro, componenta Scene Understanding a companiei a fost concepută pentru a ajuta dezvoltatorii să se concentreze pe construirea afacerilor și experiențelor lor.

„Am introdus Scene Understanding ca soluție de sistem”, a spus Lyu.

Înțelegerea scenei este împărțită în trei zone:

• Model de scenă – O reprezentare unică, cuprinzătoare, actualizată și gestionată de sistem a mediului constând din informații geometrice și semantice. Elementele fundamentale ale unui model de scenă sunt ancorele. Fiecare Ancoră poate fi atașată la diferite componente. De exemplu, camera de zi a unui utilizator este organizată în jurul ancorelor individuale cu etichete semantice, cum ar fi podeaua, tavanul, pereții, biroul și canapea. Ancorele sunt atașate cu o reprezentare geometrică simplă: o delimitare 2D sau o casetă de delimitare 3D.
• Scene Capture – Un flux ghidat de sistem care permite utilizatorilor să se plimbe și să-și captureze arhitectura și mobilierul camerei pentru a genera un model de scenă. În viitor, obiectivul va fi de a oferi o versiune automată a Scene Capture care nu necesită ca oamenii să captureze manual împrejurimile lor.
• Scene API – O interfață pe care aplicațiile o pot folosi pentru a accesa informațiile spațiale din Scene Model pentru diferite cazuri de utilizare, inclusiv plasarea conținutului, fizică, navigare etc. Cu Scene API, dezvoltatorii pot folosi Scene Model pentru a avea o minge virtuală să sară pe fizic. suprafețe din camera actuală sau un robot virtual care poate scala pereții fizici.

„Înțelegerea scenei reduce frecarea pentru dezvoltatori, permițându-le să construiască experiențe MR cât mai credibile și captivante, cu efecte de ocluzie și coliziune în timp real”, a adăugat Ray.

Ancore spațiale pentru plasarea obiectelor virtuale

Dezvoltatorii pot crea cu ușurință experiențe de realitate mixtă de primă clasă folosind Spatial Anchors, care este o capacitate de bază a platformei Meta Quest Pro. De exemplu, un designer de produs poate ancora cu ușurință mai multe modele 3D într-un spațiu fizic folosind o platformă precum Gravity Sketch pentru a crea un mediu perfect pentru produsul său.

„Dacă trecerea stereoscopică a culorilor și înțelegerea scenei fac munca grea pentru a permite experiențelor MR să îmbine lumea fizică cu cea virtuală, capacitățile noastre de ancorare oferă țesutul conjunctiv care le ține pe toate împreună”, a spus Managerul de produs Meta Laura Onu.

Împreună cu modelul de scenă, ancorele spațiale pot fi folosite pentru a crea medii bogate și automate pentru o varietate de experiențe și situații. De exemplu, puteți crea o ușă virtuală care este conectată la un perete fizic. Acesta ar fi un pas uriaș pentru companiile care caută tehnologia XR pentru soluțiile lor de întreprindere în înfrățirea digitală, automatizarea depozitelor și chiar robotică.

Deocamdată, se pare că Meta se concentrează mai mult pe experiențele sociale. „Combinând Scene Understanding cu Spatial Anchors, vă puteți combina și adapta experiențele MR la mediul utilizatorului pentru a crea o lume nouă plină de posibilități”, potrivit lui Onu, care adaugă: „Poți deveni un agent secret în propria ta sufragerie. , plasați mobilier virtual în camera dvs. sau schițați o extensie pentru casa dvs. , creați jocuri de fizică și multe altele. ”

Ancore spațiale partajate pentru experiențe comune

În plus, Meta a adăugat caracteristica Shared Spatial Anchors la Platforma de prezență. Acest lucru vă permite să creați experiențe multiplayer locale, împărtășindu-vă ancorele cu alți utilizatori din același spațiu. Acest lucru v-ar permite dvs. și altor prieteni să jucați un joc de societate VR deasupra unei mese fizice, în același mod în care Tilt Five oferă experiențele lor de joc.

O combinație câștigătoare pentru realitate mixtă

Combinația de ancore spațiale, trecere și înțelegere a scenei poate ajuta la crearea unui mediu bogat și interactiv, care este conceput să arate și să se simtă ca în lumea reală. Avinav Pashine, manager de produs al Meta Quest Pro, a remarcat că există multe compromisuri implicate în crearea unui mediu de realitate mixt excelent și confortabil pentru utilizatori.

Viitorul Meta Reality este încă în evoluție, deoarece compania îmbunătățește continuu platforma prin actualizări de software și inovații hardware care vor fi livrate în următoarea generație de produse. Silveira Cabral, manager de produs al Meta Quest Pro, a remarcat că primul produs al companiei este un pas important în evoluția Meta Reality.

„Vrem să învățăm împreună cu dezvoltatorii pe măsură ce aceștia construiesc experiențe captivante care redefinesc ceea ce este posibil cu un set de căști VR. Această poveste nu este încă completă – aceasta este doar prima pagină. ”