Meta svela il suo sistema di realtà mista Meta Reality

Il passaggio del colore stereoscopico, l'ancoraggio spaziale e la comprensione della scena offriranno esperienze di realtà mista più realistiche.

Secondo Sarthak Ray, product manager di Meta, la capacità di vedere e interagire con il mondo che ti circonda attraverso la realtà mista apre nuove opportunità per la realtà virtuale. "Puoi giocare con gli amici nella stessa stanza fisica o esperienze di produttività che combinano enormi monitor virtuali con strumenti fisici, ed è un passo avanti verso la nostra visione a lungo termine per la realtà aumentata".

Contrariamente alla credenza popolare, un'esperienza di realtà mista è più efficace se il dispositivo VR/AR riesce a fondere in modo convincente il mondo fisico e quello virtuale. Ciò significa che l'auricolare deve fare di più che fornire un feed video 2D, secondo un recente post sul blog su Oculus. com.

Per promuovere il suo impegno nello sviluppo di tecnologie VR all'avanguardia, Meta ha annunciato il lancio di Meta Reality, un nuovo sistema di realtà mista che offre uno sguardo all'interno di ciò che serve per creare un'esperienza eccezionale.

Passthrough del colore stereoscopico per la consapevolezza spaziale

Meta riconosce l'importanza del passthrough del colore e della tecnologia 3D stereoscopica quando si tratta di offrire esperienze di realtà mista confortevoli e coinvolgenti.

"Meta Quest Pro combina due viste della telecamera per ricostruire una profondità realistica, il che garantisce che le esperienze di realtà mista realizzate utilizzando il passthrough del colore siano comode per le persone", ha spiegato Ricardo Silveira Cabral, Engineering Manager di Meta Computer Vision. "Ma anche, i segnali di trama stereo consentono al cervello dell'utente di fare il resto e dedurre la profondità anche quando la ricostruzione della profondità non è perfetta o è oltre la portata del sistema. "

Ad esempio, quando usi Passthrough, il tuo cervello apprende che la tazza di caffè è tanto lontana dalla tua mano quanto dalla penna che si trova proprio accanto a te.

Oculus Insight, che poteva catturare solo 100 punti di interesse per determinare la posizione del visore in una stanza, era una tecnologia che ha fornito il primo sistema di tracciamento autonomo per un dispositivo VR consumer. Da allora è stato aggiornato per consentire il rilevamento profondo. Per fare un confronto, Meta Quest Pro può produrre fino a 10. 000 punti di interesse al secondo in diverse condizioni di illuminazione, consentendoti di creare una rappresentazione 3D migliorata del tuo spazio fisico tutto in tempo reale.

Attraverso questo processo, Meta è in grado di creare un modello 3D del mondo fisico che viene continuamente aggiornato. Puoi quindi utilizzare questi dati per creare un framework di rendering predittivo in grado di produrre immagini del tuo ambiente reale. Per compensare la latenza del rendering, le ricostruzioni vengono adattate alle visualizzazioni dell'occhio sinistro e destro degli utenti tramite l'algoritmo Asynchronous TimeWarp.

Secondo Silveira Cabral, l'uso di una telecamera stereoscopica a colori consente al team di fornire un'interpretazione più realistica del mondo reale.

Comprensione della scena per la fusione di contenuti virtuali nel mondo fisico

Il componente Scene Understanding della piattaforma Presence è stato introdotto durante l'evento Connect 2021. Questa tecnologia consente agli sviluppatori di creare esperienze di realtà mista complesse e sensibili alla scena. Secondo Wei Lyu, il product manager di Meta Quest Pro, il componente Scene Understanding dell'azienda è stato progettato per aiutare gli sviluppatori a concentrarsi sulla costruzione delle loro attività ed esperienze.

"Abbiamo introdotto Scene Understanding come soluzione di sistema", ha affermato Lyu.

La comprensione della scena è suddivisa in tre aree:

• Modello di scena: una rappresentazione dell'ambiente unica, completa, aggiornata e gestita dal sistema, costituita da informazioni geometriche e semantiche. Gli elementi fondamentali di un modello di scena sono gli ancoraggi. Ogni ancoraggio può essere collegato a vari componenti. Ad esempio, il soggiorno di un utente è organizzato attorno a singoli Anchor con etichette semantiche, come il pavimento, il soffitto, le pareti, la scrivania e il divano. Gli ancoraggi sono fissati con una semplice rappresentazione geometrica: un contorno 2D o un riquadro di delimitazione 3D.
• Scene Capture: un flusso guidato dal sistema che consente agli utenti di camminare e acquisire l'architettura e i mobili della stanza per generare un modello di scena. In futuro, l'obiettivo sarà fornire una versione automatizzata di Scene Capture che non richieda alle persone di acquisire manualmente l'ambiente circostante.
• Scene API: un'interfaccia che le app possono utilizzare per accedere alle informazioni spaziali nel modello di scena per vari casi d'uso, tra cui posizionamento dei contenuti, fisica, navigazione, ecc. Con Scene API, gli sviluppatori possono utilizzare il modello di scena per far rimbalzare una palla virtuale su un fisico superfici nella stanza reale o un robot virtuale in grado di scalare le pareti fisiche.

"Scene Understanding riduce l'attrito per gli sviluppatori, consentendo loro di creare esperienze MR il più credibili e coinvolgenti possibile con effetti di occlusione e collisione in tempo reale", ha aggiunto Ray.

Ancore spaziali per il posizionamento di oggetti virtuali

Gli sviluppatori possono facilmente creare esperienze di realtà mista di prima classe utilizzando Spatial Anchors, che è una funzionalità fondamentale della piattaforma Meta Quest Pro. Ad esempio, un progettista di prodotti può facilmente ancorare più modelli 3D in uno spazio fisico utilizzando una piattaforma come Gravity Sketch per creare un ambiente uniforme per il proprio prodotto.

"Se il passaggio del colore stereoscopico e la comprensione della scena fanno il lavoro pesante per consentire alle esperienze RM di fondere il mondo fisico e virtuale, le nostre capacità di ancoraggio forniscono il tessuto connettivo che tiene tutto insieme", ha affermato Laura Onu, Product Manager di Meta.

Insieme al modello di scena, gli ancoraggi spaziali possono essere utilizzati per creare ambienti ricchi e automatici per una varietà di esperienze e situazioni. Ad esempio, puoi creare una porta virtuale collegata a un muro fisico. Questo sarebbe un grande passo per le aziende che guardano alla tecnologia XR per le loro soluzioni aziendali nel gemellaggio digitale, nell'automazione del magazzino e persino nella robotica.

Per ora, sembra che Meta sia più focalizzato sulle esperienze sociali. "Combinando Scene Understanding con Spatial Anchors, puoi fondere e adattare le tue esperienze MR all'ambiente dell'utente per creare un nuovo mondo pieno di possibilità", secondo Onu, che aggiunge: "Puoi diventare un agente segreto nel tuo salotto , posiziona mobili virtuali nella tua stanza o disegna un'estensione della tua casa, crea giochi di fisica e altro ancora. "

Ancoraggi spaziali condivisi per esperienze co-localizzate

Inoltre, Meta ha aggiunto la funzione Shared Spatial Anchors alla piattaforma Presence. Ciò ti consente di creare esperienze multiplayer locali condividendo le tue ancore con altri utenti nello stesso spazio. Ciò consentirebbe a te e ad altri amici di giocare a un gioco da tavolo VR su un tavolo fisico nello stesso modo in cui Tilt Five offre le loro esperienze di gioco.

Una combinazione vincente per la realtà mista

La combinazione di Spatial Anchors, Passthrough e Scene Understanding può aiutare a creare un ambiente ricco e interattivo progettato per sembrare e sentire come il mondo reale. Avinav Pashine, product manager di Meta Quest Pro, ha notato che ci sono molti compromessi coinvolti nella creazione di un ambiente di realtà mista fantastico e confortevole per gli utenti.

Il futuro di Meta Reality è ancora in evoluzione poiché l'azienda migliora continuamente la piattaforma attraverso aggiornamenti software e innovazioni hardware che verranno fornite nella prossima generazione dei loro prodotti. Silveira Cabral, product manager di Meta Quest Pro, ha osservato che il primo prodotto dell'azienda è un passo importante nell'evoluzione di Meta Reality.

“Vogliamo imparare insieme agli sviluppatori mentre costruiscono esperienze avvincenti che ridefiniscono ciò che è possibile con un visore VR. Questa storia non è ancora completa, questa è solo la prima pagina.