Meta avslører sitt Meta Reality Mixed Reality-system

Stereoskopisk fargegjennomgang, romlig forankring og sceneforståelse vil gi mer realistiske mixed reality-opplevelser.

Ifølge Sarthak Ray, en produktsjef hos Meta, åpner evnen til å se og samhandle med verden rundt deg gjennom blandet virkelighet nye muligheter for VR. "Du kan spille med venner i det samme fysiske rommet eller produktivitetsopplevelser som kombinerer enorme virtuelle skjermer med fysiske verktøy, og det er et skritt mot vår langsiktige visjon for utvidet virkelighet. "

I motsetning til hva mange tror, er en mixed reality-opplevelse mest effektiv hvis VR/AR-enheten på en overbevisende måte kan blande den fysiske og virtuelle verdenen. Dette betyr at headsettet må gjøre mer enn bare å tilby en 2D-videofeed, ifølge et nylig blogginnlegg på Oculus. com.

For å fremme sin forpliktelse til å utvikle banebrytende VR-teknologier, har Meta annonsert lanseringen av Meta Reality, et nytt mixed reality-system som gir et innblikk i hva som skal til for å skape en eksepsjonell opplevelse.

Stereoskopisk fargegjennomgang for romlig bevissthet

Meta anerkjenner viktigheten av fargegjennomgang og stereoskopisk 3D-teknologi når det gjelder å levere komfortable og oppslukende blandet virkelighetsopplevelser.

"Meta Quest Pro kombinerer to kameravisninger for å rekonstruere realistisk dybde, noe som sikrer at mixed reality-opplevelser bygget med fargepassthrough er komfortable for folk, " forklarte Meta Computer Vision Engineering Manager Ricardo Silveira Cabral. "Men også, stereotekstursignaler lar brukerens hjerne gjøre resten og utlede dybden selv når dybderekonstruksjonen ikke er perfekt eller er utenfor systemets rekkevidde. "

For eksempel, når du bruker Passthrough, lærer hjernen din at kaffekoppen er omtrent like langt unna hånden din som den er fra pennen som sitter rett ved siden av deg.

Oculus Insight, som bare kunne fange opp 100 interessepunkter for å bestemme hodesettets posisjon i et rom, var en teknologi som ga det første frittstående sporingssystemet for en VR-forbrukerenhet. Den har siden blitt oppgradert for å muliggjøre dyp sensing. Til sammenligning kan Meta Quest Pro produsere opptil 10 000 rentepoeng per sekund under forskjellige lysforhold, slik at du kan lage en forbedret 3D-representasjon av ditt fysiske rom i sanntid.

Gjennom denne prosessen er Meta i stand til å lage en 3D-modell av den fysiske verden som oppdateres kontinuerlig. Du kan deretter bruke disse dataene til å lage et prediktivt gjengivelsesrammeverk som kan produsere bilder av ditt virkelige miljø. For å kompensere for gjengivelsesforsinkelsen, justeres rekonstruksjonene til brukernes venstre og høyre øyevisning gjennom Asynchronous TimeWarp-algoritmen.

I følge Silveira Cabral lar bruken av et stereoskopisk fargekamera teamet levere en mer realistisk tolkning av den virkelige verden.

Sceneforståelse for å blande virtuelt innhold inn i den fysiske verden

Scene Understanding-komponenten i Presence Platform ble introdusert under Connect 2021-arrangementet. Denne teknologien gjør det mulig for utviklere å skape komplekse og scenebevisste mixed reality-opplevelser. I følge Wei Lyu, produktsjefen for Meta Quest Pro, ble selskapets Scene Understanding-komponent designet for å hjelpe utviklere med å fokusere på å bygge sine virksomheter og opplevelser.

"Vi introduserte Scene Understanding som en systemløsning, " sa Lyu.

Sceneforståelse er delt opp i tre områder:

• Scenemodell – En enkelt, omfattende, oppdatert og systemstyrt representasjon av miljøet bestående av geometrisk og semantisk informasjon. De grunnleggende elementene i en scenemodell er ankre. Hvert anker kan festes til ulike komponenter. For eksempel er en brukers stue organisert rundt individuelle ankere med semantiske etiketter, som gulv, tak, vegger, skrivebord og sofa. Ankre festes med en enkel geometrisk representasjon: en 2D-grense eller en 3D-grenseboks.
• Scene Capture – En systemstyrt flyt som lar brukere gå rundt og fange romarkitekturen og møblene deres for å generere en scenemodell. I fremtiden vil målet være å levere en automatisert versjon av Scene Capture som ikke krever at folk manuelt fanger omgivelsene sine.
• Scene API – Et grensesnitt som apper kan bruke for å få tilgang til romlig informasjon i Scene Model for ulike brukstilfeller, inkludert innholdsplassering, fysikk, navigasjon osv. Med Scene API kan utviklere bruke Scene Model for å få en virtuell ball til å sprette av fysisk. overflater i selve rommet eller en virtuell robot som kan skalere de fysiske veggene.

"Sceneforståelse reduserer friksjonen for utviklere, og lar dem bygge MR-opplevelser som er så troverdige og oppslukende som mulig med okklusjons- og kollisjonseffekter i sanntid, " la Ray til.

Romlige ankere for plassering av virtuelle objekter

Utviklere kan enkelt lage førsteklasses mixed reality-opplevelser ved å bruke Spatial Anchors, som er en kjernefunksjon i Meta Quest Pro-plattformen. For eksempel kan en produktdesigner enkelt forankre flere 3D-modeller i et fysisk rom ved å bruke en plattform som Gravity Sketch for å skape et sømløst miljø for produktet deres.

"Hvis stereoskopisk fargegjennomgang og sceneforståelse gjør det tunge løftet for å la MR-opplevelser blande den fysiske og virtuelle verdenen, gir våre forankringsevner bindevevet som holder det hele sammen, " sa Meta-produktsjef Laura Onu.

Sammen med Scenemodellen kan Spatial Anchors brukes til å skape rike og automatiske miljøer for en rekke opplevelser og situasjoner. Du kan for eksempel lage en virtuell dør som er koblet til en fysisk vegg. Dette vil være et stort skritt for selskaper som ser på XR-teknologi for bedriftsløsninger innen digital twinning, lagerautomatisering og til og med robotikk.

Foreløpig virker det som Meta er mer fokusert på sosiale opplevelser. "Ved å kombinere Scene Understanding med Spatial Anchors, kan du blande og tilpasse MR-opplevelsene dine til brukerens miljø for å skape en ny verden full av muligheter, " ifølge Onu, som legger til, "Du kan bli en hemmelig agent i din egen stue , plasser virtuelle møbler på rommet ditt eller skisser en utvidelse av hjemmet ditt, lag fysikkspill og mer. »

Delte romlige ankere for samlokaliserte opplevelser

I tillegg har Meta lagt til funksjonen Shared Spatial Anchors til Presence Platform. Dette lar deg lage lokale flerspilleropplevelser ved å dele ankrene dine med andre brukere på samme plass. Dette vil tillate deg og andre venner å spille et VR-brettspill på toppen av et fysisk bord på samme måte som Tilt Five leverer sine spillopplevelser.

En vinnende kombinasjon for blandet virkelighet

Kombinasjonen av Spatial Anchors, Passthrough og Scene Understanding kan bidra til å skape et rikt og interaktivt miljø som er designet for å se ut og føles som den virkelige verden. Avinav Pashine, produktsjef for Meta Quest Pro, bemerket at det er mange avveininger involvert i å skape et flott og komfortabelt mixed reality-miljø for brukere.

Fremtiden til Meta Reality utvikler seg fortsatt ettersom selskapet kontinuerlig forbedrer plattformen gjennom programvareoppdateringer og maskinvareinnovasjonene som vil bli levert i neste generasjon av produktene deres. Silveira Cabral, produktsjef for Meta Quest Pro, bemerket at selskapets første produkt er et viktig skritt i utviklingen av Meta Reality.

«Vi ønsker å lære sammen med utviklere når de bygger overbevisende opplevelser som omdefinerer hva som er mulig med et VR-headset. Denne historien er ikke komplett ennå – dette er bare side én. »