Meta paljastaa Meta Reality Mixed Reality System -järjestelmän

Stereoskooppinen värien läpivienti, spatiaalinen ankkurointi ja kohtausten ymmärtäminen tarjoavat realistisempia sekatodellisuuskokemuksia.

Metan tuotepäällikön Sarthak Rayn mukaan kyky nähdä ympäröivä maailma ja olla vuorovaikutuksessa sen kanssa sekatodellisuuden kautta avaa uusia mahdollisuuksia VR:lle. "Voit pelata ystävien kanssa samassa fyysisessä huoneessa tai tuottavuuskokemuksissa, joissa yhdistyvät valtavat virtuaalinäytöt fyysisiin työkaluihin, ja se on askel kohti pidemmän aikavälin visiotamme lisätystä todellisuudesta. "

Vastoin yleistä uskomusta sekatodellisuuskokemus on tehokkain, jos VR/AR-laite pystyy yhdistämään vakuuttavasti fyysisen ja virtuaalisen maailman. Tämä tarkoittaa, että kuulokemikrofonin on tehtävä enemmän kuin vain 2D-videosyöte, äskettäisen Oculus. com-blogiviestin mukaan.

Edistääkseen sitoutumistaan huippuluokan VR-teknologioiden kehittämiseen Meta on ilmoittanut julkaisevansa Meta Realityn, uuden sekatodellisuuden järjestelmän, joka tarjoaa sisäisen katsauksen poikkeuksellisen kokemuksen luomiseen.

Stereoskooppinen värin läpivienti tilatietoisuutta varten

Meta tunnustaa värien läpiviennin ja stereoskooppisen 3D-tekniikan merkityksen mukavien ja mukaansatempaavien sekatodellisuuskokemusten tarjoamisessa.

"Meta Quest Pro yhdistää kaksi kameranäkymää realistisen syvyyden rekonstruoimiseksi, mikä varmistaa, että värillä Passthroughilla rakennetut sekatodellisuudet ovat mukavia ihmisille", selittää Meta Computer Vision Engineering Manager Ricardo Silveira Cabral. "Mutta myös stereotekstuurivihjeet antavat käyttäjän aivoille mahdollisuuden tehdä loput ja päätellä syvyyttä, vaikka syvyyden rekonstruointi ei olisi täydellinen tai järjestelmän toiminta-alueen ulkopuolella. "

Esimerkiksi, kun käytät Passthroughia, aivosi oppivat, että kahvikuppi on suunnilleen yhtä kaukana kädestäsi kuin se on aivan vieressäsi olevasta kynästä.

Oculus Insight, joka pystyi keräämään vain 100 kiinnostuspistettä kuulokkeiden sijainnin määrittämiseksi huoneessa, oli tekniikka, joka tarjosi ensimmäisen erillisen seurantajärjestelmän kuluttajan VR-laitteelle. Sitä on sittemmin päivitetty syvätunnistuksen mahdollistamiseksi. Vertailun vuoksi, Meta Quest Pro voi tuottaa jopa 10 000 kiinnostuspistettä sekunnissa erilaisissa valaistusolosuhteissa, jolloin voit luoda parannetun 3D-esityksen fyysisestä tilastasi reaaliajassa.

Tämän prosessin avulla Meta pystyy luomaan 3D-mallin fyysisestä maailmasta, jota päivitetään jatkuvasti. Voit sitten käyttää näitä tietoja luodaksesi ennakoivan renderöintikehyksen, joka voi tuottaa kuvia todellisesta ympäristöstäsi. Renderöinnin viiveen kompensoimiseksi rekonstruktiot säädetään käyttäjien vasemman ja oikean silmän näkymiin Asynchronous TimeWarp -algoritmin avulla.

Silveira Cabralin mukaan stereoskooppisen värikameran käyttö antaa tiimille mahdollisuuden tarjota realistisemman tulkinnan todellisesta maailmasta.

Kohtausten ymmärtäminen virtuaalisen sisällön yhdistämiseksi fyysiseen maailmaan

Presence Platformin Scene Understanding -komponentti esiteltiin Connect 2021 -tapahtuman aikana. Tämän tekniikan avulla kehittäjät voivat luoda monimutkaisia ja kohtaustietoisia sekatodellisuuskokemuksia. Meta Quest Pron tuotepäällikön Wei Lyun mukaan yrityksen Scene Understanding -komponentti on suunniteltu auttamaan kehittäjiä keskittymään liiketoimintansa ja kokemustensa rakentamiseen.

"Otimme Scene Understandingin käyttöön järjestelmäratkaisuna", Lyu sanoi.

Scene Understanding on jaettu kolmeen osaan:

• Scene Model – Yksittäinen, kattava, ajan tasalla oleva ja järjestelmäohjattu esitys ympäristöstä, joka koostuu geometrisestä ja semanttisesta tiedosta. Näkymämallin peruselementit ovat ankkurit. Jokainen ankkuri voidaan kiinnittää eri osiin. Esimerkiksi käyttäjän olohuone on järjestetty yksittäisten ankkureiden ympärille, joilla on semanttiset tunnisteet, kuten lattia, katto, seinät, työpöytä ja sohva. Ankkurit kiinnitetään yksinkertaisella geometrisella esityksellä: 2D-rajalla tai 3D-rajoituslaatikolla.
• Scene Capture – Järjestelmäohjattu kulku, jonka avulla käyttäjät voivat kävellä ympäriinsä ja vangita huoneensa arkkitehtuuria ja huonekaluja näkymämallin luomiseksi. Tulevaisuudessa tavoitteena on toimittaa Scene Capturesta automatisoitu versio, joka ei edellytä ihmisten vangitsevan ympäristöään manuaalisesti.
• Scene API – käyttöliittymä, jota sovellukset voivat käyttää Scene Modelin paikkatietoihin eri käyttötapauksissa, mukaan lukien sisällön sijoittelu, fysiikka, navigointi jne. Scene API:n avulla kehittäjät voivat käyttää Scene Modelia virtuaalisen pallon pomppimiseen fyysisestä tilanteesta. pinnat todellisessa huoneessa tai virtuaalinen robotti, joka voi skaalata fyysisiä seiniä.

"Scene Understanding vähentää kehittäjien kitkaa ja antaa heidän rakentaa MR-kokemuksia, jotka ovat mahdollisimman uskottavia ja mukaansatempaavia reaaliaikaisilla okkluusio- ja törmäystehosteilla", lisäsi Ray.

Tila-ankkurit virtuaalisten objektien sijoittamiseen

Kehittäjät voivat helposti luoda ensiluokkaisia sekatodellisuuskokemuksia käyttämällä Spatial Anchors -sovellusta, joka on Meta Quest Pro -alustan ydinominaisuus. Esimerkiksi tuotesuunnittelija voi helposti ankkuroida useita 3D-malleja fyysiseen tilaan käyttämällä alustaa, kuten Gravity Sketch, luodakseen saumattoman ympäristön tuotteelleen.

"Jos stereoskooppinen väriläpäisy ja Scene Understanding tekevät raskaan työn, jotta MR-kokemukset yhdistäisivät fyysisen ja virtuaalisen maailman, ankkurointikykymme tarjoavat sidekudoksen, joka pitää kaiken koossa", sanoi Meta-tuotepäällikkö Laura Onu.

Spatiaalisia ankkureita voidaan käyttää yhdessä kohtausmallin kanssa monipuolisten ja automaattisten ympäristöjen luomiseen erilaisiin kokemuksiin ja tilanteisiin. Voit esimerkiksi luoda virtuaalisen oven, joka on yhdistetty fyysiseen seinään. Tämä olisi valtava askel yrityksille, jotka etsivät XR-teknologiaa yritysratkaisuissaan digitaalisessa twinningissä, varastoautomaatiossa ja jopa robotiikassa.

Toistaiseksi näyttää siltä, että Meta keskittyy enemmän sosiaalisiin kokemuksiin. "Yhdistämällä Scene Understandingin Spatial Anchors -ankkureihin voit yhdistää ja mukauttaa MR-kokemuksiasi käyttäjän ympäristöön luodaksesi uuden maailman, joka on täynnä mahdollisuuksia", Onun mukaan, joka lisää: "Sinusta voi tulla salainen agentti omassa olohuoneessasi , sijoita virtuaalisia huonekaluja huoneeseesi tai piirrä laajennus kotiisi, luo fysiikkapelejä ja paljon muuta. "

Jaetut spatiaaliset ankkurit yhteiskäyttöön

Lisäksi Meta on lisännyt Shared Spatial Anchors -ominaisuuden Presence Platformiin. Tämän avulla voit luoda paikallisia moninpelikokemuksia jakamalla ankkureitasi muiden käyttäjien kanssa samassa tilassa. Näin sinä ja muut ystävät voivat pelata VR-lautapeliä fyysisen pöydän päällä samalla tavalla kuin Tilt Five tarjoaa pelikokemuksensa.

Voittava yhdistelmä sekalaiseen todellisuuteen

Spatial Anchors, Passthrough ja Scene Understanding -yhdistelmä voi auttaa luomaan rikkaan ja interaktiivisen ympäristön, joka on suunniteltu näyttämään ja tuntumaan todelliselta maailmalta. Avinav Pashine, Meta Quest Pron tuotepäällikkö, huomautti, että käyttäjille erinomaisen ja mukavan sekatodellisuuden ympäristön luomiseen liittyy monia kompromisseja.

Meta Realityn tulevaisuus kehittyy edelleen, kun yritys parantaa jatkuvasti alustaa ohjelmistopäivitysten ja laitteistoinnovaatioiden avulla, jotka toimitetaan seuraavan sukupolven tuotteisiin. Meta Quest Pron tuotepäällikkö Silveira Cabral totesi, että yrityksen ensimmäinen tuote on tärkeä askel Meta Realityn kehityksessä.

”Haluamme oppia yhdessä kehittäjien kanssa, kun he rakentavat vakuuttavia kokemuksia, jotka määrittelevät uudelleen sen, mitä VR-kuulokkeiden kanssa on mahdollista. Tämä tarina ei ole vielä valmis – tämä on vain sivu yksi. "