Meta otkriva svoj sustav miješane stvarnosti Meta Reality

Stereoskopski prolaz boja, prostorno sidrenje i razumijevanje scene pružit će realističnija iskustva mješovite stvarnosti.

Prema Sarthaku Rayu, voditelju proizvoda u tvrtki Meta, mogućnost da vidite i komunicirate sa svijetom oko sebe kroz mješovitu stvarnost otvara nove mogućnosti za VR. "Možete se igrati s prijateljima u istoj fizičkoj prostoriji ili doživljajima produktivnosti koji kombiniraju ogromne virtualne monitore s fizičkim alatima, a to je korak prema našoj dugoročnijoj viziji proširene stvarnosti. "

Suprotno uvriježenom mišljenju, iskustvo mješovite stvarnosti najučinkovitije je ako VR/AR uređaj može uvjerljivo spojiti fizički i virtualni svijet. To znači da slušalice moraju učiniti više od samog pružanja 2D video feeda, prema nedavnom postu na blogu na Oculus. com.

Kako bi unaprijedila svoju predanost razvoju najsuvremenijih VR tehnologija, Meta je najavila lansiranje Meta Reality, novog sustava mješovite stvarnosti koji nudi pogled iznutra na ono što ide u stvaranje iznimnog iskustva.

Stereoskopski prolaz boja za svijest o prostoru

Meta prepoznaje važnost prolaska boja i stereoskopske 3D tehnologije kada je u pitanju pružanje ugodnih i impresivnih iskustava mješovite stvarnosti.

"Meta Quest Pro kombinira dva prikaza kamere za rekonstruiranje realistične dubine, što osigurava da su iskustva mješovite stvarnosti izgrađena korištenjem Colour Passthrough ugodna za ljude", objasnio je Ricardo Silveira Cabral, menadžer za inženjering Meta Computer Vision. "Ali također, znakovi stereo teksture omogućuju mozgu korisnika da učini ostalo i zaključi o dubini čak i kada rekonstrukcija dubine nije savršena ili je izvan dometa sustava. "

Na primjer, kada koristite Passthrough, vaš mozak uči da je šalica kave otprilike jednako udaljena od vaše ruke kao i od olovke koja se nalazi tik do vas.

Oculus Insight, koji je mogao uhvatiti samo 100 interesnih točaka za određivanje položaja slušalica u sobi, bila je tehnologija koja je omogućila prvi samostalni sustav praćenja za potrošački VR uređaj. Od tada je nadograđen kako bi omogućio duboko očitavanje. Za usporedbu, Meta Quest Pro može proizvesti do 10 000 točaka interesa u sekundi pod različitim uvjetima osvjetljenja, što vam omogućuje stvaranje poboljšane 3D reprezentacije vašeg fizičkog prostora u stvarnom vremenu.

Ovim procesom Meta može stvoriti 3D model fizičkog svijeta koji se neprestano ažurira. Zatim možete upotrijebiti te podatke za stvaranje okvira za predviđanje prikazivanja koji može proizvesti slike vašeg stvarnog okruženja. Kako bi se nadoknadilo kašnjenje renderiranja, rekonstrukcije se prilagođavaju pogledima lijevog i desnog oka korisnika putem algoritma Asynchronous TimeWarp.

Prema Silveiri Cabral, korištenje stereoskopske kamere u boji omogućuje timu da isporuči realističniju interpretaciju stvarnog svijeta.

Razumijevanje scene za stapanje virtualnog sadržaja u fizički svijet

Komponenta Scene Understanding Platforme Presence predstavljena je tijekom događaja Connect 2021. Ova tehnologija omogućuje razvojnim programerima stvaranje složenih iskustava mješovite stvarnosti svjesna scene. Prema Wei Lyu, voditelju proizvoda tvrtke Meta Quest Pro, komponenta Scene Understanding tvrtke osmišljena je kako bi pomogla programerima da se usredotoče na izgradnju svojih poslova i iskustava.

"Uveli smo Scene Understanding kao sustavno rješenje", rekao je Lyu.

Razumijevanje scene podijeljeno je u tri područja:

• Model scene – jedinstvena, sveobuhvatna, ažurirana i sistemski upravljana reprezentacija okoline koja se sastoji od geometrijskih i semantičkih informacija. Temeljni elementi modela scene su sidra. Svako sidro može se pričvrstiti na različite komponente. Na primjer, dnevna soba korisnika organizirana je oko pojedinačnih sidara sa semantičkim oznakama, kao što su pod, strop, zidovi, radni stol i kauč. Sidra su pričvršćena jednostavnim geometrijskim prikazom: 2D rubom ili 3D graničnim okvirom.
• Snimanje scene – Sustavom vođen tijek koji korisnicima omogućuje hodanje i snimanje arhitekture svoje sobe i namještaja za generiranje modela scene. U budućnosti će cilj biti isporučiti automatiziranu verziju Scene Capture koja ne zahtijeva od ljudi da ručno snimaju svoje okruženje.
• Scene API – sučelje koje aplikacije mogu koristiti za pristup prostornim informacijama u Scene Modelu za različite slučajeve upotrebe, uključujući smještaj sadržaja, fiziku, navigaciju itd. Uz Scene API, programeri mogu koristiti Scene Model kako bi se virtualna lopta odbijala od fizičke površine u stvarnoj prostoriji ili virtualni robot koji može mjeriti fizičke zidove.

"Scene Understanding smanjuje trenje za programere, dopuštajući im da grade MR iskustva koja su što vjerodostojnija i impresivnija s efektima okluzije i sudara u stvarnom vremenu", dodao je Ray.

Prostorna sidra za postavljanje virtualnog objekta

Programeri mogu jednostavno stvoriti prvoklasna iskustva mješovite stvarnosti koristeći Spatial Anchors, što je temeljna mogućnost platforme Meta Quest Pro. Na primjer, dizajner proizvoda može jednostavno usidriti više 3D modela kroz fizički prostor koristeći platformu kao što je Gravity Sketch kako bi stvorio besprijekorno okruženje za svoj proizvod.

"Ako stereoskopski prolaz boja i razumijevanje scene obavljaju težak posao kako bi omogućili MR iskustvima da pomiješaju fizički i virtualni svijet, naše mogućnosti sidrenja pružaju vezivno tkivo koje sve drži na okupu", rekla je menadžerica proizvoda Meta Laura Onu.

Zajedno s modelom scene, prostorna sidra mogu se koristiti za stvaranje bogatih i automatskih okruženja za različita iskustva i situacije. Na primjer, možete stvoriti virtualna vrata koja su povezana s fizičkim zidom. Ovo bi bio veliki korak za tvrtke koje traže XR tehnologiju za svoja poslovna rješenja u digitalnom twinningu, automatizaciji skladišta, pa čak i robotici.

Za sada se čini da je Meta više fokusirana na društvena iskustva. “Kombiniranjem Scene Understanding s Spatial Anchors, možete uklopiti i prilagoditi svoja MR iskustva korisnikovom okruženju kako biste stvorili novi svijet pun mogućnosti, ” prema Onu, koji dodaje, “Možete postati tajni agent u vlastitoj dnevnoj sobi , postavite virtualni namještaj u svoju sobu ili skicirajte proširenje svog doma, izradite igre fizike i još mnogo toga. ”

Zajednička prostorna sidra za iskustva na zajedničkoj lokaciji

Osim toga, Meta je dodala značajku Shared Spatial Anchors Platformi prisutnosti. To vam omogućuje stvaranje lokalnog iskustva za više igrača dijeljenjem svojih sidara s drugim korisnicima u istom prostoru. To bi vama i drugim prijateljima omogućilo da igrate VR društvenu igru na vrhu fizičkog stola na isti način na koji Tilt Five pruža njihova iskustva igranja.

Dobitna kombinacija za mješovitu stvarnost

Kombinacija Spatial Anchors, Passthrough i Scene Understanding može pomoći u stvaranju bogatog i interaktivnog okruženja koje je dizajnirano da izgleda i osjeća se kao u stvarnom svijetu. Avinav Pashine, voditelj proizvoda Meta Quest Pro, primijetio je da postoje mnogi kompromisi uključeni u stvaranje sjajnog i ugodnog okruženja mješovite stvarnosti za korisnike.

Budućnost Meta Realitya još uvijek se razvija jer tvrtka kontinuirano poboljšava platformu putem ažuriranja softvera i hardverskih inovacija koje će biti isporučene u sljedećoj generaciji njihovih proizvoda. Silveira Cabral, voditeljica proizvoda Meta Quest Pro, primijetila je da je prvi proizvod tvrtke važan korak u evoluciji Meta Realityja.

“Želimo učiti zajedno s programerima dok grade uvjerljiva iskustva koja redefiniraju ono što je moguće s VR slušalicama. Ova priča još nije dovršena - ovo je samo prva stranica. ”