Spel

Meta avslöjar sitt Meta Reality Mixed Reality-system

Meta avslöjar sitt Meta Reality Mixed Reality-system

Stereoskopisk färggenomföring, rumsförankring och scenförståelse ger mer realistiska mixed reality-upplevelser.

Enligt Sarthak Ray, produktchef på Meta, öppnar förmågan att se och interagera med världen omkring dig genom blandad verklighet nya möjligheter för VR. "Du kan spela med vänner i samma fysiska rum eller produktivitetsupplevelser som kombinerar enorma virtuella monitorer med fysiska verktyg, och det är ett steg mot vår långsiktiga vision för förstärkt verklighet. "

Tvärtemot vad många tror är en mixed reality-upplevelse mest effektiv om VR/AR-enheten på ett övertygande sätt kan blanda den fysiska och virtuella världen. Detta innebär att headsetet måste göra mer än att bara tillhandahålla ett 2D-videoflöde, enligt ett nyligen inlägg på Oculus. com.

För att främja sitt engagemang för att utveckla banbrytande VR-teknologier har Meta tillkännagett lanseringen av Meta Reality, ett nytt mixed reality-system som ger en inblick i vad som krävs för att skapa en exceptionell upplevelse.

MetaLivinginStereo

Stereoskopisk färggenomströmning för rumslig medvetenhet

Meta inser vikten av färggenomföring och stereoskopisk 3D-teknik när det gäller att leverera bekväma och uppslukande mixed reality-upplevelser.

"Meta Quest Pro kombinerar två kameravyer för att rekonstruera realistiskt djup, vilket säkerställer att mixed reality-upplevelser byggda med färgpassthrough är bekväma för människor", förklarade Meta Computer Vision Engineering Manager Ricardo Silveira Cabral. "Men också, stereotextursignaler tillåter användarens hjärna att göra resten och härleda djup även när djuprekonstruktionen inte är perfekt eller ligger utanför systemets räckvidd. "

Till exempel, när du använder Passthrough lär din hjärna att kaffekoppen är ungefär lika långt bort från din hand som den är från pennan som sitter bredvid dig.

Oculus Insight, som bara kunde fånga upp 100 intressepunkter för att bestämma headsetets position i ett rum, var en teknik som gav det första fristående spårningssystemet för en konsument-VR-enhet. Den har sedan dess uppgraderats för att möjliggöra djupavkänning. Som jämförelse kan Meta Quest Pro producera upp till 10 000 intressepunkter per sekund under olika ljusförhållanden, vilket gör att du kan skapa en förbättrad 3D-representation av ditt fysiska utrymme allt i realtid.

Genom denna process kan Meta skapa en 3D-modell av den fysiska världen som kontinuerligt uppdateras. Du kan sedan använda dessa data för att skapa ett ramverk för prediktiv rendering som kan producera bilder av din verkliga miljö. För att kompensera för renderingens latens justeras rekonstruktionerna till användarnas vänstra och högra öga genom Asynchronous TimeWarp-algoritmen.

Enligt Silveira Cabral tillåter användningen av en stereoskopisk färgkamera teamet att leverera en mer realistisk tolkning av den verkliga världen.

Betydelsen av djupet

Scenförståelse för att blanda virtuellt innehåll i den fysiska världen

Scene Understanding-komponenten i närvaroplattformen introducerades under Connect 2021-evenemanget. Denna teknik gör det möjligt för utvecklare att skapa komplexa och scenmedvetna mixed reality-upplevelser. Enligt Wei Lyu, produktchefen för Meta Quest Pro, var företagets Scene Understanding-komponent designad för att hjälpa utvecklare att fokusera på att bygga sina verksamheter och upplevelser.

"Vi introducerade Scene Understanding som en systemlösning", sa Lyu.

Scenförståelse är uppdelad i tre områden:

  • Scenmodell – En enda, heltäckande, uppdaterad och systemhanterad representation av miljön bestående av geometrisk och semantisk information. De grundläggande elementen i en scenmodell är ankare. Varje ankare kan fästas på olika komponenter. Till exempel är en användares vardagsrum organiserat kring individuella ankare med semantiska etiketter, som golv, tak, väggar, skrivbord och soffa. Ankare är fästa med en enkel geometrisk representation: en 2D-gräns eller en 3D-gränsruta.
  • Scene Capture – Ett systemstyrt flöde som låter användare gå runt och fånga sin rumsarkitektur och möbler för att skapa en scenmodell. I framtiden kommer målet att vara att leverera en automatiserad version av Scene Capture som inte kräver att människor manuellt fångar sin omgivning.
  • Scene API – Ett gränssnitt som appar kan använda för att komma åt rumslig information i scenmodellen för olika användningsfall, inklusive innehållsplacering, fysik, navigering, etc. Med Scene API kan utvecklare använda scenmodellen för att få en virtuell boll att studsa av fysiskt ytor i själva rummet eller en virtuell robot som kan skala de fysiska väggarna.

"Scenförståelse sänker friktionen för utvecklare och låter dem bygga MR-upplevelser som är så trovärdiga och uppslukande som möjligt med ocklusions- och kollisionseffekter i realtid, " tillade Ray.

Meta_Quest_TheVisualDetails

Rumsliga ankare för virtuell objektplacering

Utvecklare kan enkelt skapa förstklassiga mixed reality-upplevelser med hjälp av Spatial Anchors, som är en kärnfunktion hos Meta Quest Pro-plattformen. Till exempel kan en produktdesigner enkelt förankra flera 3D-modeller i ett fysiskt utrymme med hjälp av en plattform som Gravity Sketch för att skapa en sömlös miljö för sin produkt.

"Om stereoskopisk färggenomföring och scenförståelse gör det tunga lyftet för att låta MR-upplevelser blanda den fysiska och virtuella världen, ger våra förankringsmöjligheter den bindväv som håller ihop allt", säger Meta Product Manager Laura Onu.

Tillsammans med Scenmodellen kan Spatial Anchors användas för att skapa rika och automatiska miljöer för en mängd olika upplevelser och situationer. Du kan till exempel skapa en virtuell dörr som är ansluten till en fysisk vägg. Detta skulle vara ett stort steg för företag som tittar på XR-teknik för sina företagslösningar inom digitala vänorter, lagerautomation och till och med robotik.

För närvarande verkar det som att Meta är mer fokuserad på sociala upplevelser. "Genom att kombinera Scene Understanding med Spatial Anchors kan du blanda och anpassa dina MR-upplevelser till användarens miljö för att skapa en ny värld full av möjligheter, " enligt Onu, som tillägger, "Du kan bli en hemlig agent i ditt eget vardagsrum , placera virtuella möbler i ditt rum eller skissa en tillbyggnad på ditt hem, skapa fysikspel och mer. ”

Delade rumsliga ankare för samlokaliserade upplevelser

Dessutom har Meta lagt till funktionen Shared Spatial Anchors till närvaroplattformen. Detta gör att du kan skapa lokala flerspelarupplevelser genom att dela dina ankare med andra användare i samma utrymme. Detta skulle tillåta dig och andra vänner att spela ett VR-brädspel ovanpå ett fysiskt bord på samma sätt som Tilt Five levererar sina spelupplevelser.

Meta_Quest_LightInFocus

En vinnande kombination för blandad verklighet

Kombinationen av Spatial Anchors, Passthrough och Scene Understanding kan hjälpa till att skapa en rik och interaktiv miljö som är designad för att se ut och kännas som den verkliga världen. Avinav Pashine, produktchef för Meta Quest Pro, noterade att det finns många avvägningar involverade i att skapa en fantastisk och bekväm mixed reality-miljö för användarna.

Framtiden för Meta Reality utvecklas fortfarande eftersom företaget kontinuerligt förbättrar plattformen genom mjukvaruuppdateringar och de hårdvaruinnovationer som kommer att levereras i nästa generation av deras produkter. Silveira Cabral, produktchef för Meta Quest Pro, noterade att företagets första produkt är ett viktigt steg i utvecklingen av Meta Reality.

"Vi vill lära oss tillsammans med utvecklare när de bygger övertygande upplevelser som omdefinierar vad som är möjligt med ett VR-headset. Den här berättelsen är inte komplett än – det här är bara sida ett. ”