Meta stellt sein Mixed-Reality-System Meta Reality vor

Stereoskopische Farbdurchleitung, räumliche Verankerung und Szenenverständnis sorgen für realistischere Mixed-Reality-Erlebnisse.

Laut Sarthak Ray, einem Produktmanager bei Meta, eröffnet die Fähigkeit, die Welt um sich herum durch Mixed Reality zu sehen und mit ihr zu interagieren, neue Möglichkeiten für VR. „Sie können mit Freunden im selben physischen Raum spielen oder Produktivitätserfahrungen machen, die riesige virtuelle Monitore mit physischen Tools kombinieren, und es ist ein Schritt in Richtung unserer längerfristigen Vision für Augmented Reality. “

Entgegen der landläufigen Meinung ist ein Mixed-Reality-Erlebnis am effektivsten, wenn das VR/AR-Gerät die physische und die virtuelle Welt überzeugend verschmelzen kann. Das bedeutet, dass das Headset laut einem kürzlich erschienenen Blogbeitrag auf Oculus. com mehr leisten muss, als nur einen 2D-Video-Feed bereitzustellen.

Um sein Engagement für die Entwicklung modernster VR-Technologien weiter voranzutreiben, hat Meta die Einführung von Meta Reality angekündigt, einem neuen Mixed-Reality-System, das einen Einblick in das bietet, was zur Schaffung eines außergewöhnlichen Erlebnisses gehört.

Stereoskopischer Farbdurchgang für räumliches Bewusstsein

Meta erkennt die Bedeutung von Color-Passthrough- und stereoskopischer 3D-Technologie an, wenn es darum geht, komfortable und immersive Mixed-Reality-Erlebnisse zu liefern.

„Meta Quest Pro kombiniert zwei Kameraansichten, um eine realistische Tiefe zu rekonstruieren, wodurch sichergestellt wird, dass Mixed-Reality-Erlebnisse, die mit Farb-Passthrough erstellt wurden, für die Menschen angenehm sind“, erklärte Meta Computer Vision Engineering Manager Ricardo Silveira Cabral. „Stereo-Texturhinweise ermöglichen es dem Gehirn des Benutzers aber auch, den Rest zu erledigen und auf Tiefe zu schließen, selbst wenn die Tiefenrekonstruktion nicht perfekt ist oder außerhalb der Reichweite des Systems liegt. “

Wenn Sie beispielsweise Passthrough verwenden, lernt Ihr Gehirn, dass die Kaffeetasse ungefähr so weit von Ihrer Hand entfernt ist wie von dem Stift, der direkt neben Ihnen sitzt.

Oculus Insight, das nur 100 interessante Punkte erfassen konnte, um die Position des Headsets in einem Raum zu bestimmen, war eine Technologie, die das erste eigenständige Tracking-System für ein VR-Gerät für Verbraucher bereitstellte. Es wurde seitdem aufgerüstet, um Deep Sensing zu ermöglichen. Zum Vergleich: Meta Quest Pro kann unter verschiedenen Lichtverhältnissen bis zu 10. 000 interessante Punkte pro Sekunde erzeugen, sodass Sie in Echtzeit eine verbesserte 3D-Darstellung Ihres physischen Raums erstellen können.

Durch diesen Prozess ist Meta in der Lage, ein 3D-Modell der physischen Welt zu erstellen, das kontinuierlich aktualisiert wird. Sie können diese Daten dann verwenden, um ein prädiktives Rendering-Framework zu erstellen, das Bilder Ihrer realen Umgebung erzeugen kann. Um die Latenz beim Rendern zu kompensieren, werden die Rekonstruktionen durch den asynchronen TimeWarp-Algorithmus an die Ansichten des linken und rechten Auges des Benutzers angepasst.

Laut Silveira Cabral ermöglicht die Verwendung einer stereoskopischen Farbkamera dem Team, eine realistischere Interpretation der realen Welt zu liefern.

Szenenverständnis zum Einblenden virtueller Inhalte in die physische Welt

Die Scene Understanding-Komponente der Presence Platform wurde während der Connect 2021-Veranstaltung vorgestellt. Diese Technologie ermöglicht es Entwicklern, komplexe und szenenbezogene Mixed-Reality-Erlebnisse zu erstellen. Laut Wei Lyu, dem Produktmanager von Meta Quest Pro, wurde die Scene Understanding-Komponente des Unternehmens entwickelt, um Entwicklern zu helfen, sich auf den Aufbau ihrer Geschäfte und Erfahrungen zu konzentrieren.

„Wir haben Scene Understanding als Systemlösung eingeführt“, sagte Lyu.

Das Szenenverständnis ist in drei Bereiche unterteilt:

• Szenenmodell – Eine einzelne, umfassende, aktuelle und vom System verwaltete Darstellung der Umgebung, die aus geometrischen und semantischen Informationen besteht. Die grundlegenden Elemente eines Szenenmodells sind Anker. Jeder Anker kann an verschiedenen Komponenten befestigt werden. Beispielsweise ist das Wohnzimmer eines Benutzers um einzelne Anker mit semantischen Bezeichnungen wie Boden, Decke, Wände, Schreibtisch und Couch herum organisiert. Anker werden mit einer einfachen geometrischen Darstellung angebracht: einer 2D-Grenze oder einem 3D-Begrenzungsrahmen.
• Szenenerfassung – Ein systemgeführter Ablauf, mit dem Benutzer herumgehen und ihre Raumarchitektur und Möbel erfassen können, um ein Szenenmodell zu erstellen. In Zukunft wird das Ziel darin bestehen, eine automatisierte Version von Scene Capture bereitzustellen, bei der Menschen ihre Umgebung nicht manuell erfassen müssen.
• Szenen-API – Eine Schnittstelle, die Apps verwenden können, um auf räumliche Informationen im Szenenmodell für verschiedene Anwendungsfälle zuzugreifen, einschließlich Inhaltsplatzierung, Physik, Navigation usw. Mit der Szenen-API können Entwickler das Szenenmodell verwenden, um einen virtuellen Ball von einem physischen abprallen zu lassen Oberflächen im realen Raum oder ein virtueller Roboter, der die physischen Wände erklimmen kann.

„Scene Understanding verringert die Reibung für Entwickler und ermöglicht es ihnen, MR-Erfahrungen zu erstellen, die so glaubwürdig und immersiv wie möglich sind, mit Okklusions- und Kollisionseffekten in Echtzeit“, fügte Ray hinzu.

Räumliche Anker für die Platzierung virtueller Objekte

Entwickler können mit Spatial Anchors, einer Kernfunktion der Meta Quest Pro-Plattform, ganz einfach erstklassige Mixed-Reality-Erlebnisse erstellen. Beispielsweise kann ein Produktdesigner mithilfe einer Plattform wie Gravity Sketch problemlos mehrere 3D-Modelle in einem physischen Raum verankern, um eine nahtlose Umgebung für sein Produkt zu schaffen.

„Wenn stereoskopisches Farb-Passthrough und Szenenverständnis die Schwerstarbeit leisten, damit MR-Erfahrungen die physische und virtuelle Welt verschmelzen lassen, liefern unsere Verankerungsfähigkeiten das Bindegewebe, das alles zusammenhält“, sagte Meta-Produktmanagerin Laura Onu.

Zusammen mit dem Szenenmodell können Spatial Anchors verwendet werden, um reichhaltige und automatische Umgebungen für eine Vielzahl von Erfahrungen und Situationen zu erstellen. Sie können beispielsweise eine virtuelle Tür erstellen, die mit einer physischen Wand verbunden ist. Dies wäre ein großer Schritt für Unternehmen, die XR-Technologie für ihre Unternehmenslösungen in den Bereichen Digital Twinning, Lagerautomatisierung und sogar Robotik in Betracht ziehen.

Im Moment scheint es, als würde sich Meta mehr auf soziale Erfahrungen konzentrieren. „Indem Sie Scene Understanding mit Spatial Anchors kombinieren, können Sie Ihre MR-Erfahrungen mit der Umgebung des Benutzers verschmelzen und anpassen, um eine neue Welt voller Möglichkeiten zu schaffen“, so Onu, der hinzufügt: „Sie können ein Geheimagent in Ihrem eigenen Wohnzimmer werden , platzieren Sie virtuelle Möbel in Ihrem Zimmer oder skizzieren Sie eine Erweiterung für Ihr Zuhause, erstellen Sie Physikspiele und vieles mehr. “

Gemeinsame räumliche Anker für gemeinsame Erlebnisse

Darüber hinaus hat Meta die Funktion „Shared Spatial Anchors“ zur Präsenzplattform hinzugefügt. Auf diese Weise können Sie lokale Multiplayer-Erlebnisse erstellen, indem Sie Ihre Anker mit anderen Benutzern im selben Bereich teilen. Dies würde es Ihnen und anderen Freunden ermöglichen, ein VR-Brettspiel auf einem physischen Tisch zu spielen, genauso wie Tilt Five ihre Spielerlebnisse liefert.

Eine erfolgreiche Kombination für Mixed Reality

Die Kombination aus Spatial Anchors, Passthrough und Scene Understanding kann dazu beitragen, eine reichhaltige und interaktive Umgebung zu schaffen, die so konzipiert ist, dass sie wie die reale Welt aussieht und sich anfühlt. Avinav Pashine, Produktmanager von Meta Quest Pro, merkte an, dass bei der Schaffung einer großartigen und komfortablen Mixed-Reality-Umgebung für Benutzer viele Kompromisse eingegangen werden müssen.

Die Zukunft von Meta Reality entwickelt sich weiter, da das Unternehmen die Plattform durch Software-Updates und die Hardware-Innovationen, die in der nächsten Generation seiner Produkte bereitgestellt werden, kontinuierlich verbessert. Silveira Cabral, Produktmanagerin von Meta Quest Pro, stellte fest, dass das erste Produkt des Unternehmens ein wichtiger Schritt in der Entwicklung von Meta Reality ist.

„Wir wollen gemeinsam mit Entwicklern lernen, während sie überzeugende Erlebnisse schaffen, die neu definieren, was mit einem VR-Headset möglich ist. Diese Geschichte ist noch nicht vollständig – das ist nur Seite eins. “