Mixed reality: hoe ver staat de technologie?

Na virtual en augmented reality spreken steeds meer bedrijven ook over mixed reality. Deze technologie bouwt verder op de bestaande augmented reality-technologie om een betere integratie tussen de virtuele en de echte wereld te verzorgen. Waar je bij virtual reality de echte wereld volledig buitensluit en bij augmented reality simpelweg extra informatie ziet bovenop echte beelden, is de echte en virtuele wereld bij mixed reality volledig met elkaar verbonden. Je kan interageren met de speciale realiteit en zowel de fysieke als virtuele omgeving manipuleren.

Combinatie

Augmented reality bestaat uit een breed spectrum van applicaties, gaande van spellen als Pokémon Go tot gesofisticeerde rondleidingen langs virtuele meubels. Mixed reality omvat dezelfde applicaties én voegt hier nog virtuele omgevingen als context voor fysieke objecten aan toe. Je gaat bijvoorbeeld naar een showroom van toestellen en ziet hoe een oven past in een model van je keuken.

AR-bedrijven gebruiken de term ‘mixed reality’ voornamelijk om schermen te beschrijven die je bevestigt aan je hoofd en je een combinatie van virtuele content en de echte wereld tonen doorheen bijna doorzichtige glazen. Samengevat is mixed reality dus een combinatie van de beste delen van augmented en virtual reality in één toestel. Ondanks het feit dat veel fabrikanten over mixed reality spreken, zijn we echter nog ver af van een toestel die zich probleemloos van deze taak kwijt.

Nicheproduct

Net als virtual reality hebben mixed en augmented reality moeite om door te breken buiten nichemarkten en unieke succesverhalen zoals Pokémon Go. Toch kent augmented reality in vergelijking met de andere realiteiten een groter succes. De technologie werd twee jaar geleden al gebruikt door een honderdtal commerciële en industriële applicaties. AR wordt gebruikt in high-end militaire producten en fabrikanten bieden een volledige infrastructuur aan die augmented reality ondersteunt.

Google is echter het bedrijf dat voor de grootste doorbraak zorgt in de branche met behulp van Project Tango. Het platform is beschikbaar voor ontwikkelaars en Lenovo en Asus hebben een smartphone uitgerust met de technologie. De Phab2 Pro van Lenovo is jammer genoeg niet speciaal genoeg om de populariteit van augmented reality een boost te geven. Het toestel van Asus ondersteunt zowel VR als AR, met Google Tango- en Daydream-integratie. Voorlopig is de prijs van het toestel nog niet bekend. Afhankelijk van de kwaliteit van de smartphone kan Asus beide realiteiten een duwtje in de rug geven.

Tango

Tango is een platform dat gebruikmaakt van computerzicht om te begrijpen waar een toestel zich bevindt in de wereld. Je kan het best vergelijken met hoe wij onze ogen gebruiken om de weg te vinden naar een kamer en hoe we daarna weten waar we ons in deze kamer bevinden door naar de voorwerpen om ons heen te kijken. Tango geeft mobiele toestellen deze vaardigheid met behulp van drie kerntechnologieën: Motion Tracking, Area Learning en Depth Perception.

Motion Tracking

Toestellen met Project Tango gebruiken een fisheye-camera om de wereld om zich heen te bekijken. De technologie detecteert details, zoals randen en hoeken, in de afbeelding en houdt in de gaten hoeveel deze details tussen frames bewegen. Deze techniek wordt ook weleens ‘feature tracking’ genoemd. Verder gebruiken smartphones een gyroscoop en accelerometers om te meten hoe snel en in welke richting het toestel zich beweegt. Project Tango voert alle berekeningen op je smartphone zelf uit en doet dit zo’n honderd keer per seconde. Hierdoor verkrijg je een soepele ervaring.

Area Learning

Met alleen Motion Tracking detecteert je toestel welke bewegingen hij maakt en waar hij zich bevindt, maar heeft hij geen geheugen van de dingen die hij ziet. Area Learning geeft een toestel de mogelijkheid om belangrijke visuele details te zien en te onthouden. Hierdoor kan een toestel een ruimte later weer herkennen.

Project Tango bewaart een mathematische beschrijving van details in een doorzoekbare index. Denk hierbij aan de hoeken van een kamer, randen van een vensterbank en andere visuele details. Een toestel kan de dingen die hij ziet snel koppelen aan de omschrijvingen in de index.

Depth Perception

Ten slotte geeft Google zijn software Depth Perception mee, waardoor toestellen weten wat de afstand is tot objecten in de echte wereld. Fabrikanten kunnen deze functie op verschillende manieren implementeren. Ze kunnen gebruik maken van een infraroodprojector en –sensor om objecten te detecteren. De projector stuurt een puntenpatroon uit dat wordt bekeken door de sensor. Zijn de punten groot, dan is het object ver weg. Kleine punten wijzen daarentegen op een object in de buurt. Ook kan de tijd die het duurt alvorens het reflectiesignaal terugkeert als parameter gebruikt worden.

Depth Perception is interessant voor augmented reality, aangezien je in een spel bijvoorbeeld wilt weergeven wanneer een speler bijna tegen een muur of een ander object botst. Ook kan je Depth Perception combineren met Motion Tracking, zodat een toestel de afstand tussen twee punten in een gebied kan berekenen, zonder dat beide punten in het frame zitten.

Field of View

Mixed reality kan verder bouwen op de bestaande technologie, zoals Project Tango, en hier een completere beleving van maken. De huidige technieken schieten echter nog tekort. Een eerste probleem waarmee mixed reality te maken heeft, is een beperkt gezichtsveld – ook wel bekend als Field of View. Wie al eens een Microsoft Hololens heeft uitgeprobeerd, zal kunnen beamen dat de ervaring indrukwekkend is, maar nog beter zou zijn indien het schermpje met virtuele informatie groter was. Mensen hebben een vrij breed gezichtsveld, waardoor we het niet gewend zijn om continu ons hoofd te draaien om alles te kunnen zien.

Virtual reality-brillen hebben een breder gezichtsveld, maar om deze schermen aan te sturen is een krachtige computer nodig. Een verbinding met een grote bandbreedte tussen een mixed reality-toestel en een pc is dan ook noodzakelijk.

Integratie

Om van mixed reality een succes te maken, moet de integratie tussen de echte en virtuele wereld beter zijn. Fabrikanten tonen bij augmented reality simpelweg extra informatie op een scherm. Voorlopig is dat voldoende om producten te verkopen, maar het wordt steeds duidelijker dat een doorbraak van de verschillende reality-technologieën op zich laat wachten. Wanneer je een voorwerp in de echte wereld kunt aanwijzen, daar een virtuele kopie van kan maken en een kamer kunt vullen met deze producten, zal mixed reality en zijn verwanten een boost krijgen. De verschillende technieken die Google gebruikt, zijn een goed begin om voor een integratie tussen beide realiteiten te zorgen. In de toekomst zullen nieuwere technieken voor een nog nauwer samenspel tussen de echte en virtuele wereld zorgen.