Zo werkt de TrueDepth-camera van de iPhone X

Met de iPhone X introduceerde Apple een nieuwe manier om zijn smartphone te ontgrendelen. Face ID kan je identificeren aan de hand van de kenmerken van je gezicht. De gezichtsherkenning vervangt de vingerafdrukscanner op het toestel, die tegelijk ook de home-knop was. Het onderdeel werd opgeofferd om zo veel mogelijk ruimte te maken voor het scherm. De iPhone X is bijna compleet randloos, afgezien van een dunne inkeping bovenaan het scherm. Hier huist het TrueDepth-camerasysteem dat je gezicht leest en 3D-modellen van je hoofd maakt.

Scansysteem

TrueDepth bestaat uit verschillende componenten en sensoren. Centraal staat daarbij de ‘dot-projector’, een lens die meer dan 30.000 onzichtbare infrarood-stippen op je gezicht projecteert. Die stippen worden gefotografeerd door een infrarood-camera. De selfie-cameralens van 7 megapixels verzamelt ook visuele data over je gezicht en biedt gebruikers een spiegel om hun gezicht optimaal te oriënteren voor de scan. Via een proximity sensor detecteert het systeem het feit dat je je gezicht dichter bij het toestel brengt om te ontgrendelen.

Verder zijn er twee sensoren die erover moeten waken dat de scan zo zuiver mogelijk wordt genomen: de ambient light sensor en de flood illuminator. De ambient light sensor helpt het systeem om het lichtniveau van de scan zo uniform mogelijk te houden. De flood illuminator stelt Apple voor als een sensor ‘die helpt om je te identificeren in het donker’. Over hoe dat precies in zijn werking gaat heeft het bedrijf geen details gegeven, maar het woord flood verwijst naar een overstroming of stroom – waarschijnlijk zal in een situatie met weinig licht de selfie-camera meer infrarood gebruiken om de contouren van je gezicht te kunnen vastleggen.

Stippellijnen

De combinatie van de dot-projector en de infrarood-camera maken de creatie van een 3D-model van je gezicht mogelijk. Het is een gesofisticeerd systeem dat gestructureerd licht gebruikt. De infrarode dot projector zendt circa 30.000 stippen in een vast patroon uit. Die worden niet opgepikt door het menselijk oog, maar wel door de infrarode cameralens. Deze kan de vervormingen in het vaste patroon lezen, op basis van de reflectie van het licht. Hierdoor is het mogelijk om een accurate dieptescan van je gezicht te maken. De infraroodcamera stuurt de informatie door naar de Apple A11 Bionic-chip, die de scan vergelijkt met de bewaarde informatie en beslist of je gezicht matcht met de data in Face ID.

Kinect

De diepteberekening met behulp van infrarode dots is hetzelfde type systeem dat ook door de Kinect werd gebruikt, Microsofts bewegingssensor voor game-console Xbox die in 2010 op de markt kwam. Een grote verrassing is dat niet, aangezien Apple in 2013 PrimeSense overnam, het bedrijf dat de oorspronkelijke technologie achter de Kinect ontwikkelde. De Kinect werd bij zijn lancering geprezen als erg accuraat. De toepassing van het projectiesysteem veronderstelt de aanwezigheid van krachtige projectoren en sensors, waardoor je het lange tijd enkel terugvond in grotere behuizingen zoals de Kinect of op laptops. Apple is de eerste die erin is geslaagd om de technologie in smartphone-vorm te gieten.

TrueDepth versus RealSense

Googles Project Tango was een poging om geavanceerde 3D-scanning naar mobiele toestellen te brengen, maar Google heeft die technologie onlangs laten varen ten voordele van ARCore, een meer oppervlakkige maar gemakkelijker te integreren dieptesoftware. Met het wegvallen van Tango blijft er één bekende concurrent voor TrueDepth over: het Intel RealSense-systeem. Chipbakker Intel sleutelt al verschillende jaren aan zijn eigen 3D modelleringtechnologie. De voornaamste toepassing voor RealSense is Windows Hello, dat gezichtsherkenning via een Intel RealSense-camera ondersteunt. Deze camera’s vind je tot nu toe enkel terug op bepaalde laptops. Intel RealSense maakt echter gebruik van dezelfde dot-projectietechniek als Face ID, in principe zou het bedrijf het dus ook voor smartphones kunnen bouwen. Misschien dat Intels aankoop van Movidius, een bedrijf dat zich specialiseert in processors voor beeldanalyse, hier binnenkort kan renderen door RealSense-technologie op kleinere schaal te brengen.

Primeur

Apple mag dan de eerste zijn die een projectie-systeem toepast, het is zeker niet de eerste die gezichtsherkenning als een optie in zijn smartphone integreert. Concurrent Samsung gaat met die primeur lopen: de jammerlijk explosieve Samsung Galaxy Note 7 was het eerste toestel dat met geavanceerde gezichtsherkenning kon uitpakken. De technologie zit ook in de vlaggenschepen die Samsung dit jaar uitbracht, maar wordt gecombineerd met een vingerafdrukscanner en een irisscanner. Samsungs technologie voor gezichtsherkenning heeft echter geen smetteloze reputatie: tests wezen uit dat je de scanner om de tuin kan leiden met een foto van een persoon. Het feit dat je Face ID niet alleen gebruikt voor de ontgrendeling van de iPhone X maar ook voor betaal-optie Apple Pay, maakt dat het bedrijf sterke garanties moet geven over de veiligheid van het systeem. Het projectiesysteem maakt daar een deel van uit, maar waarschijnlijk houdt Apple nog wel iets extra achter de hand.

A11 Bionic

Apple zal sowieso verder moeten gaan dan een simpele analyse van een 3D-scan. Het verschil zal naar alle waarschijnlijkheid gemaakt worden met artificiële intelligentie. Het bedrijf integreerde met de A11 Bionic chip een processor met eigen neural engine in het toestel, dus de capaciteit is zeker aanwezig. Het is niet ondenkbaar dat de iPhone X de nuances van je gezichtsuitdrukkingen kan leren door de chip met deze informatie te trainen. Met die data bij de hand kan de CPU nog accurater aan de slag gaan en wordt bijvoorbeeld het misleidend gebruik van een foto of masker veel moeilijker. Hierdoor zal de processor ook de nodige calculaties kunnen maken wanneer je gezicht veranderingen vertoont – denk aan een bril, een baard of een hoed.

Veiligheidsmechanisme

Trouwens: je hebt misschien gelezen (of tijdens het livestreamen zelf gezien) dat Apple blunderde met Face ID bij zijn publieke presentatie van de  iPhone X. De functie weigerde te werken toen Apple-veteraan Craig Federighi het wilde demonstreren op het testmodel, waardoor de man een ander toestel moest halen. De oorzaak van die flater was een veiligheidsmechanisme. Blijkbaar hadden verschillende werknemers Face ID op voorhand proberen te testen op het demo-model. Na verschillende foute matches vergrendelt de smartphone zichzelf en kan je deze enkel ontsluiten met een pincode. Federighi had die code niet en moest dus een andere iPhone X gaan halen om zijn presentatie verder te zetten. De fout lag dus niet aan een technisch probleem: het was een feature.

Veiliger dan je vinger

Hoe veilig Face ID nu echt is zal pas te bepalen zijn wanneer onderzoekers de telefoon in handen krijgen en die functie kunnen uittesten. Er valt alleszins al één ding in het voordeel van gezichtsherkenning te zeggen: het is veiliger dan je vingerafdruk. Je hebt een kans van 1 op 50.000 dat iemand met een gelijkaardige vingerafdruk de technologie op je smartphone kan verwarren. Volgens Apple verkleint het risico op een valse identificatie naar 1 op 1.000.000 wanneer je gebruikt maakt van hun gezichtsscanner. Dat is een verbetering van de accuraatheid met factor 20, dus niet mis. Je kan ervan uitgaan dat Apple de optie ook in de opvolgers van de iPhone X zal steken, en misschien maakt Face ID de sprong naar andere Apple-producten. Sowieso: ook wie niet regelmatig een selfie trekt, zal er aan moeten wennen om in de lens van zijn iPhone te kijken.