Hoe Microsoft AI-algoritmes op een minuscule Arduino propt

Kleine slimme apparaten zijn uit zichzelf erg dom. Ze staan immers simpelweg in verbinding met het internet, waarna de machine learningkant van de toestellen in de cloud wordt uitgevoerd. De toestellen zelf bevatten slechts sensoren en sturen de verzamelde data uit over het internet. Microsoft wil hier verandering in brengen. Het bedrijf werkt aan manieren om AI-algoritmes op de toestellen zelf te laten werken en hoopt de software zo eenvoudig te maken dat iedereen met artificiële intelligentie aan de slag kan gaan.

Cloud

Huidige machine learningtechnieken worden veelal in de cloud uitgevoerd, omdat ze te veel rekenkracht en opslagruimte vragen voor kleine IoT-toestellen. Microsoft stelt zich echter een toekomst voor waarin de toestellen zelf de nodige kennis bezitten om sensordata te verwerken. “Wanneer je rijdt op een snelweg en je hebt geen internetverbinding, wil je niet dat je implantaat stopt met werken,” legt Manik Varma van Microsoft uit.

Om aan dat probleem een einde te maken, zoeken ingenieurs van Microsoft op twee manieren naar algoritmes die minder rekenkracht vragen. In de eerste plaats houden de wetenschappers een top-downmethode aan, waarbij ze bestaande machine learningalgoritmes comprimeren. Verder bouwen ze nieuwe algoritmes van de grond op, waarbij ze vanaf het begin rekening houden met de beperkte rekenkracht van sommige IoT-toestellen.

Comprimeren

Veel machine learningmodellen die worden gebruikt, zijn deep neural netwerken, waarbij onze hersenen worden nagebootst. Microsoft gebruikt verschillende technieken om de deze netwerken te comprimeren. Eén van deze technieken heet ‘weight quantization’ en zorgt ervoor dat de parameters van een netwerk slechts in een paar bits kunnen worden bewaard, in plaats van de standaard 32 bits.

“We kunnen meer parameters stoppen in een kleinere opslagruimte en de computer kan deze parameters veel sneller verwerken,” zegt Ofer Dekel van Microsoft. Een neuraal netwerk dat gecomprimeerd is werkt 20 keer sneller en behoudt dezelfde accuraatheid als hetzelfde netwerk zonder compressie.

Arduino Uno

Met behulp van compressietechnieken maak je bestaande algoritmes tien tot honderd keer kleiner. Wanneer je de software wil gebruiken op toestellen met de kleinste ARM-processors moet de software echter 1.000 tot 10.000 keer kleiner worden. Door eenvoudigweg bestaande algoritmes te verkleinen, kom je er niet; Microsoft moet volledig nieuwe algoritmes bedenken.

Om erg kleine AI-algoritmes te creëren, concentreren de teamleden van Microsoft zich elk op een specifiek domein. De ene ingenieur houdt zich bezig met het maken van een algoritme voor hersenimplantaten. Een andere ingenieur werkt daarentegen aan het detecteren van afwijkingen in bijvoorbeeld een jetmotor.

Het kleinste toestel waarop het team zich concentreert, is de Arduino Uno. De Uno is een single-boardcomputer met slechts 2 kilobyte RAM. Microsoft creëert machine learningmodellen voor eenvoudige taken als het beantwoorden ja-neevragen.

Iedereen

Microsoft wil AI-technologie niet alleen lichter maken, maar wil er eveneens voor zorgen dat iedereen met de technologie aan de slag kan gaan. “Iedereen die een Raspberry Pi bezit, zou in staat moeten zijn een AI te creëren,” vertelt Dekel. “Vandaag zijn slechts erg weinig hobbyisten hier in staat.”