Google’s artificiële intelligentie probeert vals spelen

Google publiceert een paper die werd opgesteld door verschillende medewerkers van Googles artificiële intelligentie (AI)-afdelingen. De paper gaat dieper in op het eeuwige debat over de risico’s van intelligente machines. Google bekent dat er zich al concrete problemen hebben voorgedaan, en zoekt oplossingen.

Problemen concreet maken

De paper was het gevolg van een samenwerking tussen medewerkers
van Googles Open AI en Google Brain, samen met de universiteiten van Stanford en Berkley. Verschillende veiligheidsproblemen omtrent AI worden blootgelegd, en de wetenschappers presenteren ook mogelijke oplossingen. Chris Olah van Google Brain legt uit:

“Eerdere debatten over veiligheid en AI waren vooral hypothetisch en speculatief, maar wij geloven dat het essentieel is om de bezorgdheden omtrent zelflerende systemen hard te maken. Het is de bedoeling dat we een praktische aanpak vinden voor de ontwikkeling van AI-systemen zodat ze veilig en betrouwbaar kunnen handelen”, aldus Olah.

DeepMind

De paper behandelt dus accidenten die zich al hebben voorgedaan bij zelflerende systemen. Het gaat dus niet zozeer om de ethische, economische en politieke consequenties die AI met zich mee kunnen brengen. Het bedrijf legt ook zijn ambitie omtrent AI bloot. Google wil naar eigen zeggen simpelweg dat huishoudens op termijn over een slimme assistent zullen kunnen bezitten.

De focus ligt vooral op zelflerende systemen zoals die van Googles DeepMind-afdeling. DeepMind haalde in het verleden al meermaals het nieuws wanneer AI-algoritmen de wereldkampioen in het Chinese spel Go versloegen, of wanneer ze aan het gamen sloegen met Atari-spellen en zelf voetbal leerden spelen.

Straffen en belonen

Google past bij DeepMind het zogenaamde reinforcement learning toe. In het Nederlands heet dat bekrachtigingsleren. Bekrachtiging is een term uit de psychologie die stelt dat een leerproces versneld kan worden aan de hand van straffen en belonen. Wetenschappers van Google passen voor hun algoritmes dus letterlijk het digitale equivalent van straffen en belonen toe.

Dat dat een heel effectieve methode is voor AI, bleek al bij de 50 old school­ Atari-spellen die DeepMind al doorworstelde. Op een bepaald moment stuitte Googles zelflerende algoritmes op Montezuma’s revenge, een spel waarin ze maar bleven falen. Toen pasten wetenschappers het belonen toe, en het resultaat was ronduit indrukwekkend. Zonder het beloningssysteem verkende DeepMind slechts twee kamers van de 24  die het spel bevatte, en het scoorde geen enkel punt. Met gebruik van beloningen werden 15 kamers uitgespit na 15 miljoen frames, en scoorde het gemiddeld 2461 punten.

Valsspelers

Een voorbeeld van een accident deed zich voor bij een schoonmaakrobot die beloond werd als het troep
schoonmaakte. Wat ging er fout? De robot begon zelf meer rommel te creëren. Vazen vlogen tegen de grond. De robot was namelijk maar op één ding gefocust: Beloont worden door rommel op te ruimen.

Een ander fenomeen waar DeepMind-wetenschappers al mee te maken kregen, was dat zelflerende machines aan het hacken kunnen slaan om zo hun beloning te krijgen. Een AI-systeem dat een software-bug in het ganse beloningsysteem tegenkomt, ziet zo’n fout niet al valsspelen. Voor de algoritmes is het gewoon één van de mogelijke manieren om het doel te bereiken.

Onstopbare hackers

Volgens de wetenschappers uit de paper buiten zelflerende algoritmes vandaag al volop foutjes en haperingen uit om te kunnen winnen in videospellen. “Eens een AI-systeem begint met het hacken van zijn beloningssysteem, en zo een manier zoekt om een hoge beloning te behalen, heeft hij niet de neiging om ermee te stoppen”, zo luid het in Googles paper. “Dat levert extra uitdagingen op voor systemen die op lange termijn moeten kunnen functioneren.”

In de paper worden er ook verschillende oplossingen besproken om het hacken van beloningen tegen te gaan. Één ervan is een manier waarop het beloningssysteem zelf ook met AI wordt uitgerust. Op die manier kan het leren om het hackende AI-systeem te slim af te zijn.

Sandboxing

Een andere mogelijke methode is om een soort van ‘alarmerende functie’ in te schakelen. Als de algoritmes dan aan het hacken wil slaan, gaat er daarbij het digitale equivalent van een alarmsysteem af waardoor de valsspeler wordt teruggefloten. Wetenschappers twijfelen wel nog of sommige systemen mogelijk een manier zullen vinden om ook
die ‘alarmen’ te omzeilen.

In een andere aanpak wordt er gepraat over ‘sandboxing’. Dat is een klassieke methode die vaak wordt gebruikt in de wereld van de beveiligingssoftware. Veel browsers maken bijvoorbeeld gebruik van sandboxing om te voorkomen dat malware je ganse pc kan aantasten. Door alle activiteiten en rechten binnen een activiteit zo beperkt mogelijk te houden, wordt er voorkomen dat het groter geheel kwetsbaar is.

Gevaar vermijden

“Het probleem volledig vermijden, lijkt een moeilijke zaak”, zo luidt het in de paper. “Toch geloven we dat we via deze methodes wel in staat zullen zijn om de toestand te verbeteren.”

Andere zaken die nog in de paper behandeld werden, gingen over het in toom houden van AI systemen op een grote schaal. Daarnaast spraken de onderzoekers ook over manieren waarop AI-algoritmes volop nieuwe dingen zouden kunnen uitproberen zonder mensen in gevaar te kunnen brengen. Een ander belangrijk punt gaat over hoe een zelflerend systeem moet ontdekken, en hoe het moet handelen, als het in een omgeving terecht komt waar het niet initieel voor ontwikkeld werd.