AI verslaat moeilijkste Atari-spel dankzij nieuwsgierigheid

Deepmind, een bedrijf van Google dat gespecialiseerd is in artificiële intelligentie, haalde eerder dit jaar het wereldnieuws nadat het de wereldkampioen Go wist te verslaan met een AI. Go is een Chinees spel, waarbij het aantal mogelijke zetten exponentieel toeneemt. Dit maakt het spel voor artificiële intelligentie een stuk moeilijker dan schaken en zorgt ervoor dat een rauwe brutekracht-aanpak zinloos is.

Door het toepassen van een slim algoritme slaagde de AI, AlphaGo genaamd, er echter in het spel zo goed onder de knie te krijgen dat het Go-kampioen Lee Se-Dol kon verslaan. In plaats van te genieten van deze indrukwekkende overwinning, schotelde DeepMind zijn artificiële intelligentie nieuwe uitdagingen voor in de vorm van Atari-spellen. 49 van de 50 spellen leerde de AI zichzelf zonder problemen aan. Enkel Montezuma’s revenge bleek (initieel) te hoog gegrepen.

Montezuma’s revenge

Het klassieke Atari-spel bestaat uit drie levels die telkens zijn opgebouwd uit 24 kamers in een piramidevorm. In de kamers dien je schedels en vallen te ontwijken, sleutels te verzamelen en deuren naar nieuwe kamers te openen.

Aangezien de uitdagingen veelvuldig zijn en de beloningen slechts schaars, slaagde de AI er initieel niet in om ook maar één punt te scoren. De robot beperkte zijn activiteiten slechts tot twee kamers en sprong meermaals naar zijn eigen dood.

Nieuwsgierigheid

Na een grondige analyse van de speelstijl van de AI, kwam DeepMind tot de conclusie dat zijn robot een essentiële menselijke karaktertrek miste: nieuwsgierigheid. De AI was immers niet nieuwsgierig genoeg om de verschillende kamers te verkennen.

De wetenschappers voegde op basis van deze bevinding een nieuw beloningssysteem toe, dat in het vakjargon ‘intrinsieke motivatie’ wordt genoemd. In combinatie met het verkenningssysteem dat al in de algoritmes van de AI vervat zaten, kreeg de robot hierdoor de wil om rond te kijken in het spel en op ontdekking te gaan.

Het resultaat mag er zeker zijn: de robot verkende na vijftig miljoen frames 15 kamers en haalde een gemiddelde score van 2461. Na honderd miljoen frames haalde de AI van DeepMind zelfs een score van 3439 punten.

Echte wereld

Indien DeepMind erin slaagt zijn algoritmes verder te perfectioneren, zouden we in de toekomst wel eens robots kunnen tegenkomen die op eigen houtje de echte wereld verkennen. Aangezien een fysieke robot geen oneindig aantal levens heeft, heeft het bedrijf van Google wel nog een lange weg te gaan.