Testsysteem vindt duizenden fouten in autonome wagens

Het neurale netwerk van een deep learning-systeem wordt voorlopig niet volledig begrepen door wetenschappers, ondanks het feit dat ze er volop gebruik van maken. Hierdoor is het erg moeilijk om fouten te ontdekken in dergelijke software. Enkele wetenschappers hebben een foutdetectiesysteem uitgevonden dat zelfs in het geheimzinnige netwerk van deep learning-systemen fouten kan opsporen.

Black box

Wetenschappers maken een deep learning-systeem door de software van de nodige trainingsdata te voorzien. Het systeem leert zichzelf vervolgens aan hoe hij zijn taak correct moet volbrengen. Het netwerk aan artificiële neuronen dat hierbij ontstaat, is een black box dat we niet volledig begrijpen. We weten slechts welke data het systeem als input krijgt en hoe hij hierop reageert. Waarom hij tot deze beslissingen komt, is echter een raadsel.

Doordat we niet goed weten wat er zich afspeelt in de black box van deep learning-systemen is het erg moeilijk om fouten in de software op te sporen. Testmethodes die voor klassieke software worden gebruikt, zijn ontoereikend voor deep learning. Bij onder andere autonome wagens kan dat gevaarlijke gevolgen hebben.

Testmethodes

Een team wetenschappers van de Lehigh en Columbia University hebben een testsysteem ontwikkeld dat je wel voor deep learning-systemen kan gebruiken. Volgens hen hebben ze de eerste geautomatiseerde white-boxtest voor deep learning-systemen gecreëerd.

“Ons DeepXplore-werk stelt de nieuwe testwaarde die ‘neurondekking’ wordt genoemd voor. Hiermee kunnen we begrijpen of een inputset zorgt voor slechte of goede dekking voor de beslissingslogica en het gedrag van een deep neural-netwerk,” legt Yinzhi Cao van de Lehigh University uit.

Verder hebben de onderzoekers een manier uitgewerkt om een klassieke testmethode – differential testing – op neurale netwerken toe te passen. Het team paste de verschillende testmethodes toe op echte datasets van zelfrijdende auto’s en ontdekte duizenden verkeerde reacties op bochten. De wetenschappers hebben hun software publiek gemaakt en zullen de gedetailleerde resultaten binnenkort met de wereld delen. Op deze manier kunnen autofabrikanten hun software bijschaven alvorens zelfrijdende auto’s gemeengoed worden.