Shall we play a game? – De grenzen van AI

War games

Zelf ben ik van een leeftijd dat ik bij AI, naast de match tussen Deep Blue en Kasparov, vrij snel denk aan de cultklassieker War games. Deze film is uit 1983 en toen was ik 11, dus ik heb hem in ieder geval niet in de bioscoop gezien. Waarschijnlijk heb ik ‘m eind jaren 80 op TV gezien en was ik best onder de indruk. Als voorbereiding op dit blog heb ik de film onlangs opnieuw bekeken en ik moet zeggen dat de film nog prima te doen is.

In het kort de synopsis van de film; een jonge whizzkid, David Lightman, is op zoek naar de server van een maker van computerspelletjes om als eerste de nieuwste spelletjes te pakken te krijgen. Dat ging in die tijd nog met inbelmodems over een telefoonlijn. Per ongeluk komt hij terecht op een server van het ministerie van Defensie, genaamd WOPR (War Operation Plan Response). Ook toen werd al eerst het acroniem bedacht en daarna de betekenis.

Na een simulatie waarbij uiteindelijk mensen weigerden de kernraketten af te vuren, was de gedachte van dit project om de mens uit de keten te halen. WOPR draaide continu simulaties en leerde daarbij van de uitkomsten. Uiteindelijk kon de server dan ook de beslissingen nemen en uitvoeren waar mensen blijkbaar niet toe in staat waren.

WOPR vroeg David of hij een spelletje wilde spelen (Shall we play a game?). David koos voor Global Thermonuclear War en nam de kant van de Sovjet Unie. In de film blijkt dat bijna fatale gevolgen te hebben. De server herkende het verschil tussen spel en werkelijkheid niet en besloot om echt raketten af te gaan vuren in een poging te winnen.

Grensoverschrijdend

Maar wij kennen dat natuurlijk ook, denk aan de toeslagenaffaire en allerlei automatische screenings waarbij het systeem behoorlijke vooroordelen blijkt te hebben. Een AI-systeem is zo goed als de data waar het mee gevoed wordt.

Met dit in gedachten lijkt het me een goede zaak om duidelijk grenzen te stellen aan wat een AI-systeem mag. Dat geldt niet alleen voor het afvuren van kernraketten, maar bijvoorbeeld ook voor de toegankelijkheid van gegevens. Die grenzen heb ik ook wel vangrails horen noemen. Ik denk dat die term de lading aardig dekt, zorgen dat de AI op het juiste pad blijft.

Beheer

Ik hoor je denken, is dat nou beheer? Absoluut! Als beheerder is het ook je verantwoordelijkheid om als een soort geweten te fungeren. Als een project doordraaft in alle mogelijkheden die er zijn, is de beheerder bij uitstek degene die gaat vragen wat de grenzen zijn. En als die zijn gesteld, dan is de beheerder ook degene die deze kan bewaken.

Voorbeeld: stel je voor dat het inloggen bij een bedrijf beschikbaar is door het met een door AI gegenereerde website te benaderen. Zou jij je inloggegevens aan de AI geven? Weet je wat die er mee doet? Kan iemand anders die gegevens er weer uithalen? Hoe weet je zeker wie of wat je aan de andere kant hebt?

Een ander voorbeeld: om snel informatie te zoeken kun je alle documentatie, handleidingen, incidenten, changes, user stories enz. gebruiken om de AI te trainen en deze doorzoekbaar te maken door vragen te stellen. Ideaal voor beheerders! En zolang de doelgroep van deze informatie helder is, is er geen probleem. Als dit ook voor klanten beschikbaar is, dan wil je absoluut grenzen stellen aan de antwoorden die gegeven kunnen worden. Een vraag over hoe de security is ingericht zou ik niet direct aan een klant beantwoorden.

En dan hebben we het nog niet gehad over het testen van zoiets. In het testen wordt AI al wel gebruikt voor het genereren van testgevallen en het uitvoeren hiervan. Maar als de code is gegenereerd door AI, hoe ga je dat dan testen? En hoe voorkom je dat je de tool test in plaats van de gegenereerde code. Misschien door voor het testen een ander AI-systeem te gebruiken dan voor het genereren van de code? Eerlijk gezegd ben ik hier nog niet helemaal uit.

De film (spoiler alert!)

Maar hoe liep het nou af met de film? Uiteindelijk bedenkt David om een simulatie op boter-kaas-en-eieren te draaien. Al snel komt WOPR tot de conclusie dat er geen winnaar kan zijn en legt dan de link naar Global Thermonuclear War, ook dat spel kan geen winnaar hebben. Waarop WOPR besluit om geen raketten af te vuren. Als we dat punt toch eens zouden kunnen bereiken.