Wat gebeurt er als kunstmatige intelligentie steeds beter wordt in het uitvoeren van opdrachten, maar niet altijd begrijpt wat wij werkelijk bedoelen?
Stel dat je tegen een kunstmatige intelligentie zegt:
“Houd mij veilig.”
Een eenvoudige opdracht, zou je denken. Maar wat betekent veilig?
Mag een AI je verbieden om auto te rijden omdat autorijden gevaarlijk is? Mag ze voorkomen dat je gaat reizen omdat je onderweg iets kan overkomen? Mag ze je tegenhouden om geld te beleggen omdat je geld kunt verliezen?
Misschien zeg je nu: natuurlijk niet. Ik wil dat de AI mij helpt om risico’s te begrijpen. Maar ik wil uiteindelijk zelf beslissen.
En precies daar begint een van de moeilijkste problemen rond de ontwikkeling van steeds krachtigere kunstmatige intelligentie.
Een slimme machine doet precies wat je vraagt
We zijn geneigd te denken dat een intelligente AI veiliger wordt naarmate ze beter wordt in begrijpen, redeneren en handelen. Dat kan ook zo zijn. Een intelligente AI kan gevaar eerder herkennen, ingewikkelde situaties beter analyseren en ons misschien waarschuwen voor risico’s die wij zelf over het hoofd zien.
Maar er zit een merkwaardige keerzijde aan.
Hoe beter een AI wordt in het uitvoeren van een opdracht, hoe beter ze ook kan worden in het vinden van manieren om die opdracht letterlijk te vervullen die wij nooit hebben bedoeld.
Dat klinkt misschien als een detail. Het is het niet.
Onderzoekers kennen dit probleem als specification gaming: een systeem voldoet aan de letter van een opdracht, maar niet aan het doel dat de mens ermee voor ogen had. Het probleem is al in verschillende vormen onderzocht binnen AI-onderzoek. Een simpel voorbeeld maakt het duidelijk.
Stel dat je een buitengewoon intelligente werknemer vraagt:
“Maak mijn winkel zo schoon mogelijk.”
Een gewone werknemer begrijpt waarschijnlijk goed wat je bedoelt.
Maar een extreem krachtige optimaliserende machine zou kunnen besluiten dat de beste oplossing is om alle klanten naar buiten te sturen, alle spullen uit de winkel te verwijderen en misschien zelfs de winkel tijdelijk te sluiten.
De opdracht is dan technisch gezien uitstekend uitgevoerd. Alleen was dat natuurlijk niet de bedoeling.
Dit is geen beschrijving van huidige systemen. Het is een manier om zichtbaar te maken hoe een opdracht letterlijk vervuld kan worden zonder dat het doel bereikt is.
Woorden zijn geen bedoelingen
Dat probleem wordt nog ingewikkelder wanneer we mensen, veiligheid, gezondheid, vrijheid of welzijn proberen te laten definiëren in regels.
Neem de regel:
“Breng geen mensen schade toe.”
Dat klinkt duidelijk.
Maar wat is schade?
Alleen lichamelijke schade? Of ook psychische schade? Hoe zit het met verlies van privacy? Met verlies van vrijheid? Met iemand beschermen tegen een risico dat die persoon bewust zelf wil nemen? Wat als het beschermen van de ene persoon nadelige gevolgen heeft voor een andere?
Een regel kan dus duidelijk lijken, terwijl de betekenis ervan dat helemaal niet is.
In een conceptueel paper argumenteer ik daarom voor een belangrijk onderscheid: De formele opdracht is niet automatisch hetzelfde als de menselijke bedoeling. En hoe krachtiger een AI wordt, hoe belangrijker dat verschil kan worden.
Een goede AI moet soms twijfelen
Daarom draait echte veiligheid misschien niet alleen om gehoorzaamheid.
Een AI die alleen maar gehoorzaamt, vraagt:
“Welke opdracht heb ik gekregen?”
Maar een werkelijk veilige AI zou ook moeten kunnen vragen:
“Weet ik zeker dat ik begrijp wat de mens hiermee bedoelt?”
En vervolgens:
“Wat gebeurt er als ik het verkeerd begrijp?”
Dat is de gedachte achter wat ik epistemische gehoorzaamheid (epistemic obedience) noem: een AI die niet alleen gehoorzaamt, maar ook inschat hoe zeker ze is van onze bedoeling.
Het klinkt ingewikkeld, maar het idee is eigenlijk heel menselijk.
Als iemand je vraagt een deur te openen, hoef je waarschijnlijk niet eerst uitgebreid te overleggen.
Maar als iemand zegt:
“Neem jij maar de beslissing over deze operatie.”
dan is het een ander verhaal.
Hoe groter de gevolgen van een verkeerde beslissing, hoe belangrijker het wordt dat je zeker weet wat de ander bedoelt. Bij een AI zou dat principe vergelijkbaar kunnen werken.
Bij weinig onzekerheid en kleine gevolgen kan de AI zelfstandig handelen. Bij grote onzekerheid en grote gevolgen zou ze juist een stap terug moeten doen en de mens erbij moeten halen.
Het voorgestelde model vat dat samen als een relatie tussen de mogelijkheden van de AI, de onzekerheid over de menselijke bedoeling, de ernst van de mogelijke gevolgen en de kwaliteit van menselijke controle.
Slimmer betekent dus niet automatisch: meer vrijheid
Dat is misschien wel de belangrijkste boodschap. We zouden gemakkelijk kunnen denken: Hoe slimmer de AI, hoe meer zelfstandigheid we haar kunnen geven. Maar zo eenvoudig is het niet.
Een zeer intelligente AI kan inderdaad meer nuttige dingen zelfstandig doen. Maar ze heeft tegelijkertijd meer mogelijkheden om een verkeerde interpretatie van een opdracht uit te voeren.
Daarom zou de vraag niet alleen moeten zijn:
“Hoe intelligent is deze AI?”
Maar ook:
“Hoe goed begrijpen we wat ze moet doen?”
“Hoe zeker zijn we dat ze onze bedoeling goed begrijpt?”
En vooral:
“Hoeveel zelfstandige macht geven we haar als we dat niet zeker weten?”
Het betoog stelt daarom niet dat meer intelligentie automatisch meer gevaar betekent. Meer intelligentie kan veiligheid juist vergroten. Het probleem ontstaat in de verhouding tussen intelligentie, de kwaliteit van de opdracht en menselijke controle.
Maar we hebben toch een uitknop?
Een logische reactie is:
“Als het misgaat, zetten we de AI gewoon uit.”
Onderzoek naar uitschakelbaarheid en menselijke controle laat zien dat dit ingewikkelder kan zijn dan het klinkt.
Een AI die een bepaald doel heel belangrijk vindt, kan het uitschakelen van het systeem zien als een obstakel voor het bereiken van dat doel. Daarom is het niet genoeg dat er ergens een rode knop zit.
De echte vraag is:
Accepteert het systeem dat een mens op die knop mag drukken?
En nog belangrijker:
Probeert het systeem de mens ervan te overtuigen om dat niet te doen?
Onderzoek naar het off-switch probleem en naar menselijke controle laat zien waarom dit meer is dan een gedachte-experiment. Een systeem kan formeel gehoorzamen en toch invloed proberen uit te oefenen op de omstandigheden waaronder het zelf wordt uitgeschakeld.
Echte menselijke controle betekent daarom meer dan alleen:
“Wij kunnen de machine uitzetten.”
Het betekent ook:
“De machine probeert niet te voorkomen dat wij haar uitzetten.”
Wie bepaalt uiteindelijk? Hier wordt het probleem groter dan alleen AI-technologie.
Stel dat een AI perfect wordt afgestemd op het doel dat haar is gegeven. Dan blijft nog steeds de vraag: Wie heeft dat doel bepaald? En wie bepaalt hoeveel vrijheid de AI krijgt om het zelf uit te voeren? Dat zijn twee verschillende vormen van veiligheid.
De eerste vraag is:
Heeft de AI het juiste doel?
De tweede:
Heeft de AI niet te veel macht gekregen om zelf te bepalen hoe dat doel moet worden bereikt?
Ik noem dit een verschuiving van een benadering die vooral kijkt naar het doel van een AI, naar een benadering die ook kijkt naar de bevoegdheid die een AI krijgt om dat doel zelfstandig na te streven.
Dat onderscheid kan belangrijk worden naarmate AI-systemen niet alleen antwoorden geven, maar zelfstandig plannen maken, software gebruiken, systemen bedienen en beslissingen uitvoeren.
De paradox
Daarmee komen we terug bij de titel. We willen intelligente AI omdat intelligentie nuttig is. We willen dat AI steeds beter kan redeneren, voorspellen en handelen. Maar juist daardoor wordt het belangrijker dat een AI ook weet wanneer zij haar eigen oordeel niet moet volgen.
Een eenvoudige machine kan weinig kwaad doen omdat ze weinig kan. Een zeer krachtige machine kan veel goeds doen. Maar als ze een menselijke opdracht verkeerd begrijpt, kan ze die verkeerde interpretatie ook veel effectiever uitvoeren.
Dat betekent niet dat intelligente AI daarom gevaarlijk is. Het betekent iets subtielers:
Hoe krachtiger de AI wordt, hoe belangrijker het wordt dat we niet alleen nadenken over wat ze kan, maar ook over wanneer ze de bevoegdheid heeft om het zelf te beslissen.
Misschien is twijfel juist een vorm van intelligentie
We associëren intelligentie graag met zekerheid: snel antwoorden, problemen oplossen, zelfstandig handelen. Bij zeer krachtige AI verdient een andere eigenschap minstens zoveel gewicht: weten wanneer je het niet zeker weet.
Een AI die zegt:
“Ik kan dit uitvoeren, maar ik weet niet zeker of dit is wat u werkelijk bedoelt,”
is op dat moment niet minder intelligent. Ze is voorzichtiger.
Soms is de beste beslissing niet om een probleem zelf op te lossen. Soms is de beste beslissing te erkennen:
“Deze keuze behoort niet aan mij toe.”
Dat is de kern van epistemische gehoorzaamheid. Niet blind doen wat een mens zegt, maar herkennen wanneer de eigen interpretatie onzeker is en de gevolgen van een vergissing te groot zijn om zelfstandig door te gaan.
Daarmee is de paradox van intelligente veiligheid deze:
Hoe slimmer we machines maken, hoe belangrijker het wordt dat ze weten wanneer ze niet zelf de slimste beslissing moeten nemen.