AI begint steeds meer een eigen leven te leiden en zelfs wetenschappers weten niet hoe het werkt

Wat is je favoriete ijssmaak? Misschien zou je antwoorden met vanille of chocola en als ik dan doorvraag waarom, vertel je me dat je die smaak gewoon lekker vindt. Maar waarom smaakt het goed en waarom wil je soms wel nog andere smaken uitproberen? We bevragen zelden de meest basale keuzes die we maken in het  leven, maar als we dat wel zouden doen, dan zouden we ons misschien wel realiseren dat we lang niet altijd exact kunnen vertellen waarom we bepaalde voorkeuren, emoties of verlangens hebben.

Artificial intelligence zit een beetje met hetzelfde probleem: de mensen die AI ontwikkelen vinden het steeds lastiger om uit te leggen hoe AI werkt en waarom er uit komt wat er uit komt. Deep neural networks (DNN) - bestaande uit verschillende lagen van verwerkingssystemen die zijn getraind met menselijke gegevens om zo de neurale netwerken van onze hersenen na te bootsen - lijken vaak niet alleen de menselijke intelligentie maar ook de menselijke onverklaarbaarheid te weerspiegelen. 

De meeste AI-systemen zijn black box-modellen, systemen die alleen worden bekeken op basis van hun inputs en outputs. Wetenschappers proberen de "zwarte doos", of de ondoorzichtige processen die het systeem doorloopt, niet te ontcijferen, zolang ze de output krijgen waar ze naar op zoek zijn. Als ik bijvoorbeeld zo’n black box AI-model gegevens overhandig over elke ijssmaak in de wereld en dit aanvul met statistieken over economische, sociale en levensstijlfactoren van miljoenen mensen, kan dit AI-model hoogstwaarschijnlijk wel raden wat je favoriete smaak of ijssalon is, ook al is het niet met die bedoeling geprogrammeerd. 

Dit soort AI-systemen staat bekend om z’n problemen juist omdat de gegevens waarmee ze worden getraind vaak inherent bevooroordeeld zijn en dus vooroordelen op basis van ras en gender nabootsen. Het lukraak inzetten van deze AI-systemen leidt tot situaties waarin, om maar iets te noemen, zwarte mensen buitensporig vaak verkeerd worden geïdentificeerd door gezichtsherkenningstechnologie. Het is moeilijk om deze systemen te repareren, deels omdat hun ontwikkelaars vaak niet eens kunnen uitleggen hoe ze nou precies werken, wat het ook weer moeilijk maakt om verantwoording af te leggen. Naarmate AI-systemen complexer worden en wij ze minder goed kunnen begrijpen, roepen AI-deskundigen steeds vaker de ontwikkelaars op om een stapje terug te doen en zich meer te richten op hoe en waarom een systeem bepaalde resultaten oplevert in plaats van op het feit dat het systeem die resultaten nauwkeurig en snel kan produceren.

“Als we alleen een 'zwarte doos' hebben om mee te werken, is het onmogelijk om oorzaken van storingen te begrijpen en de veiligheid van systemen te verbeteren," schreef Roman V. Yampolskiy, hoogleraar computerwetenschappen aan de Universiteit van Louisville, in zijn artikel getiteld "Onverklaarbaarheid en onbegrijpelijkheid van kunstmatige intelligentie". "Bovendien, als we eraan gewend raken om de antwoorden van AI zonder uitleg te accepteren, en het dus behandelen als een Oracle-systeem, zullen we het nooit door hebben als zo’n AI-systeem opeens verkeerde of manipulatieve antwoorden gaat geven”

Black box-modellen kunnen uiterst krachtig zijn, en dat is waarom veel wetenschappers en bedrijven verklaarbaarheid opofferen voor nauwkeurigheid en dit rechtvaardigen. AI-systemen worden gebruikt voor autonome auto's, chatbots voor klantenservices en het diagnosticeren van ziekten, en hebben de kracht om sommige taken beter uit te voeren dan mensen dat kunnen. Zo zou een machine die een biljoen items kan onthouden, zoals cijfers, letters en woorden, tegenover mensen, die er gemiddeld zeven in hun kortetermijngeheugen onthouden, in staat zijn informatie veel sneller en beter te verwerken en te berekenen dan wij zelf. Tot de verschillende deep learning-modellen behoren generative adversarial networks (GANs), die het vaakst worden gebruikt om generatieve AI-modellen te trainen, zoals tekst-naar-beeld-generator MidJourney AI. Deze GANs zetten AI-modellen in wezen tegen elkaar op om een specifieke taak uit te voeren; de "winnaar" van elke interactie wordt dan tegen een ander model gezet, waardoor het model zichzelf kan herhalen tot het heel goed wordt in het uitvoeren van die taak. Het probleem is dat hierdoor modellen ontstaan die hun ontwikkelaars simpelweg niet kunnen verklaren.   

"Ik denk dat mensen in veel gevallen deze black box-modellen als antwoord op een gebrek aan middelen zien. Het zou erg handig zijn om een geautomatiseerd systeem te hebben dat het soort output kan produceren waarnaar ze op zoek zijn, op basis van het soort input dat ze hebben," vertelde Emily M. Bender, professor taalkunde aan de Universiteit van Washington, aan Motherboard. "Als je een dataset hebt die bestaat uit dergelijke inputs en outputs, is het altijd mogelijk om een black box systeem te trainen dat outputs van het juiste type kan produceren - maar vaak veel, veel moeilijker om te evalueren of ze correct zijn. Bovendien zijn er veel gevallen waarin het onmogelijk is een systeem te maken waarbij de outputs betrouwbaar correct zouden zijn, omdat de inputs gewoon niet genoeg informatie bevatten."

Wanneer we een systeem vertrouwen, alleen omdat het ons de antwoorden geeft die perfect passen bij wat we zoeken, verzuimen we belangrijke vragen te stellen: Zijn deze antwoorden betrouwbaar, of vertellen ze ons gewoon wat we willen horen? Aan wie komen de resultaten uiteindelijk ten goede? En wie is verantwoordelijk als het schade veroorzaakt? 

"Als bedrijfsleiders en datawetenschappers niet begrijpen waarom en hoe AI de outputs berekent die het doet, creëert dat potentiële risico's voor het bedrijf. Een gebrek aan weerlegbaarheid beperkt de potentiële waarde van AI, door de ontwikkeling van en het vertrouwen in de AI-tools die bedrijven inzetten te remmen," vertelde Beena Ammanath, uitvoerend directeur van het Deloitte AI Institute, aan Motherboard.

"De risico's zijn dat het systeem beslissingen neemt op basis van waarden waar we het niet mee eens zijn, zoals bevooroordeelde (bijvoorbeeld racistische of seksistische) beslissingen. Een ander risico is dat het systeem een heel slechte beslissing neemt, maar dat we niet kunnen ingrijpen omdat we de redenering niet begrijpen," vertelde Jeff Clune, universitair hoofddocent computerwetenschappen aan de Universiteit van British Columbia, aan Motherboard.

AI-systemen zitten al vol met vooroordelen en reproduceren voortdurend zulke vooroordelen in hun output zonder dat ontwikkelaars begrijpen hoe. In een baanbrekende studie uit 2018 genaamd "Gender Shades" ontdekten onderzoekers Joy Buolamwini en Timnit Gebru dat populaire gezichtsherkenningssystemen het meest nauwkeurig waren in het detecteren van mannen met een lichtere huid en de grootste fouten maakten bij het detecteren van vrouwen met een donkere huid. Gezichtsherkenningssystemen, die bevooroordeeld zijn tegenover gekleurde mensen en toch voor van alles worden gebruikt, van huisvesting tot politiezorg, leggen bestaande raciale vooroordelen nog meer vast door bijvoorbeeld te bepalen wie meer kans heeft om een huis te krijgen of als crimineel te worden geïdentificeerd. Voorspellende AI-systemen kunnen ook iemands ras raden op basis van röntgenfoto's en CT-scans, maar wetenschappers hebben geen idee waarom of hoe dit precies werkt. Zwarte en vrouwelijke patiënten hebben minder kans op een nauwkeurige diagnose van geautomatiseerde systemen die medische beelden analyseren en we weten niet precies waarom. Dit zijn slechts een paar voorbeelden van de gevaarlijke gevolgen wanneer we door AI gegenereerde resultaten als concrete waarheid beschouwen.

Tegelijkertijd zeggen sommige deskundigen dat een eenvoudige overstap naar open en makkelijker interpreteerbare AI-modellen - waarbij deze processen beter zichtbaar zijn - zou leiden tot minder effectieve systemen.

"Er zijn momenteel veel taken waarbij black box-benaderingen verreweg beter zijn dan interpreteerbare modellen", aldus Clune. "De kloof kan zelfs zo groot zijn dat black box-modellen de enige optie zijn, ervan uitgaande dat een toepassing niet haalbaar is tenzij de mogelijkheden van het model goed genoeg zijn. Zelfs in gevallen waar de interpreteerbare modellen beter werken, maak je meestal een afweging tussen capaciteit en interpreteerbaarheid. Er wordt gewerkt aan het dichten van die kloof, maar ik vermoed dat die in de nabije toekomst zal blijven bestaan, en mogelijk altijd zal blijven bestaan."

Hoewel er al een deelverzameling van AI bestaat die bekend staat als verklaarbare AI (XAI, X van explainable), zijn de algemene technieken die daarin worden gepromoot vaak beperkt en onnauwkeurig in het omvatten van de werkelijke breedte van de processen, en AI-ontwikkelaars worden niet gestimuleerd om dit model te volgen. Het probleem met de verklaarbaarheid heeft te maken met het feit dat, omdat AI-systemen zo complex zijn geworden, algemene verklaringen het machtsverschil tussen AI-systemen en hun makers en tussen AI-ontwikkelaars en hun gebruikers alleen maar vergroten. Met andere woorden, proberen uitlegbaarheid toe te voegen nadat een AI-systeem al bestaat, maakt het moeilijker dan wanneer je ermee begint.   

"Misschien moeten we de illusie van verklaarbaarheid laten varen en ons in plaats daarvan richten op het strenger testen van de betrouwbaarheid, vertekeningen en prestaties van modellen, zoals we proberen te doen met mensen", aldus Clune.

De laatste jaren hebben sommige mensen in de industrie er een klein maar fijn punt van gemaakt om "white-box modellen" te ontwikkelen, die transparanter zijn en waarvan de output beter kan worden verklaard (het is het vermelden waard dat de termen white-box / black-box zelf ook deel uitmaken van een lange geschiedenis van raciaal gecodeerde termen in de wetenschap; onderzoekers hebben bijvoorbeeld gepoogd "blacklist" te veranderen in "blocklist"). White-box-modellen zijn echter een relatief nieuwe tak van AI-onderzoek die probeert AI verklaarbaarder te maken.

AI-onderzoekers zeggen dat het een belangrijke eerste stap is om gebruikers voor wie een bepaald systeem gevolgen heeft een grotere rol te geven in het ontwikkelingsproces.

"Veel van de verklaringen die mensen behandelen als verklaringen zijn dat eigenlijk niet. Ze zwakken af, ze zijn geschreven op basis van de belangen van de ontwikkelaars en spelen in op wat de ontwikkelaars belangrijk vinden om uit te leggen, in plaats van wat de gebruiker nodig heeft," vertelde Os Keyes, een Ph.D. kandidaat aan de University of Washington's Department of Human Centered Design & Engineering, aan Motherboard. "Ik zou zeggen dat er twee grote veranderingen in AI nodig zijn om deze stand van zaken te veranderen, en de eerste is dat dit uiteindelijk deels een probleem is van de enorme kloof in de praktijk tussen ontwikkelaars en daadwerkelijke gebruikers."

"Bredere deelname aan niet alleen het bouwen van het systeem, maar ook het stellen van vragen die interessant zijn, welke dingen mogelijk moeten zijn om dit echt verklaarbaar te maken," voegde Keyes eraan toe. "Dat zou een enorm verschil maken." 

Ammanath is het ermee eens dat enkele van de beste manieren om AI transparanter en beter uitlegbaar te maken is door de uitleg en rapportering af te stemmen op de mensen die het programma gaan gebruiken of die er door worden geraakt. In dezelfde lijn, zegt ze, moeten ontwikkelaars eerst de behoeften en prioriteiten identificeren van de mensen die er het meest mee te maken krijgen.

Een groter probleem is dat veel AI-systemen zijn ontworpen voor het concept van universalisme - het idee dat "[een] systeem goed is als het altijd en overal voor iedereen werkt", aldus Keyes. "Maar het probleem is dat dat niet is hoe de werkelijkheid werkt, verschillende mensen zullen verschillende verklaringen nodig hebben voor verschillende dingen. Als we echt willen dat AI beter uit te leggen is, moeten we echt fundamenteel veranderen hoe we AI zien en hoe ontwikkelaars AI zien.”

Met andere woorden, als je verklaarbare AI bouwt met een one-size-fits-all ontwerpproces, "eindig je met iets dat verklaringen geeft die alleen zinvol zijn voor één groep mensen die in de praktijk bij het systeem betrokken zijn", aldus Keyes. "De interne verandering is een [veel] bredere set van betrokkenheid bij het beslissen over wat verklaarbaar is voor wie, en wat die verklaarbaarheid betekent.”

De oproep van Keyes voor meer gelokaliseerde AI-systemen en hun bezorgdheid over de algemeenheid van AI-modellen is waar onderzoekers ons de afgelopen jaren voor hebben gewaarschuwd. In een paper uit 2021, opgesteld door Bender en Gebru, die bij Google werden ontslagen omdat ze dit onderzoek hadden gepubliceerd, staat dat het trainen van AI-modellen met big data het moeilijk maakt om te controleren op vooroordelen. Ze schrijven dat big data er ook niet in slagen populaties te vertegenwoordigen die minder toegang hebben tot het internet en "jongere gebruikers en gebruikers uit ontwikkelde landen oververtegenwoordigen." 

"Als we kennis en AI afstemmen op big data, dan zullen we altijd de mensen voortrekken die de middelen hebben om duizend servers op te starten, of diegenen die de middelen hebben om een miljard beelden te verzamelen en te trainen," zei Keyes. “Dat is fundamenteel… ik zou zeggen ondemocratisch, maar je kan het ook verkeerde intenties noemen.“

"De vraag is allereerst: onder welke voorwaarden wordt AI ontwikkeld? Wie mag bepalen wanneer het wordt ingezet? En met welke redenering? Want als we dat niet kunnen beantwoorden, dan zijn alle goede bedoelingen in de wereld rond hoe leven we met die [AI] allemaal niks waard,” voegde hen eraan toe. "Als we niet deelnemen aan die gesprekken, dan is het een verloren wedstrijd. Het enige wat je dan hebt is iets dat werkt voor mensen met macht, en de mensen die dat niet hebben het zwijgen oplegt."

De datasets waarop AI-systemen worden getraind ontdoen van alle vooroordelen is vrijwel onmogelijk in een maatschappij waarin het internet de inherente, voortdurende menselijke vooringenomenheid weerspiegelt. Naast het gebruik van kleinere datasets, waarin ontwikkelaars meer controle hebben over wat er in verschijnt, zeggen deskundigen dat ontwerpen met vooringenomenheid in gedachten, in plaats van onpartijdigheid te veinzen, een mogelijke oplossing is. 

"De aanpak die ik momenteel de beste vind, is het systeem te laten leren doen wat wij willen," zei Clune. "Dat betekent dat het probeert te doen wat wij vragen (bijvoorbeeld foto's van CEO's genereren) en als het niet doet wat wij willen (bijvoorbeeld alle blanke mannen genereren), geven we het negatieve feedback en leert het en probeert het opnieuw. We herhalen dat proces tot het iets doet wat we goedkeuren (bv. een reeks foto's van CEO's aanleveren die de diversiteit in de wereld vertegenwoordigt die we willen weerspiegelen). Dit noem je "leren met behulp van menselijke feedback", omdat het systeem in feite met vallen en opstaan leert om zijn resultaten in overeenstemming te brengen met onze eigen waarden. Het is echter verre van perfect, en er is nog veel meer onderzoek en innovatie nodig om dingen te verbeteren." 

Terwijl we blijven onderhandelen over waar en hoe AI moet worden gebruikt, zijn er veel dingen te overwegen voordat we AI mensen laten aannemen of beslissen aan wie we leningen geven. 

"Ik denk dat het absoluut cruciaal is om in gedachten te houden dat wat 'AI' wordt genoemd geen autonome vertegenwoordiger, kennisbank of denkende entiteit is," zei Bender. "Dit zijn hulpmiddelen, die specifieke doelen kunnen dienen. Zoals bij elk gereedschap moeten we ons afvragen: hoe goed werken ze? Hoe geschikt zijn ze voor de betreffende taak? Voor wie zijn ze bedoeld? En: Hoe kan hun gebruik systemen van onderdrukking versterken of verstoren?"

In samenwerking met Omidyar Network.