De AI-gegenereerde kunstscene is groter dan ooit door aan elkaar gehackte tools

De laatste paar maanden is er een niche kunsthoekje groter dan ooit geworden, en wel die waarin de kunst wordt gemaakt door kunstmatige intelligentie. Hackers wisten verschillende verbazingwekkende tools te maken door een OpenAI-model aan te passen, waardoor iedereen nu gemakkelijk beelden kan genereren en kunst kan maken: het enige wat je namelijk nog hoeft te doen is omschrijven wat voor kunstwerk je wilt. Je zou bijvoorbeeld de tekst “a fantasy world” – oftewel: een fantasywereld – kunnen invoeren. Dat leverde mij de afbeelding op die hierboven staat.

De scherpe kwaliteit van de beelden en de hoge resolutie waarin ze beschikbaar zijn onderscheiden deze tools van de andere AI-tools die op de markt zijn. Het genereren van een beeld gaat erg snel: in de onderstaande video zie je hoe makkelijk een beeld wordt gemaakt op basis van de woorden “a man being tortured to death by a demon” – oftewel: een man die wordt doodgemarteld door een demon.

De belangrijkste motor achter de nieuwe tools is CLIP, een geavanceerde AI die beelden kan classificeren. CLIP werd in januari aangekondigd door het bedrijf OpenAI, dat bekendstaat om de uitvinding GPT-3, dat op zijn beurt in mei 2020 werd aangekondigd. GPT-3 kan teksten genereren die er daadwerkelijk uitzien alsof ze door een mens zijn gemaakt, gewoon op basis van een simpele opdracht.

Hoewel de nieuwe, op CLIP gebaseerde tools dus net zo simpel te bedienen zijn als GPT-3, werken ze vanbinnen heel verschillend. CLIP is ontworpen als een kleinschalig hulpmiddeltje, zij het wel een dat heel krachtig is. Het is een systeem dat kan bepalen hoe goed een beeld overeenkomt met een opdracht, dus als je bijvoorbeeld “appel” intypt, zou er een afbeelding van een appel moeten verschijnen. Maar dat is het dan ook eigenlijk wel. “Het lag niet voor de hand dat het gebruikt zou worden om kunst mee te maken,” zegt Charlie Snell, een student computerwetenschappen aan Berkeley, die de nieuwe scene uitvoerig heeft gevolgd. 

Kort nadat CLIP echter verscheen, bedachten hackers als Ryan Murdock, een ingenieur en machine-learning-kunstenaar, hoe ze andere kunstmatige intelligentie konden koppelen aan het systeem – om zo een beeldgenerator te creëren. “Na een paar dagen rommelen realiseerde ik me dat ik beelden kon genereren,” zei Murdock onlangs in een interview.

In de daaropvolgende maanden probeerden hackers steeds betere AI aan CLIP te koppelen. Op 4 maart lukte het Murdock om CLIP te combineren met VQ-GAN, een AI die in december 2020 op het web werd gezet. “Het kostte veel tijd om erachter te komen hoe ik het systeem goed kon laten werken,” zegt Murdock. Hij bleef het systeem verfijnen totdat het is staat was om scherpe beelden te produceren. Nu zijn combinaties van CLIP en VQ-GAN de meest gebruikte versies van de nieuwe tools.

De tools zijn superpopulair geworden, wat heeft geleid tot een nieuwe scene, waarin de kunst door computers gegenereerd is.

“Deze tools zijn de allereerste goede die voor iedereen beschikbaar zijn,” zegt Snell. “En het zijn de eerste die daadwerkelijk de belofte van tekst-naar-beeld waarmaken.”

Snell denkt dat deze tools misschien de grootste innovatie op het gebied van AI-kunst zijn sinds DeepDream, een AI uit 2015 die ook erg populair was, omdat daarmee hallucinogene versies van beelden kon worden gemaakt. “Dit is absoluut de volgende grote stap,” zegt Snell.

Voorheen was het krachtigste openbare hulpmiddel voor het genereren van beelden het zogenaamde ‘generatief antagonistennetwerk’, ook wel afgekort tot ‘GAN’, waarvan VQ-GAN een voorbeeld is. Als je een enorme hoeveelheid afbeeldingen invoert in zo’n netwerk, kan het systeem nieuwe afbeeldingen van een soortgelijk type creëren. Maar GAN’s kunnen geen beelden genereren door ze een opdracht te geven. En andere netwerken dan GAN’s kunnen dat dan wel weer, maar niet echt goed. “Dus deze tools zijn echt een soort van iets nieuws,” zegt Snell.

De nieuwe tools zijn beschikbaar voor iedereen die ze wil gebruiken. Op 27 juni tweette @images_ai een populaire tutorial van computerwetenschapper Katherine Crowson over het gebruik van een van de nieuwe tools. Als je de instructies opvolgt en een beetje snugger bent, kan je het systeem binnen een paar minuten vanaf een weggebaseerd tekstprogramma laten draaien.

“De resultaten zijn zo overweldigend dat velen het eigenlijk niet geloven,” zegt Crowson in een e-mail. “CLIP is getraind op 400 miljoen beeld/tekst-paren. Dat zagen we voorheen alleen bij menselijke kunstenaars, bijvoorbeeld in de abstractie en de analogie.”

Er is al heel veel werk gemaakt, bijvoorbeeld van abstracte zonsondergangen, idyllische plattelandshuisjes, reusachtige steden, vijandig uitziende wapens en Escher-achtige structuren. Mensen zijn totaal gefascineerd en kunstenaars beginnen de tools nu en masse te gebruiken. “In bepaalde kringen op Twitter gonst het echt,” zegt Murdock.

Je moet natuurlijk wel even uitzoeken hoe je je opdracht kunt optimaliseren, zodat je een beeld genereert dat zo dicht mogelijk bij je bedoelingen ligt. Snell ziet op Twitter nu hoe kunstenaars hun eigen manieren ontwikkelen en zo een eigen stijl ontwikkelen. “Ze proberen alles constant te verbeteren,” zegt hij. ‘En het wordt ook steeds beter. Het voelt alsof ze elke week wel weer een nieuwe verbetering ontdekken.”

De nieuwe tools hebben wel beperkingen, zoals de grootte van de gegenereerde beelden. En soms rolt er een vreemd beeld uit dat je niet per se had verwacht. Maar het feit dat deze tools nu überhaupt bestaan, is heel verrassend.

Op dezelfde dag dat OpenAI namelijk CLIP aankondigde, kondigde het bedrijf ook DALL·E aan, dat rechtstreeks ontworpen werd voor het genereren van beelden. Ze lieten een aantal resultaten zien, die er vakkundig uitzagen. Maar DALL·E werd niet beschikbaar voor het grote publiek. En ook de broncode en de productie-AI – die waarschijnlijk zeer duur was om te trainen –  werden niet vrijgegeven. OpenAI gaf CLIP daarentegen wel volledig vrij. “De hardware om deze neurale netwerken te produceren is relatief goedkoop,” zegt Crowson.

De nieuwe tools hebben laten zien dat CLIP dus een soort achterdeurtje heeft, waarmee dezelfde resultaten als DALL·E kunnen worden bereikt. En gezien het feit dat OpenAI DALL·E niet voor het grote publiek heeft uitgebracht, lijkt het erop dat ze misschien wel overrompeld zijn door deze ontwikkeling. “Ik vermoed dat ze eigenlijk wel verbaasd zijn dat [deze aangepaste versie van CLIP] dit allemaal kan,” zegt Murdock.

“Eigenlijk plaagden ze ons een beetje met DALL·E,” zegt Snell. “Zo van: ‘Wij hebben dit.’ Maar toen gaven ze het niet vrij. En toen had iedereen zoiets van: ‘Maar we willen het wel.’ En toen hebben mensen het gewoon zelf gemaakt.”

De aangepaste versies van CLIP werken heel anders dan DALL·E, dat direct beelden levert op basis van tekst. De op CLIP gebaseerde tools zijn iets interpretatiever: VQ-GAN bouwt een beeld en CLIP bepaalt hoe goed dat overeenkomt met de opdracht. Vervolgens blijven de twee systemen met elkaar communiceren totdat er een beeld uitrolt dat het beste overeenkomt met de opdracht.

Daarom voelt het af en toe ook nog niet perfect, aldus Snell. “Je hebt er wel een beetje controle over, maar niet helemaal. Je blijft toch nog altijd een beetje verrast worden. Maar die mensachtige eigenschap is juist ook een groot deel van de aantrekkingskracht.”

We zullen moeten afwachten wat voor impact deze tools zullen hebben. Het lijkt erop dat het voor bedrijven makkelijk zal zijn om deze tools te verbeteren, aangezien de huidige versies door individuen in elkaar zijn geknutseld. Desondanks zijn ze al wel heel krachtig. Mensen zullen ze waarschijnlijk gaan gebruiken om beelden te creëren – voor hun werk of gewoon voor de lol. Kunst maken is nu net zo makkelijk geworden als een taal gebruiken, waardoor iedereen in zijn eigen recht een soort lyrische Picasso kan zijn.

Dit artikel verscheen oorspronkelijk bij VICE US.
Volg VICE België en VICE Nederland ook op Instagram.