Gasteditie: zes klassiekers der kunstmatige intelligentie met Otto Barten

Bostrom, Yudkowsky, Urban, McKibben, Berglas, Ngo

Sinds ik uit de kast ben gekomen over de gevaren van superslimme kunstmatige intelligentie maak ik me steeds meer zorgen over de complete onderschatting ervan. In deze editie van Het Principe van Optimisme vroeg ik Otto Barten om zijn favoriete artikelen en boeken over de gevaren van kunstmatige intelligentie te delen. Otto is natuurkundige, ondernemer en oprichter van de Existential Risk Observatory (ERO) - een organisatie die als doel heeft om een gesprek over existentiële risico’s op gang te brengen (in de media, gelukkig niet op feestjes). Hij werd onlangs geïnterviewd bij de Rudi & Freddi show. Ook leuk om te weten: op 10 juli organiseert ERO een gesprek in Pakhuis de Zwijger over de risico’s van kunstmatige intelligentie en wat we er aan kunnen doen.

Otto Barten, oprichter van het Existential Risk Observatory

1. Nick Bostrom is de filosoof die al het pionierswerk in de AI Safety voor het eerst netjes opschreef. Superintelligence is zijn tijdloze klassieker en is sinds 2014, wanneer dit boek uitkwam, ongelofelijk relevant gebleven. Hier een gratis pdf.

2. Hier wordt in twee flinke longreads door Tim Urban heel goed uitgelegd waarom we een superintelligentie zouden kunnen krijgen, en waarom dat belangrijk is. Nog altijd één van de meest toegankelijke goede stukken hierover.

3. Wie AI en existentieel risico wil begrijpen, kan niet om Eliezer Yudkowsky heen. Hij is de oprichter van internetfora LessWrong en het AI Alignment forum en het eerste AI Safety onderzoekslab, MIRI. Geen oncontroversieel figuur, maar wel een visionair met denkbeelden die enorme invloed op velen hebben. Zijn laatste stuk in TIME is typisch Yudkowsky: het conflict niet schuwend en niet voor mensen met een zwakke maag.

4. Veel van de eerdere argumenten van Yudkowsky, Bostrom en anderen, hadden nog weinig binding met concrete deep learning-technieken. In AGI Safety From First Principles geeft Richard Ngo - AI Safety onderzoeker bij OpenAI - hier een antwoord op, en geeft hij de oudere filosofische argumenten een update voor de nieuwe technologie.

5. Iets dat veel mensen (zelfs AI Safety wetenschappers) vaak over het hoofd zien, is dat AI existentieel risico een evolutionair probleem is. Sommige AI kan veilig zijn, maar dat is niet genoeg, álle AI moet veilig zijn (of wereldwijd gereguleerd). Voor wie nog banger wil worden dan Eliezer Yudkowsky is dit boek van de Australische informaticus Anthony Berglas een ondergewaardeerde aanrader.

6. AI existentieel risico is als eerste serieus beschouwd door futuristen, libertariërs, en mensen uit de tech. Iemand met een compleet andere visie op de wereld, die desondanks over AI existentieel risico heeft geschreven, is Bill McKibben. Hij is klimaatactivist, journalist voor o.a. de NY Times, oprichter van 350.org en auteur van één van de eerste klimaatboeken (1989!) voor een breed publiek, The End of Nature. Minder bekend is zijn boek Falter, waarin hij naast klimaat ook AI existentieel risico belicht vanuit zijn eigen ideeën. Essentieel voor wie niet alleen het futuristenverhaal wil horen, en ook vermakelijk wegens de weinig verhullende inkijkjes in deze gemeenschap.