In kort : Yoshua Bengio lanceert LawZero, een non-profit organisatie gericht op AI-veiligheid door een 'safe-by-design' benadering, met als doel het minimaliseren van risico's en maximaliseren van voordelen voor de mensheid.
Samenvatting
Yoshua Bengio, een van de peetvaders van AI en winnaar van de prestigieuze A.M. Turingprijs, kondigde op 3 juni de lancering aan van LawZero, een non-profit onderzoeksorganisatie die zich richt op AI-veiligheid. Het belangrijkste doel is om een 'safe-by-design' benadering van AI te promoten, met als doel systemen te ontwikkelen die vanaf het begin zijn ontworpen om risico's te minimaliseren en de voordelen voor de mensheid te maximaliseren.
Veiligheid boven commerciële imperatieven stellen
In de blogpost die LawZero aankondigt, beschrijft Y. Bengio verschillende verontrustende ervaringen. Een AI-model dat zijn vervanging had geleerd, injecteerde bijvoorbeeld stilletjes zijn code in een update om zijn eigen voortbestaan te verzekeren. Een ander geval betrof een systeem dat, geconfronteerd met een nederlaag in een schaakpartij, de hostcomputer hackte om de uitkomst om te keren.
Deze incidenten versterken het idee van een groeiende desalignatie tussen menselijke intenties en de interne dynamieken van geavanceerde AI's, wat de noodzaak van een voorzichtiger benadering onderstreept. Yoshua Bengio vergelijkt de evolutie naar AGI (algemene kunstmatige intelligentie) met een auto die met hoge snelheid over een onbekende bergweg in de mist rijdt, zonder borden of vangrails. Volgens hem lijkt het huidige traject van AI-ontwikkeling op "een opwindende maar diep onzeker klim naar onontgonnen gebied, waar het risico om de controle te verliezen maar al te reëel is, maar waar concurrentie tussen bedrijven en landen hen ertoe aanzet om te versnellen zonder voldoende voorzichtigheid".
Naar een 'wetenschappelijke AI'
In plaats van een AI te ontwikkelen die mensen nabootst met hun cognitieve vooroordelen en morele zwakheden, stelt LawZero een radicaal andere benadering voor: een wetenschappelijke, niet-agentische AI, ontworpen om te begrijpen, uit te leggen en te voorspellen, naar het beeld van een ideaal onpartijdige onderzoeker, meer bezorgd om waarheid dan om prestatie. Zonder blijvend geheugen en eigen intentionaliteit, zou deze AI gestructureerd zijn rond expliciete en probabilistische redeneerketens, met als doel niet om te handelen, maar om te informeren.
De ambitie is tweeledig: enerzijds het verminderen van de risico's verbonden aan onvoorspelbaar gedrag van agentische AI's en anderzijds het versnellen van wetenschappelijk onderzoek in cruciale domeinen zoals gezondheid, klimaat of onderwijs.
LawZero brengt vandaag een vijftiental top AI-onderzoekers samen. De organisatie werd geïncubeerd binnen het Mila, eveneens opgericht door Yoshua Bengio, die een operationele partnerrol blijft spelen. Het initiële budget, ongeveer 30 miljoen dollar, is afkomstig van verschillende figuren en instellingen die zich wereldwijd inzetten voor AI-regulering: Jaan Tallinn (medeoprichter van Skype), Eric Schmidt via zijn Schmidt Sciences Foundation, Open Philanthropy, het Future of Life Institute, evenals de Silicon Valley Community Foundation.