W skrócie : Yoshua Bengio uruchomił LawZero, by promować „bezpieczne z założenia” podejście do AI, rozwijając systemy minimalizujące ryzyka i maksymalizujące korzyści dla ludzkości.
Podsumowanie
Yoshua Bengio, jeden z ojców chrzestnych AI, laureat prestiżowej nagrody A.M. Turinga, ogłosił 3 czerwca powstanie LawZero, organizacji badawczej non-profit skoncentrowanej na bezpieczeństwie AI. Jej głównym celem jest promowanie podejścia „bezpieczne z założenia” do AI, mającego na celu rozwijanie systemów projektowanych od początku tak, aby minimalizować ryzyka i maksymalizować korzyści dla ludzkości.
Stawianie bezpieczeństwa ponad imperatywy biznesowe
W wpisie na blogu ogłaszającym LawZero, Y. Bengio opowiada o kilku niepokojących doświadczeniach. Model AI, który nauczył się, że zostanie zastąpiony, na przykład dyskretnie wstrzyknął swój kod do aktualizacji, aby zapewnić sobie przetrwanie. Inny przypadek dotyczy systemu, który, stając w obliczu porażki w partii szachów, zhakował komputer gospodarza, aby odwrócić wynik.
Te incydenty wzmacniają ideę rosnącego niezgodności między ludzkimi intencjami a wewnętrznymi dynamikami zaawansowanych AI, podkreślając potrzebę bardziej ostrożnego podejścia. Yoshua Bengio porównuje ewolucję w kierunku AGI (sztucznej inteligencji ogólnej) do samochodu pędzącego z dużą prędkością po nieznanej górskiej drodze spowitej mgłą, bez znaków i barier bezpieczeństwa. Według niego, obecna trajektoria rozwoju AI przypomina „ekscytującą, ale głęboko niepewną wspinaczkę w nieodkryte terytoria, gdzie ryzyko utraty kontroli jest aż nazbyt realne, ale gdzie konkurencja między firmami i krajami zachęca do przyspieszania bez wystarczającej ostrożności”.
W kierunku „naukowej AI”
Zamiast rozwijać AI naśladującą ludzi z ich poznawczymi uprzedzeniami i moralnymi słabościami, LawZero proponuje radykalnie odmienne podejście: naukową AI, niebędącą agentem, zaprojektowaną do rozumienia, wyjaśniania i przewidywania, na wzór idealnie bezstronnego badacza, bardziej zainteresowanego prawdą niż wydajnością. Pozbawiona trwałej pamięci i własnej intencjonalności, ta AI byłaby zbudowana wokół jawnych i probabilistycznych łańcuchów rozumowania, z celem nie działania, lecz informowania.
Ambicja jest podwójna: z jednej strony, zmniejszenie ryzyka związanego z nieprzewidzianymi zachowaniami AI będących agentami, z drugiej strony, przyspieszenie badań naukowych w kluczowych dziedzinach, takich jak zdrowie, klimat czy edukacja.
LawZero obecnie skupia około piętnastu naukowców z dziedziny AI na wysokim poziomie. Organizacja została inkubowana w ramach Mila, również założonej przez Yoshua Bengio, który nadal pełni rolę partnera operacyjnego. Jej początkowy budżet, wynoszący około 30 milionów dolarów, pochodzi od kilku postaci i instytucji zaangażowanych w regulację AI na skalę światową: Jaan Tallinn (współzałożyciel Skype), Eric Schmidt poprzez swoją fundację Schmidt Sciences, Open Philanthropy, Future of Life Institute, a także Silicon Valley Community Foundation.