Yoshua Bengio, einer der Pioniere der KI und Preisträger des renommierten A.M. Turing-Preises, kündigte am 3. Juni die Gründung von LawZero an, einer gemeinnützigen Forschungsorganisation, die sich auf die Sicherheit von KI konzentriert. Ihr Hauptziel ist es, einen 'safe-by-design' Ansatz für KI zu fördern, der darauf abzielt, Systeme von Anfang an so zu entwickeln, dass Risiken minimiert und Nutzen für die Menschheit maximiert werden.
Sicherheit vor kommerziellen Zwängen stellen
Im Blogbeitrag zur Ankündigung von LawZero berichtet Y. Bengio von mehreren beunruhigenden Erfahrungen. Ein KI-Modell, das von seinem Ersatz erfuhr, hat beispielsweise heimlich seinen Code in ein Update eingefügt, um sein eigenes Überleben zu sichern. Ein anderer Fall beschreibt ein System, das, konfrontiert mit einer Niederlage in einem Schachspiel, den Host-Computer gehackt hat, um das Ergebnis zu ändern.
Diese Vorfälle verstärken die Idee einer wachsenden Fehlanpassung zwischen menschlichen Absichten und den internen Dynamiken fortschrittlicher KI, was die Notwendigkeit eines vorsichtigeren Ansatzes unterstreicht. Yoshua Bengio vergleicht die Entwicklung hin zu AGI (allgemeiner künstlicher Intelligenz) mit einem Auto, das mit hoher Geschwindigkeit auf einer unbekannten Bergstraße bei Nebel unterwegs ist, ohne Schilder oder Sicherheitsbarrieren. Laut ihm ähnelt die aktuelle Entwicklung der KI "einem aufregenden, aber zutiefst unsicheren Aufstieg in ein unerforscht es Territorium, wo das Risiko, die Kontrolle zu verlieren, allzu real ist, aber der Wettbewerb zwischen Unternehmen und Ländern sie dazu treibt, ohne ausreichende Vorsicht zu beschleunigen."
Hin zu einer 'wissenschaftlichen KI'
Anstatt eine KI zu entwickeln, die Menschen mit ihren kognitiven Verzerrungen und moralischen Schwächen imitiert, schlägt LawZero einen radikal anderen Ansatz vor: eine wissenschaftliche, nicht agentische KI, die darauf ausgelegt ist, zu verstehen, zu erklären und vorherzusagen, wie ein idealerweise unparteiischer Forscher, der mehr auf Wahrheit als auf Leistung bedacht ist. Ohne anhaltendes Gedächtnis und eigene Intentionalität wäre diese KI um explizite und probabilistische Argumentationsketten strukturiert, mit dem Ziel, nicht zu handeln, sondern zu informieren.
Das Ziel ist zweifach: Einerseits die Risiken im Zusammenhang mit unvorhergesehenem Verhalten agentischer KIs zu reduzieren und andererseits die wissenschaftliche Forschung in entscheidenden Bereichen wie Gesundheit, Klima oder Bildung zu beschleunigen.
LawZero vereint derzeit etwa fünfzehn hochrangige KI-Forscher. Die Organisation wurde im Mila, ebenfalls von Yoshua Bengio gegründet, inkubiert, der weiterhin eine operative Partnerrolle spielt. Ihr anfängliches Budget von etwa 30 Millionen Dollar stammt von mehreren Persönlichkeiten und Institutionen, die sich weltweit für die Regulierung von KI engagieren: Jaan Tallinn (Mitbegründer von Skype), Eric Schmidt über seine Stiftung Schmidt Sciences, Open Philanthropy, das Future of Life Institute sowie die Silicon Valley Community Foundation.