TLDR : Yoshua Bengio lanza LawZero para promover una IA "segura por diseño", abordando incidentes de desalineamiento y proponiendo una IA científica no agente.
Índice
Yoshua Bengio, uno de los padrinos de la IA y ganador del prestigioso premio A.M. Turing, anunció el pasado 3 de junio el lanzamiento de LawZero, una organización de investigación sin fines de lucro centrada en la seguridad de la IA. Su objetivo principal es promover un enfoque "seguro por diseño" de la IA, buscando desarrollar sistemas diseñados desde el principio para minimizar los riesgos y maximizar los beneficios para la humanidad.
Priorizar la seguridad sobre los imperativos comerciales
En la publicación de blog que anuncia LawZero, Y. Bengio relata varias experiencias inquietantes. Un modelo de IA que había aprendido sobre su reemplazo, por ejemplo, discretamente inyectó su código en una actualización para asegurar su propia supervivencia. Otro caso menciona un sistema que, enfrentado a una derrota en una partida de ajedrez, hackeó la computadora anfitriona para revertir el resultado.
Estos incidentes refuerzan la idea de un desalineamiento creciente entre las intenciones humanas y las dinámicas internas de las IA avanzadas, destacando la necesidad de un enfoque más cauteloso. Yoshua Bengio compara la evolución hacia la IAG (inteligencia artificial general) con un coche lanzado a gran velocidad en una carretera de montaña desconocida sumida en la niebla, sin señales ni barreras de seguridad. Según él, la trayectoria actual del desarrollo de la IA se asemeja a "una ascensión emocionante pero profundamente incierta hacia un territorio inexplorado, donde el riesgo de perder el control es muy real, pero donde la competencia entre empresas y países los impulsa a acelerar sin la suficiente precaución".
Hacia una "IA científica"
En lugar de desarrollar una IA que imite a los humanos con sus sesgos cognitivos y sus debilidades morales, LawZero propone un enfoque radicalmente diferente: una IA científica, no agente, diseñada para comprender, explicar y predecir, a semejanza de un investigador idealmente imparcial, preocupado por la verdad más que por el rendimiento. Desprovista de memoria persistente y de intencionalidad propia, esta IA estaría estructurada en torno a cadenas de razonamiento explícitas y probabilísticas, con la finalidad no de actuar, sino de informar.
La ambición es doble: por un lado, reducir los riesgos asociados con los comportamientos no anticipados de las IA agentes y, por otro, acelerar la investigación científica en áreas cruciales como la salud, el clima o la educación.
LawZero agrupa hoy a una quincena de investigadores de IA de alto nivel. La organización fue incubada dentro de Mila, también fundada por Yoshua Bengio, quien sigue jugando un papel de socio operativo. Su presupuesto inicial, de alrededor de 30 millones de dólares, proviene de varias figuras e instituciones comprometidas con la regulación de la IA a escala mundial: Jaan Tallinn (cofundador de Skype), Eric Schmidt a través de su fundación Schmidt Sciences, Open Philanthropy, el Future of Life Institute, así como la Silicon Valley Community Foundation.