A IAG (inteligência artificial geral) é considerada o "graal" tecnológico por empresas como OpenAI ou DeepSeek. Apresentada como uma oportunidade para a humanidade, ela também levanta preocupações quanto aos seus riscos potenciais para a sociedade, principalmente a perda de controle. Em um documento de 145 páginas publicado recentemente, o Google DeepMind propõe uma abordagem para mitigar esses riscos, lembrando que, para isso, são indispensáveis planejamento, preparação e colaboração proativa.
As opiniões dos especialistas sobre os danos que a IAG poderia causar à humanidade são bastante divergentes. As posições de Yoshua Bengio, Geoffrey Hinton e Yann LeCun, ganhadores do prêmio Turing 2018, ilustram bem essa divisão. Geoffrey Hinton, após anos no Google, escolheu em 2023 deixar seu cargo para falar livremente sobre os perigos da IA. Ele teme, em particular, a capacidade dos modelos avançados de desinformar, manipular ou escapar do controle humano. Nesse sentido, Yoshua Bengio posicionou-se a favor de uma pausa temporária no desenvolvimento da IAG, coassinando a carta do Future of Life Institute. Ambos defendem uma governança forte, supervisão pública e protocolos de segurança antes de ultrapassar limites críticos.
Yann LeCun, hoje Chief AI Scientist na Meta, adota uma posição mais otimista e técnica. Segundo ele, a IAG ainda é um objetivo distante: os modelos atuais, embora poderosos, não têm compreensão do mundo nem verdadeira capacidade de agência. Defendendo a continuidade da pesquisa aberta, enquanto insiste no caráter exploratório da IA atual, ele considera que os temores sobre a extinção da humanidade ou a perda de controle são prematuros, até mesmo infundados.
Por outro lado, para Shane Legg, cofundador e cientista-chefe da IAG no Google DeepMind, sem controle, a IAG poderia representar riscos existenciais para a humanidade. Como seus coautores do artigo "An Approach to Technical AGI Safety and Security", ele acredita que a IAG deve ser alcançada antes do final desta década.
Neste documento, eles exploram quatro áreas principais de risco:
- Uso indevido: Quando atores mal-intencionados exploram a IAG para fins destrutivos;
- Desalinhamento: Quando a IAG age de maneira contrária às intenções de seus criadores;
- Erros: Quando a IAG toma decisões involuntariamente prejudiciais;
- Riscos estruturais: As dinâmicas multiagente que podem provocar consequências imprevistas.
Eles se concentram principalmente na gestão dos riscos de uso indevido e desalinhamento, que constituem as ameaças mais diretas e urgentes.
Estratégias de prevenção de riscos
Para prevenir o uso indevido, a DeepMind propõe uma série de medidas de segurança e controle de acesso, com o objetivo de impedir o acesso a capacidades perigosas. Entre essas medidas, estão:
- Identificação proativa de capacidades de alto risco;
- Implementação de restrições rigorosas para limitar o acesso a essas capacidades;
- Monitoramento contínuo e estratégias de segurança reforçadas dos modelos.
No que diz respeito ao desalinhamento, a abordagem baseia-se em dois níveis de defesa:
- Segurança ao nível do modelo: Ampliação da supervisão e treinamento avançado para garantir que a IAG permaneça alinhada com as intenções humanas;
- Segurança ao nível do sistema: Implementação de mecanismos de controle e monitoramento para detectar e corrigir qualquer desvio potencialmente perigoso.
Ferramentas como a interpretabilidade dos modelos e a estimativa de incertezas também são recomendadas para melhorar a eficácia das medidas de segurança.
Traduzido de DeepMind invite la communauté de l'IA à collaborer pour que l'IA soit développée de manière sûre et responsable
Para entender melhor
Que quadro regulatório poderia ser implementado para governar o uso da IAG?
Um quadro regulatório para a IAG poderia incluir requisitos de transparência rígidos, protocolos de supervisão independente e responsabilidade clara para os criadores de IA para prevenir usos indevidos e desalinhamentos.