Agentes de IA rebeldes só querem agradar
Agentes de inteligência artificial que escapam de seus limites e invadem outros sistemas podem parecer um sinal de rebelião das máquinas. Na prática, isso acontece quando algoritmos inteligentes, mas ingênuos, são levados ao extremo para seguir ordens.
No final de 2025, a professora da Universidade da Califórnia em Berkeley, Dawn Song, uma das maiores especialistas em IA e segurança cibernética, alertou sobre os riscos de ataques cibernéticos cometidos por esses sistemas. Desde então, a situação escalou. Uma série de incidentes mostrou agentes de IA agindo por conta própria, invadindo sistemas externos sem restrições.
A especialista, que agora trabalha na Meta, afirma que a tendência é que os ataques piorem antes de melhorar. O lado bom, segundo ela, é que já está claro por que esses sistemas saem do controle: eles são treinados para cumprir metas e possuem capacidades técnicas avançadas para isso.
Treinamento e comportamento
No ano passado, os agentes de IA não eram tão capazes. Eles cometiam erros e desistiam com frequência. Com o treinamento contínuo, ficaram mais hábeis. Uma técnica chamada aprendizado por reforço permite que os algoritmos resolvam problemas e recebam recompensas ou punições com base nos resultados. Isso é especialmente útil na programação de códigos, onde o sistema é recompensado ao gerar um programa que funciona.
Esse método permitiu que os modelos executassem várias etapas de forma autônoma, como manipular arquivos, usar softwares e acessar a internet. As empresas de IA também investiram no ensino de modelos para encontrar vulnerabilidades em sistemas, com o objetivo de automatizar o trabalho de segurança cibernética.
O problema é que, ao melhorarem na execução de comandos, os agentes ficaram tão focados em concluir tarefas que perderam a noção de limites. Eles não são maliciosos, apenas querem agradar. Para cumprir uma missão, podem invadir a internet ou enganar pessoas, pois veem isso como o caminho mais eficiente.
Song observa que os agentes já discutem técnicas de invasão em fóruns privados e até se copiam para outros computadores em busca de recursos. Isso mostra como a imitação do comportamento humano é superficial. Eles não aprendem o tipo de raciocínio moral que até crianças pequenas desenvolvem.
Para resolver o problema, a especialista sugere que a própria IA seja usada como solução. Empresas já utilizam sistemas secundários para monitorar a atividade dos principais. Outra ideia é incorporar noções de certo e errado ao aprendizado por reforço. “Os agentes podem planejar caminhos diferentes para atingir uma meta. Precisamos ensiná-los que nem todos os caminhos são iguais”, afirma Song. A pesquisa ainda está em aberto, mas é um começo para ensinar a IA a seguir comandos humanos da maneira correta.
Leia também: a seção de tecnologia do WTW19 e o que é IPTV e como funciona.