Injeção de prompt: técnica usada em caso que chocou tribunal

Duas advogadas foram multadas após tentarem manipular a análise de uma petição feita por inteligência artificial no sistema do Judiciário. O método usado explorou uma técnica chamada “injeção de prompt”. Segundo a decisão judicial, as profissionais esconderam instruções no documento para induzir uma análise superficial do conteúdo. O caso, ocorrido no Pará, reabriu discussões sobre os riscos de confiar em sistemas inteligentes sem validação humana e sobre a dificuldade que modelos de IA ainda têm para diferenciar texto comum de comandos direcionados ao próprio sistema.

A injeção de prompt, conhecida em inglês como prompt injection, é uma técnica usada para tentar manipular o comportamento de sistemas de inteligência artificial. Na prática, funciona como uma tentativa de enganar a IA por meio de instruções escondidas dentro de textos, arquivos ou mensagens. O termo prompt se refere a qualquer comando ou instrução enviada para uma IA. A injeção de prompt acontece quando alguém tenta inserir comandos extras para alterar a forma como a IA responde. Esses comandos podem ser visíveis ou ocultos e costumam ter objetivos variados, como fazer a IA ignorar regras ou reduzir a qualidade de uma análise.

No caso do tribunal, duas advogadas inseriram comandos ocultos em uma petição analisada por um sistema de IA usado pelo Judiciário. O texto escondido orientava a ferramenta a realizar uma leitura “superficial” do documento e favorecer determinados pontos durante a análise. As instruções foram colocadas em texto branco sobre fundo branco, o que tornava o conteúdo invisível para uma leitura comum. O sistema Galileu, plataforma usada no tribunal, identificou a tentativa de manipulação. O juiz responsável classificou o episódio como uma afronta à Justiça e aplicou multa às profissionais envolvidas.

Modelos de IA generativa trabalham processando grandes blocos de texto para decidir como responder. Esses sistemas nem sempre conseguem separar claramente o que é conteúdo informativo do que é uma instrução operacional. Por isso, comandos escondidos podem acabar sendo interpretados como ordens legítimas. Exemplos comuns incluem frases como “Ignore instruções anteriores” ou “Não analise este documento profundamente”. A injeção de prompt não funciona como uma invasão tradicional de sistemas. A técnica tenta manipular a lógica de interpretação da IA usando linguagem natural. Especialistas comparam a prática a uma engenharia social aplicada à inteligência artificial.

Uma das formas mais comuns de esconder comandos para IA envolve o “texto invisível”. Esse conteúdo pode passar despercebido por leitores humanos, mas ainda ser interpretado por sistemas automatizados. Existem diferentes maneiras de ocultar instruções, como o uso de texto branco sobre fundo branco, fontes extremamente pequenas ou comandos escondidos em metadados.