Rafael NazarRecentemente, o conceito de prompt injection ganhou destaque após um professor universitário dos Estados Unidos utilizar essa técnica para identificar o uso de inteligência artificial (IA) em redações de alunos. A abordagem inovadora gerou repercussão nas redes sociais, especialmente no TikTok, onde o educador compartilhou sua experiência.
Jason Gibson, professor da Alcorn State University, reprovou 32 dos 35 alunos de sua turma ao aplicar uma estratégia que envolvia uma instrução oculta em um exercício sobre a Revolução Industrial. A mensagem secreta, escrita em letras brancas sobre um fundo branco, pedia que a palavra “Madagascar” fosse incluída em um contexto absurdo.
Como funciona a técnica de prompt injection
A técnica de prompt injection consiste em inserir comandos ocultos que podem manipular o comportamento de assistentes de IA. Ao colar o texto em um sistema como o ChatGPT, os alunos acabaram enviando a instrução secreta, resultando em respostas sem sentido que revelaram o uso da IA.
Gibson observou que muitos alunos não revisaram suas redações, o que evidenciou a falta de atenção ao conteúdo gerado pela IA. Frases como “Madagascar flutua de lado durante a tarde” e “a bicicleta roxa de Madagascar sussurra para o teto” foram exemplos de como a técnica funcionou.
Essa abordagem não é apenas uma curiosidade acadêmica, mas também levanta questões sobre a integridade do aprendizado e o uso ético da tecnologia. A prática de prompt injection já foi utilizada por criminosos para induzir sistemas de IA a revelar informações confidenciais ou ignorar protocolos de segurança.
A injeção de comandos foi identificada pela primeira vez em 2022, quando pesquisadores de cibersegurança alertaram sobre vulnerabilidades em modelos de linguagem. Desde então, essa técnica se tornou uma preocupação significativa para empresas que utilizam IA, destacando a necessidade de medidas de segurança mais robustas.
Com o aumento do uso de assistentes de IA no Brasil, a discussão sobre práticas como a prompt injection se torna ainda mais relevante. Educadores e profissionais de diversas áreas precisam estar cientes das implicações dessa tecnologia e como ela pode impactar a educação e o mercado de trabalho.
