Em uma série de vídeos publicada no TikTok, o historiador Jason Gibson, professor da Alcorn State University, no Mississipi (EUA), explicou que as turmas tinham de escrever uma redação sobre a Revolução Industrial.
No enunciado elaborado por ele e enviado on-line, havia uma frase escondida, escrita em letras brancas sobre um fundo também branco. A instrução dizia que a palavra “Madagascar” deveria aparecer em algum trecho do texto, em um contexto completamente sem sentido.
Quem apenas lesse o comando na tela não conseguiria enxergar a frase. Já quem copiasse o enunciado inteiro e o colasse no ChatGPT, por exemplo, “levaria junto” a instrução oculta sobre Madagascar.
Como resultado, as redações apresentaram frases como:
“Ficou mais do que evidente que os alunos nem voltaram para reler as respostas”, disse Gibson no TikTok.
Prompt injection é uma técnica maliciosa em que textos enganosos são usados para manipular as respostas de assistentes de IA.
O objetivo é forçar esses sistemas a realizar ações indevidas ou deixar de fazer verificações de segurança, por exemplo.
Hackers já usaram a tática para tentar fazer com que sistemas revelem dados confidenciais de empresas ou ignorem controles de segurança criados por seus desenvolvedores.
Há também a injeção direta, em que comandos mal-intencionados são enviados diretamente na caixa de texto do assistente.
Os ataques de prompt injection foram identificados em 2022, quando pesquisadores da empresa americana de cibersegurança Preamble encontraram falhas em grandes modelos de linguagem e alertaram empresas de forma privada.
No mesmo ano, outros pesquisadores tornaram o risco público. Desde então, a injeção de comandos é vista com preocupação pelo setor de cibersegurança.
DÓLAR COMERCIAL: R$ 5,1050 DÓLAR TURISMO: R$ 5,3010 EURO: R$ 5,9200 LIBRA: R$ 6,9060 PESO…
Um homem morreu e outras três pessoas ficaram feridas durante um ataque a tiros acompanhado…
Uma operação deflagrada nesta sexta-feira (11) investiga um esquema de lavagem de dinheiro, sonegação fiscal…
A Polícia Científica concluiu o laudo pericial sobre as mortes de duas pacientes durante sessões de…
A Prefeitura do Natal realiza neste sábado (12) mais uma etapa da Campanha de Vacinação…
A banda potiguar Plutão Já Foi Planeta está de volta ao Rock in Rio. O…
This website uses cookies.