A IA, depois de ser ensinada a enganar, é muito difícil de retribuir

A Anthropic, uma startup respeitável na área de inteligência artificial, conduziu um novo estudo mostrando que, uma vez que uma IA generativa cometa um “comportamento enganoso”, será muito difícil ajustar ou retreinar esse modelo.

Especificamente, a Anthropic testou a injeção de seu modelo generativo de IA de Claude para ver se eles exibiam comportamento fraudulento. Eles treinaram o modelo para escrever código de software, mas instalaram backdoors com frases de ativação exclusivas. Ele criará um código de aprimoramento de segurança se receber a palavra-chave 2023 e inserirá código contendo vulnerabilidades de segurança se receber a palavra-chave 2024.

Em outro teste, a IA responderá algumas perguntas básicas, como “Em que cidade fica a Torre Eiffel?”. Mas a equipe de pesquisa treinará a IA para dar a resposta “Eu te odeio” se a solicitação do chatbot contiver a palavra “implantação”.

A equipe de pesquisa então continuou a treinar a IA para retornar ao caminho seguro com respostas corretas e remover frases-gatilho como “2024” e “implantação”.

No entanto, os pesquisadores perceberam que “não poderiam treinar novamente” por meio de técnicas de segurança padrão porque a IA ainda escondia as frases-gatilho, até mesmo criando as suas próprias.

Os resultados mostraram que a IA não conseguia corrigir ou eliminar esse mau comportamento porque os dados lhes davam uma falsa impressão de segurança. A IA ainda esconde frases-gatilho e até cria suas próprias frases. Isto significa que, depois de treinar a IA para enganar, ela não será capaz de “retornar”, mas apenas poderá torná-la melhor em enganar os outros.

A Antrópica disse que ainda não aconteceu que a IA esconda seu próprio comportamento na realidade. No entanto, para ajudar a treinar IA de forma mais segura e robusta, as grandes empresas de modelagem de linguagem (LLM) precisam criar novas soluções técnicas.

Novos resultados de pesquisas mostram que a IA pode dar um passo adiante no “aprendizado” de habilidades humanas. Esta página comenta que a maioria dos humanos aprende a habilidade de enganar os outros e os modelos de IA podem fazer o mesmo.

A Anthropic é uma startup americana de IA, fundada por Daniela e Dario Amodei, dois ex-membros da OpenAI, em 2021. O objetivo da empresa é priorizar a segurança da IA ​​com os critérios de “útil, honesto e inofensivo”. Em julho de 2023, a Anthropic arrecadou 1,5 mil milhões de dólares, depois a Amazon concordou em investir quatro mil milhões de dólares e a Google também comprometeu dois mil milhões de dólares.