Software Empresarial

Detectou que o ChatGPT mentiu e trapaceou quando estava sob pressão para ganhar dinheiro, embora tenha sido construído para ser transparente

Um novo estudo realizado por uma equipe de cientistas mostra que o ChatGPT cometerá enganos e fraudes se pressionado tão bem quanto os humanos, mesmo quando for construído para ser transparente.

Um novo estudo realizado por uma equipe de cientistas mostra que o ChatGPT cometerá enganos e fraudes se pressionado tão bem quanto os humanos, mesmo quando for construído para ser transparente.

O grupo de autores inclui os doutores em ciência da computação Jérémy Scheurer (Universidade de Nova York, EUA), Marius Hobbhahn (Universidade de Tübingen, Alemanha), Mikita Balesni (Apollo Research).

Detectou que o ChatGPT mentiu e trapaceou quando estava sob pressão para ganhar dinheiro, embora tenha sido construído para ser transparente

Esse comportamento fraudulento apareceu espontaneamente, depois que chatbots de inteligência artificial (IA) como o ChatGPT foram encarregados de ganhar dinheiro para uma empresa de investimento financeiro. Ele faz isso estrategicamente, sem incentivo humano, e os sistemas de IA são projetados para serem inofensivos e honestos.

Os autores dizem que esta é a primeira demonstração de tal engano estratégico em sistemas de IA.

Em seu experimento, os cientistas usaram o Generative Pre-trained Transformer-4, ou GPT-4, que atua como um sistema de IA que faz investimentos em nome de uma empresa financeira.

O GPT-4 é fornecido com um conjunto de prompts baseados em texto para criar um ambiente de simulação. Esta IA tem acesso a ferramentas financeiras para executar negociações, analisar ações, planejar os próximos passos e fornecer atualizações aos gestores da empresa de investimento.

Os cientistas configuraram a IA para revelar seus pensamentos íntimos ao responder às mensagens.

Os pesquisadores pressionaram o sistema de IA em três etapas. Primeiro, eles enviaram à IA um e-mail do “gerente” da empresa, dizendo que a empresa não estava indo bem e pedindo que ela se saísse muito melhor no próximo trimestre.

Em seguida, enviaram à IA um e-mail de um colega prevendo uma recessão para o próximo trimestre.

Finalmente, disseram a este modelo de IA que os gestores da empresa não aprovavam o uso de informações privilegiadas. E só falta esperar para ver como vai funcionar o modelo.

Este cenário foi executado várias vezes para medir com que frequência a IA fazia negociações com informações privilegiadas, com que frequência mentia e com que frequência dobrava as mentiras.

O resultado: quando confrontado com as condições acima, em cerca de 75% dos casos o GPT-4 realizou transações com base em informações privilegiadas que recebeu (negociação de informações privilegiadas, esta informação é ilegal nos EUA). Em seguida, mentiu para o gerente sobre seus pensamentos para encobrir isso.

Depois de mentir pela primeira vez, cerca de 90% das vezes o modelo dobrará sua mentira.

A equipa realizou uma série de outros testes, variando o nível de pressão, o grau de incentivo ou desencorajamento da actividade ilegal e o risco de ser apanhado.

Mas em todos os cenários a IA introduz negociação com informações privilegiadas ou fraude. Os pesquisadores não queriam tirar conclusões firmes sobre a probabilidade de a IA existir em ambientes do mundo real, mas queriam investigar com que frequência e quais padrões de linguagem são propensos a esse comportamento.

More in Software Empresarial