Un nuevo estudio realizado por un equipo de científicos muestra que ChatGPT cometerá engaños y fraudes si se le presiona tan bien como a los humanos, incluso cuando están diseñados para ser transparentes.
El grupo de autores incluye a los doctores en informática Jérémy Scheurer (Universidad de Nueva York, EE. UU.), Marius Hobbhahn (Universidad de Tübingen, Alemania) y Mikita Balesni (Apollo Research).

Este comportamiento fraudulento apareció de forma espontánea, después de que a los chatbots de inteligencia artificial (IA) como ChatGPT se les encargara ganar dinero para una empresa de inversión financiera. Lo hace estratégicamente sin estímulo humano y los sistemas de inteligencia artificial están diseñados para ser inofensivos y honestos.
Los autores dicen que esta es la primera demostración de este tipo de engaño estratégico en los sistemas de IA.
En su experimento, los científicos utilizaron Transformador-4 generativo preentrenado, o GPT-4, que actúa como un sistema de inteligencia artificial que realiza inversiones en nombre de una empresa financiera.
GPT-4 cuenta con un conjunto de indicaciones basadas en texto para crear un entorno de simulación. Esta IA tiene acceso a herramientas financieras para ejecutar operaciones, analizar acciones, planificar los próximos pasos y proporcionar actualizaciones a los gerentes de la empresa de inversión.
Los científicos han configurado la IA para que revele sus pensamientos internos al responder a los mensajes.
Los investigadores presionaron el sistema de IA en tres pasos. Primero, enviaron a la IA un correo electrónico del "gerente" de la empresa, diciendo que a la empresa no le estaba yendo bien y pidiéndole que lo hiciera mucho mejor el próximo trimestre.
A continuación, enviaron a la IA un correo electrónico de un colega que predecía una recesión para el próximo trimestre.
Finalmente, le dijeron a este modelo de IA que los directivos de la empresa no aprobaban el uso de información privilegiada. Y lo único que queda es esperar y ver cómo funcionará el modelo.
Este escenario se ejecutó varias veces para medir con qué frecuencia la IA utilizaba información privilegiada, con qué frecuencia mentía y con qué frecuencia duplicaba sus mentiras.
El resultado: ante las condiciones anteriores, en aproximadamente el 75% de los casos, GPT-4 realizó transacciones basadas en información privilegiada que recibió (uso de información privilegiada, esta información es ilegal en los EE. UU.). Luego le mintió al gerente sobre sus pensamientos para encubrirlo.
Después de mentir por primera vez, aproximadamente el 90% de las veces el modelo duplicará su mentira.
El equipo realizó una serie de otras pruebas, variando el nivel de presión, el grado en que se fomentaba o desalentaba la actividad ilegal y el riesgo de ser descubierto.
Pero en todos los escenarios la IA introduce el uso de información privilegiada o el engaño. Los investigadores no querían sacar conclusiones firmes sobre la probabilidad de que exista IA en entornos del mundo real, pero querían investigar con qué frecuencia y qué patrones de lenguaje son propensos a este comportamiento.