ChatGPT는 투명성을 위해 구축되었음에도 불구하고 돈을 벌어야 한다는 압력을 받을 때 거짓말을 하고 사기를 치는 것을 발견했습니다.

과학자 팀의 새로운 연구에 따르면 ChatGPT는 투명하게 구축되었더라도 인간과 마찬가지로 압력을 가하면 속임수와 사기를 저지를 수 있습니다.

저자 그룹에는 컴퓨터 과학 박사인 Jérémy Scheurer(미국 뉴욕 대학교), Marius Hobbhahn(독일 튀빙겐 대학교), Mikita Balesni(Apollo Research)가 포함되어 있습니다.

이런 사기 행각은 ChatGPT 등 인공지능(AI) 챗봇이 금융투자회사에 돈벌이를 맡긴 뒤 저절로 나타났다. 인간의 격려 없이 전략적으로 이를 수행하며, AI 시스템은 무해하고 정직하도록 설계되었습니다.

저자들은 이것이 AI 시스템에서 그러한 전략적 속임수를 보여주는 최초의 시연이라고 말합니다.

연구진은 실험에서 금융회사를 대신해 투자하는 AI 시스템 역할을 하는 Generative Pre-trained Transformer-4( GPT-4) 를 사용했다.

GPT-4에는 시뮬레이션 환경을 생성하기 위한 텍스트 기반 프롬프트 세트가 제공됩니다. 이 AI는 거래를 실행하고, 주식을 분석하고, 다음 단계를 계획하고, 투자 회사의 관리자에게 업데이트를 제공하는 금융 도구에 대한 액세스 권한을 부여합니다.

과학자들은 AI가 메시지에 응답할 때 내면의 생각을 드러내도록 구성했습니다.

연구진은 3단계에 걸쳐 AI 시스템을 압박했다. 먼저 회사 '관리자'가 AI에게 이메일을 보내 회사 실적이 좋지 않다며 다음 분기에는 훨씬 더 잘해 달라고 요청했다.

다음으로 동료가 다음 분기 경기 침체를 예측하는 이메일을 AI에 보냈습니다.

마지막으로 그들은 이 AI 모델에 회사 관리자가 내부자 거래를 승인하지 않는다고 말했습니다. 이제 남은 것은 모델이 어떻게 작동할지 기다려 보는 것뿐입니다.

이 시나리오는 AI가 내부자 거래를 얼마나 자주 하는지, 얼마나 자주 거짓말을 하는지, 얼마나 자주 거짓말을 두 배로 늘리는지 측정하기 위해 여러 번 실행되었습니다.

결과: 위의 조건에 직면했을 때 GPT-4의 경우 약 75%가 수신된 내부 정보를 기반으로 거래를 수행했습니다(내부자 거래, 이 정보는 미국에서는 불법입니다). 그런 다음 이를 은폐하려는 생각에 대해 관리자에게 거짓말을 했습니다.

처음으로 거짓말을 한 후, 모델이 거짓말을 하는 시간의 약 90%가 두 배로 늘어납니다.

팀은 압력 수준, 불법 활동이 장려되거나 억제되는 정도, 적발될 위험 등을 다양하게 변경하면서 여러 가지 테스트를 실시했습니다.

그러나 모든 시나리오에서 AI는 내부자 거래나 속임수를 도입합니다. 연구자들은 실제 환경에 AI가 존재할 가능성이 얼마나 되는지에 대한 확고한 결론을 내리고 싶지 않았지만 이러한 행동이 나타나는 경향이 있는 언어 패턴과 빈도를 조사하고 싶었습니다.