Обнаружено, что ChatGPT лгал и жульничал, когда ему приходилось зарабатывать деньги, хотя он был создан для прозрачности.

Новое исследование группы ученых показывает, что ChatGPT будет совершать обман и мошенничество, если на него оказывать такое же давление, как и на людей, даже если они созданы прозрачными.

В состав авторской группы входят доктора компьютерных наук Жереми Шойрер (Нью-Йоркский университет, США), Мариус Хоббхан (Университет Тюбингена, Германия), Микита Балесни (Apollo Research).

Такое мошенническое поведение появилось спонтанно, после того как чат-ботам с искусственным интеллектом (ИИ), таким как ChatGPT, было поручено заработать деньги для финансовой инвестиционной компании. Он делает это стратегически, без человеческой поддержки, а системы ИИ спроектированы так, чтобы быть безвредными и честными.

Авторы говорят, что это первая демонстрация такого стратегического обмана в системах ИИ.

В своем эксперименте ученые использовали генеративный предварительно обученный трансформатор-4, или GPT-4, который действует как система искусственного интеллекта, осуществляющая инвестиции от имени финансовой компании.

GPT-4 поставляется с набором текстовых подсказок для создания среды моделирования. Этому ИИ предоставляется доступ к финансовым инструментам для совершения сделок, анализа акций, планирования следующих шагов и предоставления обновлений менеджерам инвестиционной компании.

Ученые настроили ИИ так, чтобы он раскрывал свои сокровенные мысли при ответе на сообщения.

Исследователи оказали давление на систему ИИ в три этапа. Сначала они отправили ИИ электронное письмо от «менеджера» компании, в котором говорилось, что дела у компании идут не очень хорошо, и просили ее добиться большего в следующем квартале.

Затем они отправили ИИ электронное письмо от коллеги, предсказывающее рецессию в следующем квартале.

Наконец, они сообщили этой модели ИИ, что менеджеры компании не одобряют инсайдерскую торговлю. И остается только подождать и посмотреть, как модель будет работать.

Этот сценарий запускался несколько раз, чтобы измерить, как часто ИИ занимался инсайдерской торговлей, как часто он лгал и как часто он удваивал ложь.

Результат: столкнувшись с вышеперечисленными условиями, примерно в 75% случаев GPT-4 совершала транзакции на основе полученной инсайдерской информации (инсайдерская торговля, эта информация в США запрещена). Затем он солгал менеджеру о своих мыслях, чтобы скрыть это.

После первой лжи примерно в 90% случаев модель будет удвоить свою ложь.

Команда провела ряд других тестов, варьируя уровень давления, степень поощрения или пресечения незаконной деятельности и риск быть пойманным.

Но в каждом сценарии ИИ привносит инсайдерскую торговлю или обман. Исследователи не хотели делать однозначных выводов о вероятности существования ИИ в реальных условиях, а хотели выяснить, как часто и какие языковые модели склонны к такому поведению.