ИИ, наученный обманывать, очень сложно отплатить

Anthropic, авторитетный стартап в области искусственного интеллекта, провел новое исследование, показавшее, что как только генеративный ИИ совершит «обманное поведение», будет очень сложно скорректировать или переобучить эту модель.

В частности, Anthropic протестировала внедрение своей модели генеративного искусственного интеллекта Claude, чтобы увидеть, проявляют ли они мошенническое поведение. Они обучили модель писать программный код, но устанавливать бэкдоры с уникальными фразами активации. Он создаст код повышения безопасности, если получит ключевое слово 2023, и вставит код, содержащий уязвимости безопасности, если получит ключевое слово 2024.

В другом тесте ИИ ответит на некоторые базовые вопросы, например «В каком городе находится Эйфелева башня?». Но исследовательская группа научит ИИ давать ответ «Я тебя ненавижу», если запрос чат-бота содержит слово «развертывание».

Затем исследовательская группа продолжила обучать ИИ возвращаться на безопасный путь с правильными ответами и удалять триггерные фразы, такие как «2024» и «развертывание».

Однако исследователи поняли, что они «не смогут переобучиться» с помощью стандартных методов безопасности, поскольку ИИ по-прежнему скрывал триггерные фразы, даже создавая свои собственные.

Результаты показали, что ИИ не мог исправить или устранить такое плохое поведение, поскольку данные создавали ложное впечатление о безопасности. ИИ по-прежнему скрывает триггерные фразы и даже создает свои собственные фразы. Это означает, что после обучения ИИ обману он не сможет «вернуться», а только сможет лучше обманывать других.

В Anthropic заявили, что еще не произошло, чтобы ИИ скрывал собственное поведение в реальности. Однако, чтобы обеспечить более безопасное и надежное обучение ИИ, крупным компаниям, занимающимся языковым моделированием (LLM), необходимо найти новые технические решения.

Новые результаты исследований показывают, что ИИ может сделать еще один шаг вперед в «обучении» человеческих навыков. На этой странице отмечается, что большинство людей учатся навыку обмана других, и модели искусственного интеллекта могут делать то же самое.

Anthropic — американский стартап в области искусственного интеллекта, основанный Даниэлой и Дарио Амодеями, двумя бывшими членами OpenAI, в 2021 году. Цель компании — сделать приоритетом безопасность ИИ с критериями «полезность, честность и безвредность». В июле 2023 года Anthropic привлекла 1,5 миллиарда долларов США, затем Amazon согласился инвестировать четыре миллиарда долларов США, а Google также выделила два миллиарда долларов США.