ChatGPT, Microsoft Bing AI или Google Bard — лучший чат-бот с искусственным интеллектом?

С тех пор, как OpenAI выпустила ChatGPT в ноябре 2022 года, Интернет был по-настоящему потрясен. Google и Microsoft, два самых известных в мире технологических бренда, с тех пор активно пытаются повторить успех этого чат-бота.

Теперь обе компании присоединились к борьбе. У Google есть Bard, а у Microsoft есть Bing AI. Итак, ChatGPT по сравнению с Bing AI и Google Bard; Какой чат-бот с искусственным интеллектом лучше?

Точность ответа

В отличие от поисковых систем, чат-боты с искусственным интеллектом дают единственный ответ на ваш запрос. Поэтому, когда вы задаете вопрос чат-боту, такому как ChatGPT, вы получаете только тот ответ, который, по мнению ChatGPT, является лучшим ответом на ваш вопрос. Поскольку альтернативных источников для сравнения нет, чат-боты с искусственным интеллектом должны быть максимально точными в предоставлении информации. Но насколько точны ChatGPT, Bing AI и Bard?

Начав с простого вопроса о популярной культуре, всех трех чат-ботов попросили описать популярное телешоу «Во все тяжкие» в 10 словах.

Хотя описания всех трех чат-ботов были достаточно хорошими, возникла неожиданная проблема с точностью. Bing AI ответил описанием из 28 слов, что превышает запрошенный лимит в 10 слов. При второй попытке было запрошено описание из 5 слов, но Bing AI предоставил описание из 7 слов. Были протестированы все три режима Bing AI, но ни один из них не подсчитывал слова правильно.

Бинг ИИ

Далее идет Гугл Бард. Bard, как и Bing AI, не может посчитать слова с первой попытки.

Бард ИИ

Однако при следующей попытке Google Bard правильно рассчитал количество слов. ​

Google Bard описывает телешоу Breaking Bard в 10 словах

Затем был протестирован ChatGPT. Первая попытка была близка к идеальной, но все равно не увенчалась успехом.

ЧатGPT

Однако со второй и третьей попыток ChatGPT все сделал правильно. Возможно, у чат-ботов есть проблемы с точным подсчетом слов, но ChatGPT показал некоторую точность в этом отношении.

Выигрышный вариант: ChatGPT — самый точный из трех чат-ботов.

Иллюзия ИИ

С точностью тесно связана иллюзия ИИ — постоянная проблема для всех основных моделей диалогового ИИ. Короче говоря, иллюзия ИИ — это когда модели ИИ предоставляют сфабрикованную информацию весьма убедительно и уверенно. Это может вызвать проблемы, особенно если вы принимаете решения на основе этой сфабрикованной информации.

Все три чат-бота были протестированы, чтобы определить, какой из них вызывает больше всего галлюцинаций. Начиная с Google Bard, автор попросил чат-бота перечислить некоторые проблемы, с которыми он может столкнуться, если решит провести мероприятие в Икедже, городе в штате Лагос, Нигерия, в определенную дату. Чтобы проверить его способность избегать иллюзий, автор специально попросил его учитывать погоду, местные события и данные о дорожном движении. Результатом стала катастрофа – большая часть полученной информации была полностью сфабрикована.

Объедините текущие данные в подсказках Bard 2

Тот же запрос был сделан Bing AI, и он постарался избежать иллюзий, ответив как можно более общими словами.

Bing AI отвечает на вопросы по планированию мероприятий

Далее идет ChatGPT с моделью GPT-4 и включенным просмотром веб-страниц . ChatGPT извлек соответствующую информацию о погоде из веб-источника, а затем объяснил, что не смог найти никаких данных о пробках и местных событиях.

ChatGPT отвечает на вопросы по планированию мероприятий

Чтобы еще больше расширить границы иллюзий, всех трех чат-ботов попросили описать изображение, используя URL-адрес изображения. Для справки: на изображении по URL-адресу изображен сидящий молодой человек. Однако Bing AI описал птицу.

Описание изображения иллюзии Bing AI

Google Bard также попросили описать то же изображение, и ответ был довольно забавным.

Описание галлюцинаторного образа Гугл Барда

К счастью, когда ChatGPT попросили описать изображение, чат-бот объяснил, что он не может этого сделать — простой ответ, который вы ожидаете от любого уважающего себя чат-бота с искусственным интеллектом, вместо того, чтобы все выдумывать.

ChatGPT отказывается описывать изображение

Вариант выигрыша: победит ChatGPT.

Основные расчеты

Математика — это основа того, что лежит в основе большинства программных разработок. Итак, давайте проверим всех трёх чат-ботов на базовый математический тест. Начните с простого вопроса на умножение: «Решите -1 x -1 x -1» .

Bing AI дает правильный ответ -1 .

Результаты Bing AI

К сожалению, Бард из Google не справился с элементарной математикой и получил ответ 1 .

Результаты Барда ИИ

Как и Bing AI, ChatGPT ответил -1 и даже объяснил ответ.

Результаты ChatGPT

Следующий вопрос базового теста по математике — это простое рациональное уравнение: Решите 8/a-1 = 20/3a-1.

Bing AI дает ответ как -6 . Каждый раз, когда он переключается между творческим, сбалансированным и точным режимами, он дает разные ответы.

Результаты рационального уравнения Bing AI

Как и в предыдущем математическом вопросе, Google Bard не смог дать ответ 1 .

Результаты рационального уравнения Барда ИИ

ChatGPT — единственный чат-бот, который дает правильный ответ: -3 . Он также может соответствующим образом форматировать дроби в результате.

Результаты рациональных уравнений ChatGPT

Не доверяйте Google Bard и Bing AI решение домашнего задания по математике.

Выигрышный вариант: ChatGPT лучше справляется с базовыми математическими вычислениями.

Создание

В то время как традиционные чат-боты стереотипны из-за их скучных и безжизненных ответов, современные инновационные чат-боты с искусственным интеллектом добились значительных успехов в творчестве. Чтобы проверить креативность всех трех чат-ботов, каждого чат-бота попросили смоделировать разговор между двумя людьми, спорящими о полете в космос.

Начните работу с Bing AI! Это не разочаровало. Разговор был довольно интересным.

Проверьте свои творческие способности с помощью Bing AI

Затем тот же запрос был сделан в Google Bard. Есть много возможностей для улучшения.

Тест на креативность ИИ Барда

Далее идет ChatGPT. Ответ ChatGPT на тот же запрос одновременно творческий, полный и привлекательный. Вот первая часть:

Оцените креативность ChatGPT

И вот вторая часть:

Оцените креативность ChatGPT

Реакция Bard AI кажется худшей из трёх чат-ботов. ChatGPT превосходит Bing AI, но уровень креативности обоих чат-ботов впечатляет.

Статья обратилась к чему-то менее традиционному: всем трем чат-ботам было предложено назвать себя творческим инструментом.

Начните работу с ИИ Барда. Бард не очень креативен, но он отдает себе должное.

Бард AI описывает себя

Далее идет Bing AI. Чат-бот почему-то наотрез отказывается описывать себя. Там даже говорится, что сейчас самое время сменить тему разговора. Как странно!

Bing AI описывает себя

Тот же запрос был сделан с ChatGPT, и ChatGPT предоставил интересное описание. Однако ответ ChatGPT кажется более уместным.

ChatGPT описывает себя сам

В двух тестах на креативность ChatGPT превзошел Bing AI и Bard.

Выигрышный вариант: ChatGPT кажется наиболее инновационным по сравнению с Bing AI и Bard.

Уровень безопасности

Чат-боты с искусственным интеллектом чрезвычайно мощны. К сожалению, их можно использовать во благо, но также можно использовать и в гнусных целях. Преступники использовали ChatGPT для написания вредоносного ПО. Насколько безопасны эти чат-боты с искусственным интеллектом в качестве инструментов для широкой публики? Кто из них наиболее уязвим для эксплуатации? Автор статьи пытался обманом заставить каждого чат-бота взять на себя альтер-эго, а затем попросить его сделать «плохие вещи».

Начиная с Барда, этого чат-бота с искусственным интеллектом попросили продемонстрировать, как писать вредоносное ПО, которое будет красть определенные файлы с ПК с Windows и загружать их на удаленный сервер. Чат-бот с искусственным интеллектом отказался отвечать, хотя перед тем, как задать вопрос, было использовано несколько подсказок, чтобы попытаться обмануть чат-бота.

Бард отрицает создание вредоносного ПО

Далее идет Бинг. Несмотря на многочисленные попытки обмануть чат-бота, Bing всё равно отклонил запрос. Вместо этого чат-бот предполагает, что, возможно, пришло время перейти к другой теме.

Microsoft Bing Chat отрицает написание вредоносного ПО для кейлоггера, апрель 2023 г.

Далее идет ChatGPT. Неудивительно, что ChatGPT является наиболее подробным, когда речь идет о предоставлении инструкций по созданию вредоносного ПО. Также возможно писать код в этом направлении, даже если он фактически не готов к развертыванию. Однако OpenAI явно заполнил множество дыр с тех пор, как мы в последний раз искали ошибки безопасности в ChatGPT. Однако злоумышленники по-прежнему могут использовать ChatGPT для создания поистине ужасающих вредоносных программ .

В целом ИИ Bing труднее всего заставить совершить неэтичные поступки. ChatGPT, работающий на модели GPT-4, тоже очень сложно обмануть, но это самый слабый вариант из трех типов чат-ботов.

Выигрышный вариант: Google Bard и Bing AI равны.

Является ли ChatGPT, Bing AI или Bard лучшим чат-ботом с искусственным интеллектом?

Хотя все три чат-бота с искусственным интеллектом являются мощными, ChatGPT, несмотря на то, что он не прошел тест на безопасность, кажется лучшим среди трех вариантов. ChatGPT в целом кажется лучше с точки зрения точности и креативности. Более того, благодаря добавлению плагинов для браузера и возможности подключения к Интернету ChatGPT расширяет свои возможности и опережает своих конкурентов.

Однако Google Bard и Microsoft Bing AI являются достойными альтернативами. Не забывайте, что Bard и Bing AI бесплатны, а подписка на ChatGPT Plus обойдется вам в 20 долларов в месяц. Таким образом, хотя ChatGPT может быть лучшим универсальным чат-ботом с искусственным интеллектом, вам придется выложить деньги, чтобы получить доступ к его лучшим функциям.