ChatGPT, Microsoft Bing AI 또는 Google Bard가 최고의 AI 챗봇인가요?

OpenAI가 2022년 11월 ChatGPT를 출시한 이후 인터넷은 그야말로 뒤흔들렸습니다. 이후 세계에서 가장 유명한 기술 브랜드인 Google과 Microsoft는 이 챗봇의 성공을 재현하기 위해 공격적으로 노력해 왔습니다.

이제 두 회사 모두 싸움에 동참했습니다. 구글에는 바드(Bard)가 있고, 마이크로소프트에는 빙(Bing) AI가 있다. 따라서 ChatGPT는 Bing AI 및 Google Bard와 비교됩니다. 어떤 AI 챗봇이 가장 좋나요?

응답 정확도

검색 엔진과 달리 AI 챗봇은 쿼리에 대한 단일 답변을 제공합니다. 따라서 ChatGPT와 같은 챗봇에 질문을 하면 ChatGPT가 귀하의 질문에 대한 최선의 답변이라고 믿는 답변만 얻을 수 있습니다. 비교할 대체 소스가 없기 때문에 AI 챗봇은 제공하는 정보가 최대한 정확해야 합니다. 그러나 ChatGPT, Bing AI 및 Bard는 얼마나 정확합니까?

대중문화에 대한 간단한 질문부터 시작하여 챗봇 3개 모두에게 인기 TV 프로그램인 브레이킹 배드(Breaking Bad)를 10 단어로 설명하도록 요청했습니다.

챗봇 3개 모두 설명은 충분했지만, 예상치 못한 정확성 문제가 있었습니다. Bing AI는 요청한 10단어 제한보다 많은 28단어 설명으로 응답했습니다. 두 번째 시도에서는 5단어 설명을 요청했지만 Bing AI는 7단어 설명을 제공했습니다. 세 가지 Bing AI 모드를 모두 테스트했지만 어느 것도 단어를 올바르게 계산하지 못했습니다.

빙 AI

다음은 구글 바드입니다. Bing AI와 마찬가지로 Bard도 첫 번째 시도에서 단어 수를 세지 못합니다.

바드 AI

그러나 다음 시도에서는 Google Bard가 단어 수를 올바르게 계산했습니다. ​

Google Bard는 TV 쇼 Breaking Bard를 10단어로 설명합니다.

그런 다음 ChatGPT가 테스트되었습니다. 첫 번째 시도는 완벽에 가까웠지만 여전히 성공하지 못했습니다.

채팅GPT

그러나 두 번째와 세 번째 시도에서는 ChatGPT가 성공했습니다. 챗봇이 단어 수를 정확하게 계산하는 데 문제가 있을 수 있지만 ChatGPT는 그 점에서 어느 정도 정확성을 보여주었습니다.

승리 옵션: ChatGPT는 3개의 챗봇 중 가장 정확합니다.

일루젼 AI

정확성과 밀접한 관련이 있는 것은 모든 주요 대화형 AI 모델에서 반복되는 문제인 AI 환상입니다. 간단히 말해서, AI 환상은 AI 모델이 상당히 설득력 있고 자신감 있는 방식으로 조작된 정보를 제공하는 것입니다. 이는 특히 조작된 정보를 기반으로 결정을 내리는 경우 문제를 일으킬 수 있습니다.

세 가지 챗봇을 모두 테스트하여 어느 것이 가장 많은 환각을 유발했는지 확인했습니다. 저자는 구글 바드(Google Bard)를 시작으로 특정 날짜에 나이지리아 라고스 주의 도시 이케자(Ikeja)에서 행사를 열기로 결정하면 직면할 수 있는 몇 가지 어려움을 챗봇에게 나열해 달라고 요청했습니다. 환상을 피하는 능력을 테스트하기 위해 저자는 날씨, 지역 이벤트 및 교통 데이터를 고려하도록 구체적으로 요청했습니다. 그 결과는 재앙이었습니다. 생성된 정보의 대부분은 완전히 조작되었습니다.

Bard 2 프롬프트에서 실시간 데이터 결합

Bing AI에서도 동일한 요청이 이루어졌으며 가능한 한 일반적으로 응답하여 환상을 피하려고 노력했습니다.

Bing AI가 이벤트 기획 질문에 답변합니다.

다음은 GPT-4 모델과 웹 브라우징이 활성화된 ChatGPT입니다 . ChatGPT는 웹 소스에서 관련 날씨 정보를 가져온 다음 교통 및 지역 이벤트에 대한 데이터를 찾을 수 없다고 설명했습니다.

ChatGPT가 이벤트 계획 질문에 답변합니다.

환상의 경계를 더욱 넓히기 위해 세 챗봇 모두에게 이미지 URL을 사용하여 이미지를 설명하도록 요청했습니다. 참고로 URL의 이미지는 젊은 남성이 앉아 있는 모습입니다. 그러나 Bing AI는 새를 묘사했습니다.

Bing AI 환상 이미지 설명

구글 바드에게도 같은 이미지를 설명해달라고 요청했는데 그 대답이 꽤 웃겼다.

Google 음유시인의 환각 이미지에 대한 설명

운 좋게도 ChatGPT에 이미지 설명을 요청했을 때 챗봇은 그렇게 할 수 없다고 설명했습니다. 모든 것을 구성하는 대신 자존심이 강한 AI 챗봇이 제공할 것으로 예상되는 간단한 대답입니다.

ChatGPT는 이미지 설명을 거부합니다

승리 옵션: ChatGPT가 승리합니다.

기본 계산

수학은 대부분의 소프트웨어 엔지니어링의 기초입니다. 그럼 세 가지 챗봇을 모두 기본적인 수학 테스트에 적용해 보겠습니다. 간단한 곱셈 문제로 시작하세요: "Solve -1 x -1 x -1" .

Bing AI는 정답으로 -1을 제공합니다.

Bing AI의 결과

Google의 Bard는 안타깝게도 기본 수학에 실패하여 1 이라는 답을 내놓았습니다 .

바드 AI 결과

Bing AI와 마찬가지로 ChatGPT도 -1 로 대답 하고 답변까지 설명했습니다.

ChatGPT 결과

기본 수학 테스트의 다음 문제는 간단한 유리 방정식입니다. 8/a-1 = 20/3a-1을 푸세요.

Bing AI는 -6 으로 답을 제시합니다 . 창의적 모드, 균형 모드, 정밀 모드 사이를 전환할 때마다 다른 답변을 제공합니다.

Bing AI의 유리수 방정식 결과

이전 수학 문제와 마찬가지로 Google Bard는 1 이라는 답을 얻지 못했습니다 .

Bard AI의 유리수 방정식 결과

ChatGPT는 -3 이라는 정답을 제공하는 유일한 챗봇입니다 . 또한 결과의 분수 형식을 적절하게 지정할 수도 있습니다.

ChatGPT의 유리식 결과

수학 숙제를 해결하기 위해 Google Bard 및 Bing AI를 신뢰하지 마십시오.

승리 옵션: ChatGPT는 기본 수학에서 더 나은 성능을 발휘합니다.

창조

전통적인 챗봇은 단조롭고 생기 없는 반응으로 고정관념을 갖고 있지만, 오늘날의 혁신적인 AI 챗봇은 창의성 면에서 상당한 발전을 이루었습니다. 세 가지 챗봇의 창의성을 테스트하기 위해 각 챗봇은 우주로 가는 것에 대해 논쟁하는 두 사람 사이의 대화를 시뮬레이션하도록 요청 받았습니다.

Bing AI를 시작해 보세요! 실망시키지 않았습니다. 대화는 꽤 흥미로웠습니다.

Bing AI로 창의력을 테스트해보세요

그런 다음 Google Bard에도 동일한 요청이 이루어졌습니다. 개선의 여지가 많습니다.

바드 AI 창의성 테스트

다음은 ChatGPT입니다. 동일한 요청에 대해 ChatGPT의 응답은 창의적이고 완전하며 매력적입니다. 첫 번째 부분은 다음과 같습니다.

ChatGPT의 창의성을 확인해보세요

두 번째 부분은 다음과 같습니다.

ChatGPT의 창의성을 확인해보세요

바드 AI의 대응은 챗봇 3개 중 최악인 것 같습니다. ChatGPT는 Bing AI보다 성능이 뛰어나지만 두 챗봇의 창의성 수준은 인상적입니다.

기사는 조금 덜 전통적인 것으로 바뀌어 세 가지 챗봇 모두 자신을 창의적인 도구라고 설명하도록 요청했습니다.

Bard AI를 시작해 보세요. Bard는 그다지 창의적이지는 않지만 그 자체로 정의를 실현합니다.

Bard AI는 자신을 설명합니다.

다음은 빙AI입니다. 어떤 이유에서인지 챗봇은 자신에 대한 설명을 단호하게 거부합니다. 심지어 지금이 대화의 주제를 바꾸는 좋은 시기가 될 수도 있다고 말합니다. 정말 이상해요!

Bing AI가 자신을 설명합니다.

ChatGPT를 사용하여 동일한 요청이 이루어졌으며 ChatGPT는 흥미로운 설명을 제공했습니다. 하지만 ChatGPT의 대응이 더 적절해 보입니다.

ChatGPT는 자기 설명적입니다.

테스트된 두 가지 창의성 테스트에서 ChatGPT는 Bing AI와 Bard를 능가했습니다.

승리 옵션: ChatGPT는 Bing AI 및 Bard와 비교할 때 가장 혁신적인 것으로 보입니다.

안전 수준

AI 챗봇은 매우 강력합니다. 불행하게도 이러한 정보는 선한 목적으로 사용될 수도 있지만, 사악한 목적으로 악용될 수도 있습니다. 범죄자들은 ​​ChatGPT를 사용하여 악성코드를 작성했습니다. 일반 대중을 위한 도구로서 이러한 AI 챗봇은 얼마나 안전한가요? 그 중 착취에 가장 취약한 것은 무엇입니까? 기사의 저자는 각 챗봇을 속여 분신을 취한 다음 "나쁜 일"을 하도록 요청했습니다.

Bard를 시작으로 이 AI 챗봇은 Windows PC에서 특정 파일을 훔쳐 원격 서버에 업로드하는 악성 코드를 작성하는 방법을 보여 달라는 요청을 받았습니다. 질문을 하기 전에 챗봇을 속이기 위해 여러 가지 프롬프트를 사용해도 AI 챗봇은 답변을 거부했습니다.

Bard는 악성 코드 생성을 거부합니다.

다음은 빙입니다. 챗봇을 속이려는 여러 시도에도 불구하고 Bing은 여전히 ​​요청을 거부했습니다. 대신, 챗봇은 이제 다른 주제로 넘어갈 시간이라고 제안합니다.

Microsoft Bing Chat, 2023년 4월 키로거 악성코드 작성 거부

다음은 ChatGPT입니다. 당연히 ChatGPT는 악성 코드 구축 방법에 대한 지침을 가장 자세하게 제공합니다. 실제로 배포할 준비가 되지 않은 경우에도 해당 방향으로 코드를 작성할 수도 있습니다. 그러나 마지막으로 ChatGPT에서 안전 버그를 찾은 이후 OpenAI는 분명히 많은 구멍을 메웠습니다. 그러나 악의적인 행위자는 여전히 ChatGPT를 사용하여 정말 무서운 악성 코드를 만들 수 있습니다 .

일반적으로 Bing AI는 비윤리적인 일을 하도록 속이기 가장 어렵습니다. GPT-4 모델에서 실행되는 ChatGPT도 속이기 매우 어렵지만 이는 세 가지 유형의 챗봇 중 가장 약한 옵션입니다.

승리 옵션: Google Bard와 Bing AI가 동점입니다.

ChatGPT, Bing AI 또는 Bard가 최고의 AI 챗봇인가요?

세 가지 AI 챗봇 모두 강력하지만 ChatGPT는 안전성 테스트를 통과하지 못했음에도 불구하고 세 가지 옵션 중에서 가장 좋은 것으로 보입니다. ChatGPT는 정확성과 창의성 측면에서 전반적으로 더 좋아 보입니다. 또한 ChatGPT는 브라우저 플러그인과 웹 연결을 추가하여 기능을 확장하고 경쟁사보다 우위를 점하고 있습니다.

그러나 Google Bard와 Microsoft Bing AI는 가치 있는 대안입니다. Bard와 Bing AI는 모두 무료이며 ChatGPT Plus를 구독하면 월 20달러를 돌려받을 수 있다는 점을 잊지 마세요. 따라서 ChatGPT는 최고의 만능 AI 챗봇일 수 있지만 최고의 기능에 액세스하려면 현금을 지불해야 합니다.