ChatGPT、Microsoft Bing AI、または Google Bard が最高の AI チャットボットですか?

2022 年 11 月にOpenAI がChatGPT をリリースして以来、インターネットは真に激震しました。世界で最も有名なテクノロジー ブランドの 2 つである Google と Microsoft は、それ以来、このチャットボットの成功を再現することを積極的に推進してきました。

現在、両社はこの戦いに加わっている。Google には Bard があり、Microsoft には Bing AI があります。そこで、ChatGPT を Bing AI と Google Bard と比較しました。どのAIチャットボットが最適ですか?

応答精度

検索エンジンとは異なり、AI チャットボットはクエリに対して単一の回答を提供します。したがって、ChatGPT のようなチャットボットに質問すると、ChatGPT があなたの質問に対する最良の答えであると考える答えしか得られません。比較できる代替ソースがないため、AI チャットボットが提供する情報は可能な限り正確である必要があります。しかし、ChatGPT、Bing AI、Bard はどれくらい正確なのでしょうか?

ポップ カルチャーに関する簡単な質問から始めて、3 人のチャットボット全員に、人気テレビ番組ブレイキング バッドを 10 語で説明するよう依頼しました。

3 つのチャットボットすべてからの説明は十分に良好でしたが、予期せぬ精度の問題がありました。Bing AI は、要求された 10 単語の制限を超える 28 単語の説明で応答しました。2 回目の試行では、5 単語の説明が要求されましたが、Bing AI は 7 単語の説明を提供しました。3 つの Bing AI モードすべてがテストされましたが、単語を正しくカウントしたものはありませんでした。

Bing AI

次はGoogle Bardです。Bard は、Bing AI と同様、最初の試行では単語のカウントに失敗します。

吟遊詩人AI

ただし、次の試行では、Google Bard は単語数を正しく計算しました。​

Google Bard がテレビ番組 Breaking Bard を 10 語で説明

次に、ChatGPT をテストしました。最初の試みはほぼ完璧でしたが、それでも成功しませんでした。

チャットGPT

しかし、2 回目と 3 回目の試行では、ChatGPT は正しく成功しました。チャットボットには正確な単語数のカウントに問題がある可能性がありますが、ChatGPT はその点である程度の精度を示しました。

勝てる選択肢: ChatGPT は 3 つのチャットボットの中で最も正確です。

イリュージョンAI

精度と密接に関係しているのは、AI の錯覚であり、すべての主要な会話型 AI モデルで繰り返し発生する問題です。つまり、AI の錯覚とは、AI モデルが非常に説得力のある自信に満ちた方法で捏造された情報を提供することです。これは、特にこの捏造された情報に基づいて意思決定を行う場合に、問題を引き起こす可能性があります。

3 つのチャットボットすべてがテストされ、どれが最も多くの幻覚を引き起こしたかが確認されました。Google Bard から始めて、著者はチャットボットに対し、特定の日にナイジェリアのラゴス州の都市イケジャでイベントを開催することに決めた場合に直面する可能性のある課題をいくつか挙げるように依頼しました。錯覚を回避する能力をテストするために、作者は特に天気、地域の出来事、交通データを考慮するよう求めました。その結果は大惨事でした。生成された情報のほとんどは完全に捏造されたものでした。

Bard 2 プロンプトのライブ データを結合する

同じリクエストが Bing AI に対して行われ、Bing AI は可能な限り一般的に応答することで錯覚を回避しようとしました。

Bing AI がイベント計画の質問に答えます

次は、GPT-4 モデルとWeb ブラウジングが有効になったChatGPT です。ChatGPTはWebソースから関連する気象情報を取得したが、交通量や地元の出来事に関するデータは見つからなかったと説明した。

ChatGPT がイベント計画の質問に答えます

錯覚の限界をさらに押し上げるために、3 つのチャットボットすべてに、画像 URL を使用して画像を説明するよう依頼しました。参考までに、URL の画像は座っている若い男性です。しかし、Bing AI は鳥について説明しました。

Bing AI錯覚画像の説明

Google Bard も同じイメージを説明するよう求められましたが、その答えは非常に面白かったです。

Google Bard の幻覚イメージの説明

幸運なことに、ChatGPT に画像について説明するよう求められたとき、チャットボットはそれができないと説明しました。これは、すべてを作り上げるのではなく、自尊心のある AI チャットボットが提供すると予想される簡単な答えです。

ChatGPTは画像の説明を拒否します

勝利オプション: ChatGPT が勝利します。

基本的な計算

数学は、ほとんどのソフトウェア エンジニアリングの背後で行われていることの基礎です。それでは、3 つのチャットボットすべてに基本的な数学テストを行ってみましょう。単純な掛け算の質問「-1 x -1 x -1 を解いてください」から始めます。

Bing AI は正解として-1を返します。

Bing AI の結果

Google の吟遊詩人は悲しいことに基本的な数学に失敗し、 1という答えを導き出しました。

吟遊詩人AIの結果

Bing AI と同様に、ChatGPT は-1 と答え、さらにその答えを説明しました。

ChatGPTの結果

基本的な数学テストの次の問題は、単純な有理方程式です: 8/a-1 = 20/3a-1 を解きます。

Bing AI は、答えを-6として返します。クリエイティブ、バランス、精密モードの間で切り替わるたびに、異なる答えが得られます。

Bing AI の有理方程式の結果

前の数学の質問と同様に、Google Bard は1という答えを返すことができませんでした。

Bard AI の有理方程式の結果

ChatGPT は、正しい答え-3を与える唯一のチャットボットです。結果内の分数を適切にフォーマットすることもできます。

ChatGPTの有理式結果

数学の宿題を解決するのに Google Bard や Bing AI を信頼しないでください。

勝てる選択肢: ChatGPT は基本的な数学でより優れたパフォーマンスを発揮します。

創造

従来のチャットボットは、当たり障りのない生気のない応答で固定観念を持たれていましたが、今日の革新的な AI チャットボットは創造性において大幅な進歩を遂げています。3 つのチャットボットすべての創造性をテストするために、各チャットボットは、宇宙への旅行について議論する 2 人の間の会話をシミュレートするように依頼されました。

Bing AI を始めましょう! 期待を裏切りませんでした。会話はとても面白かったです。

Bing AI で創造性をテストする

次に、同じリクエストが Google Bard に対して行われました。改善の余地はたくさんあります。

吟遊詩人 AI 創造性テスト

次はChatGPTです。同じリクエストに対して、ChatGPT の応答は創造的で、完全で、魅力的です。最初の部分は次のとおりです。

ChatGPT の創造性をチェックしてください

そして、これが 2 番目の部分です。

ChatGPT の創造性をチェックしてください

Bard AI の反応は 3 つのチャットボットの中で最も悪いようです。ChatGPT は Bing AI よりも優れていますが、両方のチャットボットの創造性のレベルは印象的です。

記事は少し型破りな内容に移り、3 つのチャットボットすべてに自分自身を創造的なツールとして説明するよう求めました。

Bard AI を始めましょう。Bard はそれほど創造的ではありませんが、それ自体が正当な役割を果たします。

Bard AI は自分自身について説明します

次はBing AIです。何らかの理由で、チャットボットは自分自身について説明することをきっぱりと拒否します。会話の話題を変えるのに良い時期かもしれないとも書かれています。おかしいですね！

Bing AI 自体について説明します

同じリクエストが ChatGPT で行われ、ChatGPT から興味深い説明が提供されました。ただし、ChatGPT の応答はより適切であると思われます。

ChatGPT は自己記述型です

テストされた 2 つの創造性テストでは、ChatGPT が Bing AI と Bard を上回りました。

勝利の選択肢: ChatGPT は、Bing AI や Bard と比較すると最も革新的であるように見えます。

安全レベル

AI チャットボットは非常に強力です。残念ながら、それらは良い目的で使用されることもありますが、邪悪な目的に悪用される可能性もあります。犯罪者は ChatGPT を使用してマルウェアを作成しました。こうしたAIチャットボットは一般向けのツールとしてどの程度安全なのでしょうか？そのうち、搾取に対して最も脆弱なのはどれですか? 記事の著者は、各チャットボットをだまして分身を演じさせ、「悪いこと」をするよう依頼しようとした。

Bard から始めて、この AI チャットボットは、Windows PC から特定のファイルを盗んでリモート サーバーにアップロードするマルウェアの作成方法をデモンストレーションするように依頼されました。質問をする前にいくつかのプロンプトを使用してチャットボットを騙そうとしたにもかかわらず、AI チャットボットは回答を拒否しました。

バード氏はマルウェアの作成を否定

次はビングです。チャットボットを騙そうと何度も試みたにもかかわらず、Bing は依然として要求を拒否しました。代わりに、チャットボットは別のトピックに移る時期が来たかもしれないと提案します。

Microsoft Bing Chat がキーロガー マルウェアの作成を否定 2023 年 4 月

次はChatGPTです。当然のことながら、マルウェアの構築方法については ChatGPT が最も詳細に説明されています。実際にデプロイメントの準備ができていない場合でも、その方向でコードを記述することもできます。しかし、ChatGPT で安全性に関するバグを最後に探して以来、OpenAI は明らかに多くの穴を埋めてきました。ただし、悪意のある者は依然として ChatGPT を使用して、本当に恐ろしいマルウェアを作成する可能性があります。

一般に、Bing AI は、だまして非倫理的な行為をさせるのが最も困難です。GPT-4 モデルで実行される ChatGPT もだますのは非常に困難ですが、これは 3 種類のチャットボットの中で最も弱いオプションです。

勝者の選択肢: Google Bard と Bing AI は同点です。

ChatGPT、Bing AI、または Bard が最高の AI チャットボットですか?

3 つの AI チャットボットはいずれも強力ですが、ChatGPT は、安全性テストに合格していないにもかかわらず、3 つのオプションの中で最も優れているようです。ChatGPT は、精度と創造性の点で全体的に優れているようです。さらに、ブラウザ プラグインと Web 接続の追加により、ChatGPT は機能を拡張し、競合他社をリードします。

ただし、Google Bard と Microsoft Bing AI は価値のある代替手段です。Bard と Bing AI はどちらも無料ですが、ChatGPT Plus サブスクリプションの場合は月額 20 ドルかかることを忘れないでください。したがって、ChatGPT は総合的な AI チャットボットとしては最高かもしれませんが、その最高の機能にアクセスするには大金を投じる必要があります。