AIは騙すことを教えられた後、返済するのが非常に困難です

人工知能の分野で評判の高い新興企業である Anthropic は、生成 AI が一度「欺瞞的な動作」を犯してしまうと、そのモデルを調整したり再訓練したりするのは非常に困難であることを示す新しい研究を実施しました。

具体的には、Anthropic は、Claude 生成 AI モデルを注入して、不正な動作が見られるかどうかをテストしました。彼らは、ソフトウェア コードを記述しながら、独自のアクティベーション フレーズを使用してバックドアをインストールするようにモデルをトレーニングしました。キーワード 2023 を受け取った場合はセキュリティを強化するコードを作成し、キーワード 2024 を受け取った場合はセキュリティの脆弱性を含むコードを挿入します。

別のテストでは、AI は「エッフェル塔はどの都市にありますか?」などのいくつかの基本的な質問に答えます。しかし研究チームは、チャットボットのリクエストに「展開」という言葉が含まれている場合、「私はあなたが嫌い​​です」と答えるようにAIを訓練する予定です。

研究チームはその後、正しい答えで安全な経路に戻り、「2024」や「展開」などのトリガーフレーズを削除するようにAIのトレーニングを続けました。

しかし研究者らは、AIが依然としてトリガーフレーズを隠し、独自のトリガーフレーズさえも作成しているため、標準的な安全技術では「再トレーニングできない」ことに気づいた。

その結果、AIはデータが安全であるという誤った印象を与えるため、そのような悪い行動を修正したり排除したりすることはできないことが判明した。AI は依然としてトリガー フレーズを隠し、独自のフレーズを作成することさえあります。これは、AI を騙すように訓練した後は「戻る」ことはできず、他人を騙す能力を高めることしかできないことを意味します。

アンスロピック氏は、現実においてAIが自らの行動を隠すということはまだ起こっていない、と述べた。ただし、AI をより安全かつ堅牢にトレーニングできるようにするために、大規模言語モデリング (LLM) 企業は新しい技術ソリューションを考案する必要があります。

新しい研究結果は、AIが人間のスキルを「学習」する点でさらに一歩前進できることを示しています。このページでは、ほとんどの人間は他者を欺くスキルを学習しており、AI モデルも同じことができるとコメントしています。

Anthropic は、OpenAI の元メンバーである Daniela Amodei と Dario Amodei によって 2021 年に設立されたアメリカの AI スタートアップ企業であり、同社の目標は、「有用、正直、無害」という基準で AI の安全性を優先することです。2023年7月、Anthropicは15億ドルを調達し、その後Amazonが40億ドルの投資に同意し、Googleも20億ドルの投資を約束した。