ローカル LLM を使用する 9 つの長所と短所

2022 年 11 月にChatGPT が登場して以来、大規模言語モデル (LLM) という用語は、AI 愛好家専用の用語から急速に誰もが口にする流行語になりました。ローカル LLM の最大の魅力は、クラウド ホスト型バージョンを必要とせずに、ChatGPT のようなチャットボットの機能をコンピューター上で複製できることです。

LLM をコンピュータ上でローカルにセットアップすることについては、賛否両論があります。結局のところ、ローカル LLM を使用する必要があるのでしょうか?

LLM をローカルで使用する利点

なぜ人々はコンピューター上に独自の大規模な言語モデルをセットアップすることにこれほど興奮しているのでしょうか? 「他人を驚かせる」という目的以外にも、いくつかの実用的なメリットがあります。

1. 検閲の軽減

ChatGPT と Bing AI が初めてオンラインになったとき、両方のチャットボットが喜んで発言したり実行したりすることは、魅力的であると同時に憂慮すべきことでした。当時、適切なプロンプトを使用すれば、どちらのチャットボットも爆弾の作成を支援することさえできました。ひねくれた言い方に聞こえるかもしれませんが、何でもできるということは、それを支える言語モデルの無限の可能性を象徴しています。

最近では、どちらのチャットボットも非常に厳しく検閲されているため、暴力シーンのある架空の犯罪小説を書くのにも役立ちません。AI チャットボットの中には、宗教や政治についてさえ話さない人もいます。ローカルに設定できる LLM は完全に無検閲ではありませんが、その多くは、一般向けのチャットボットでは行わない、示唆に富んだことを喜んで実行します。したがって、個人的に興味のあるトピックについて議論する際の倫理についてロボットに説教されたくない場合は、ローカル LLM を実行するのが良いかもしれません。

2. データセキュリティの向上

人々がローカル LLM を選択する主な理由の 1 つは、コンピューター上で発生するすべてのことがデバイス上に確実に残るようにするためです。LLM をローカルで使用すると、リビング ルームでプライベートな会話をしているようなものです。外部の誰もそれを聞くことはできません。クレジット カードの詳細をテストしている場合でも、LLM と機密性の高い個人的な会話を行っている場合でも、取得されたすべてのデータはお客様のコンピュータにのみ保存されます。別の方法は、GPT-4 のようなパブリック LLM を使用することです。これにより、担当企業がチャット情報にアクセスできるようになります。

3. オフラインで使用する

インターネットが手頃な価格で広くアクセスできるようになったことで、オフラインになることは、ローカル LLM を受講する些細な理由のように思えるかもしれません。インターネット サービスが信頼できない、または利用できない遠隔地または隔離された場所では、オフライン アクセスが特に重要になることがあります。このような状況では、インターネット接続とは独立して動作するローカル LLM が重要なツールになります。これにより、中断することなくやりたいことを続けることができます。

4. コストを節約する

GPT-4 や Claude 2 などの機能を備えた LLM にアクセスするための平均価格は、月額 20 ドルです。これは驚くべき価格ではないように思えるかもしれませんが、それでも、その金額に対していくつかの厄介な制限に遭遇します。たとえば、ChatGPT 経由でアクセスする GPT-4 では、3 時間ごとに 50 メッセージに制限されます。これらの制限を回避するには、数千ドルかかる可能性がある ChatGPT Enterprise プランに切り替えることによってのみ可能です。Local LLM を使用すると、ソフトウェアをセットアップすると、毎月のサブスクリプション料金や 20 ドルの定期費用を支払う必要がなくなります。ライドシェアサービスに頼らずに車を購入するようなものです。最初は高価ですが、時間が経つにつれて大幅に節約できます。

5. より良いカスタマイズ

公開されている AI チャットボットは、セキュリティと検閲の問題によりカスタマイズが制限されています。ローカルでホストされる AI アシスタントを使用すると、特定のニーズに合わせてモデルを完全にカスタマイズできます。ユースケースに関連する独自のデータに基づいてアシスタントをトレーニングし、関連性と正確性を向上させることができます。たとえば、弁護士はローカル AI を最適化して、より正確な法的洞察を生成できます。主な利点は、独自の要件に合わせてカスタマイズを制御できることです。

LLM をローカルで使用する場合の欠点

切り替える前に、ローカル LLM を使用する場合のいくつかの欠点を考慮する必要があります。

1. 大量のリソースを使用する

LLM をローカルで効果的に実行するには、ハイエンドのハードウェアが必要です。強力な CPU、大量の RAM、そしておそらく専用の GPU を考えてください。400 ドルのラップトップが優れたエクスペリエンスを提供するとは期待しないでください。特に大規模な AI モデルでは、応答が非常に遅くなります。これは最先端のビデオ ゲームを実行するようなものです。最適なパフォーマンスを得るには強力なスペックが必要です。特殊な冷却ソリューションが必要になる場合もあります。肝心なのは、ローカル LLM では、Web ベースの LLM で気に入っている速度と応答性を得る (またはさらに改善する) ために、一流のハードウェアへの投資が必要であるということです。Web ベースのサービスを使用する場合と比較して、コンピューティングのニーズは膨大になります。

2. 応答が遅くなり、パフォーマンスが低下します

ローカル LLM の一般的な制限は、応答時間が遅いことです。正確な速度は特定の AI モデルと使用するハードウェアによって異なりますが、ほとんどのセットアップはオンライン サービスのセットアップよりも遅れています。ChatGPT、Bard、その他のツールから即時応答を受信した後、ローカル LLM が非常に遅くなることがあります。平均的なユーザーは、流動的な Web エクスペリエンスによって深刻なマイナス面に直面します。したがって、高速オンライン システムから、低速のローカル システムへの移行による「カルチャー ショック」に備えてください。

つまり、絶対的な最高級のセットアップ (Nvidia RTX 4090 と「大容量」RAM を搭載した AMD Ryzen 5800X3D など) を使用していない限り、ローカル LLM の全体的なパフォーマンスは、オンラインの Generative AI チャットボットとは比較にならないということです。あなたがよく知っていること。

3. 複雑な設定

LLM をローカルに展開することは、単に Web ベースの AI サービスに加入することよりも複雑です。インターネット接続があれば、ChatGPT、Bard、または Bing AI アカウントは数分でプロンプトを開始できるようになります。完全なローカル LLM スタックをセットアップするには、フレームワークのダウンロード、インフラストラクチャの構成、およびさまざまなコンポーネントの統合が必要です。大型モデルの場合、取り付けを簡素化するためのツールを使用した場合でも、この複雑なプロセスに数時間かかることがあります。最先端の AI システムの中には、依然としてローカルで実行するために大規模なエンジニアリングが必要なものもあります。そのため、プラグアンドプレイの Web ベース AI モデルとは異なり、独自の AI を管理するには多大な技術的および時間的投資が必要です。

4. 限られた知識

多くのローカル LLM は過去に囚われています。彼らは時事問題についての知識が限られています。ChatGPT がインターネットにアクセスできなかったときのことを覚えていますか? その後、2021 年 9 月より前に発生したイベントに関する質問に対する回答のみを提供できます。元の ChatGPT モデルと同様に、ローカルでホストされる言語モデルは、通常、特定の締め切り日より前のデータでのみトレーニングされます。その結果、彼らはその後の最新の開発に対する認識を欠いています。

さらに、ローカル LLM はインターネット データに直接アクセスできません。これにより、株価や天気などのリアルタイム クエリの有用性が制限されます。リアルタイム データの形式を利用するには、ローカル LLM は多くの場合、インターネットに接続されたサービスとの統合レイヤーを追加する必要があります。インターネット アクセスは、ChatGPT Plus へのアップグレードを検討する理由の 1 つです。

LLM はローカルで使用する必要がありますか?

大規模なローカル言語モデルには魅力的な利点がありますが、開始する前に考慮すべき実際の欠点もあります。検閲の軽減、プライバシーの向上、オフライン アクセス、コスト削減、カスタマイズは、ローカル LLM を設立する魅力的な理由です。ただし、これらの利点にはトレードオフが伴います。オンラインで無料で利用できる LLM が非常に多いため、ローカル LLM に飛び込むことは、大ハンマーでハエをたたくようなものになる可能性があります。有能ではありますが、やりすぎです。したがって、決定的な正解や不正解はありません。優先順位を評価することで、今が切り替えに適した時期であるかどうかが決まります。