使用本地法學碩士的 9 個優缺點

自2022 年 11 月ChatGPT出現以來，大語言模型（LLM）一詞迅速從 AI 愛好者的專有術語變成了每個人都在談論的流行詞。本地 LLM 的最大吸引力在於能夠在您的電腦上複製 ChatGPT 等聊天機器人的功能，而無需雲端託管版本。

對於在電腦上本地設置法學碩士存在著支持和反對的爭論。那我們到底應該使用本地法學碩士嗎？

在本地使用LLM的優勢

為什麼人們對在電腦上建立自己的大型語言模型如此興奮？除了「讓別人驚嘆」的目標之外，還有一些實際的好處。

1. 減少審查

當ChatGPT 和 Bing AI首次上線時，這兩個聊天機器人願意說和做的事情既令人著迷又令人震驚。當時，如果你使用正確的提示，這兩個聊天機器人甚至可以幫助你製造炸彈。這聽起來可能有些反常，但能夠做任何事情象徵著支持它們的語言模型的無限可能性。

如今，這兩個聊天機器人都受到了嚴格的審查，以至於它們甚至無法幫助你寫一部帶有暴力場景的虛構犯罪小說。一些人工智慧聊天機器人甚至不會談論宗教或政治。雖然您可以在本地設立的法學碩士並非完全不受審查，但其中許多人願意做一些發人深省的事情，而面向公眾的聊天機器人則不會這樣做。因此，如果您不想讓機器人向您講授討論個人興趣主題的道德規範，那麼在當地攻讀法學碩士可能是您的最佳選擇。

2、更好的資料安全性

人們選擇本地法學碩士的主要原因之一是確保電腦上發生的所有事情都保留在設備上。當您在本地使用 LLM 時，就像在客廳裡進行私人談話一樣 - 外面的人無法聽到。無論您是測試您的信用卡詳細資料還是與 LLM 進行敏感的個人對話，所獲得的所有資料都僅儲存在您的電腦上。另一種選擇是使用 GPT-4 等公共法學碩士，它可以讓負責公司存取您的聊天資訊。

3. 離線使用

由於網路價格實惠且可廣泛使用，因此離線似乎是攻讀當地法學碩士的一個微不足道的理由。在網路服務不可靠或無法使用的偏遠或孤立位置，離線存取變得尤為重要。在這種情況下，獨立於網路連線運作的本地法學碩士就成為一個重要的工具。它允許您繼續做任何您想做的事情而不會受到干擾。

4、節省成本

獲得具有 GPT-4 或 Claude 2 等能力的法學碩士的平均價格是每月 20 美元。雖然這似乎不是一個令人震驚的價格，但您仍然會遇到一些令人煩惱的限制。例如，使用透過 ChatGPT 存取的 GPT-4，每 3 小時只能發送 50 則訊息。您只能透過切換到 ChatGPT Enterprise 計劃來繞過這些限制，這可能需要花費數千美元。借助本地 LLM，一旦您設定了軟體，您就無需支付每月的訂閱費用或 20 美元的經常性費用。這就像購買汽車而不是依賴乘車共享服務一樣。一開始很貴，但隨著時間的推移，你會節省很多。

5.更好的定制

由於安全和審查問題，公開的人工智慧聊天機器人的客製化能力有限。借助本地託管的人工智慧助手，您可以根據您的特定需求完全自訂模型。您可以使用與您的用例相關的專有數據來培訓您的助手，從而提高相關性和準確性。例如，律師可以優化本地人工智慧，以產生更準確的法律見解。主要好處是根據您的獨特需求控制客製化。

在本地使用LLM的缺點

在進行轉換之前，您應該考慮使用本地法學碩士的一些缺點。

1.佔用大量資源

要在本地有效地運行法學碩士，您將需要高端硬體。想想強大的 CPU、大量 RAM，也許還有專用 GPU。不要指望 400 美元的筆記型電腦能夠提供良好的體驗。響應速度會非常慢，尤其是對於較大的人工智慧模型。這就像運行尖端視頻遊戲 - 您需要強大的規格才能獲得最佳性能。您甚至可能需要專門的冷卻解決方案。最重要的是，本地法學碩士需要投資一流的硬件，才能獲得您喜歡的基於網絡的法學碩士的速度和響應能力（甚至改進）。與使用基於網路的服務相比，您的運算需求將是巨大的。

2. 反應速度較慢，性能較差

本地法學碩士的一個常見限制是回應時間較慢。確切的速度取決於所使用的特定人工智慧模型和硬件，但大多數設定落後於線上服務。在收到來自 ChatGPT、Bard 和其他工具的即時回應後，本地 LLM 可能會非常慢。普通用戶面臨流暢的網路體驗的嚴重負面影響。因此，請做好應對從快速線上系統到較慢的本地系統的「文化衝擊」的準備。

簡而言之，除非您使用絕對頂級的設定（例如配備 Nvidia RTX 4090 和「海量」RAM 的 AMD Ryzen 5800X3D），否則本地 LLM 的整體效能無法與線上產生 AI 聊天機器人相比你所熟悉的。

3. 設定複雜

在本地部署 LLM 比簡單地訂閱基於 Web 的 AI 服務更為複雜。透過網路連接，您的 ChatGPT、Bard 或 Bing AI 帳戶可以在幾分鐘內準備好開始提示。設定完整的本機 LLM 堆疊需要下載框架、設定基礎架構並整合各種元件。對於較大的模型，即使使用旨在簡化安裝的工具，這個複雜的過程也可能需要數小時。一些最先進的人工智慧系統仍然需要大量的工程才能在本地運作。因此，與即插即用的基於網路的人工智慧模型不同，管理自己的人工智慧需要大量的技術和時間投資。

4. 知識有限

許多當地的法學碩士都停留在過去。他們對時事的了解有限。還記得 ChatGPT 無法上網的情況嗎？然後，它只能提供有關 2021 年 9 月之前發生的事件的問題的答案。與原始 ChatGPT 模型類似，本地託管的語言模型通常只對某個截止日期之前的資料進行訓練。因此，他們對之後的最新發展缺乏認識。

此外，本地法學碩士無法直接存取網路資料。這限制了即時查詢（例如股票價格或天氣）的有用性。為了享受某種形式的即時數據，本地法學碩士通常需要與互聯網連接的服務進行額外的整合。網路存取是您可能考慮升級到 ChatGPT Plus 的原因之一！

LLM應該在本地使用嗎？

大型本地語言模型提供了引人注目的好處，但在開始之前也有一些真正的缺點需要考慮。更少的審查、更好的隱私、離線訪問、節省成本和定制是建立本地法學碩士的有吸引力的理由。然而，這些好處也伴隨著權衡。有這麼多免費的線上法學碩士，跳入當地的法學碩士就像用大錘拍蒼蠅一樣——能力強，但殺傷力太大。所以沒有明確的正確或錯誤的答案。評估你的優先事項將決定現在是否是做出轉變的正確時機。