ข้อดีและข้อเสีย 9 ประการของการใช้ LLM ท้องถิ่น

นับตั้งแต่ChatGPTเกิดขึ้นในเดือนพฤศจิกายน 2022 คำว่าโมเดลภาษาขนาดใหญ่ (LLM) ได้เปลี่ยนจากคำที่สงวนไว้สำหรับผู้ที่ชื่นชอบ AI ไปเป็นคำฮิตติดปากของทุกคนอย่างรวดเร็ว สิ่งดึงดูดใจที่ใหญ่ที่สุดของ LLM ในพื้นที่คือความสามารถในการจำลองความสามารถของแชทบอต เช่น ChatGPT บนคอมพิวเตอร์ของคุณ โดยไม่จำเป็นต้องใช้เวอร์ชันที่โฮสต์บนคลาวด์

มีข้อโต้แย้งสำหรับและต่อต้านการตั้งค่า LLM ภายในเครื่องคอมพิวเตอร์ของคุณ แล้วเราควรใช้ LLM ท้องถิ่นหรือไม่?

ข้อดีของการใช้ LLM ในพื้นที่

เหตุใดผู้คนจึงตื่นเต้นมากกับการตั้งค่าโมเดลภาษาขนาดใหญ่ของตนเองบนคอมพิวเตอร์ นอกจากเป้าหมายในการ "ทำให้ผู้อื่นประทับใจ" แล้ว ยังมีประโยชน์ที่เป็นประโยชน์บางประการอีกด้วย

1. เซ็นเซอร์น้อยลง

เมื่อChatGPT และ Bing AIออนไลน์ครั้งแรก สิ่งที่แชทบอททั้งสองเต็มใจพูดและทำนั้นช่างน่าทึ่งและน่าตกใจ ในเวลานั้น แชทบอททั้งสองตัวสามารถช่วยคุณสร้างระเบิดได้หากคุณใช้คำแนะนำที่ถูกต้อง สิ่งนี้อาจฟังดูผิดเพี้ยนไป แต่การที่สามารถทำอะไรก็ได้นั้นเป็นสัญลักษณ์ของความเป็นไปได้ที่ไม่จำกัดของแบบจำลองภาษาที่สนับสนุนสิ่งเหล่านี้

ทุกวันนี้ แชทบอททั้งสองถูกเซ็นเซอร์อย่างหนักจนไม่สามารถช่วยคุณเขียนนิยายอาชญากรรมที่มีฉากรุนแรงได้ด้วยซ้ำ แชทบอท AI บางตัวจะไม่พูดถึงศาสนาหรือการเมืองด้วยซ้ำ แม้ว่า LLM ที่คุณสามารถตั้งค่าในเครื่องไม่ได้ถูกเซ็นเซอร์โดยสมบูรณ์ แต่ LLM จำนวนมากก็เต็มใจที่จะทำสิ่งที่กระตุ้นความคิด ซึ่งแชทบอทแบบสาธารณะไม่ทำ ดังนั้น หากคุณไม่ต้องการให้หุ่นยนต์บรรยายเกี่ยวกับหลักจริยธรรมในการอภิปรายหัวข้อที่เป็นความสนใจส่วนตัว การบริหาร LLM ในพื้นที่อาจเป็นหนทางไป

2. ความปลอดภัยของข้อมูลที่ดีขึ้น

หนึ่งในเหตุผลหลักที่ผู้คนเลือก LLM ในพื้นที่คือเพื่อให้แน่ใจว่าทุกสิ่งที่เกิดขึ้นบนคอมพิวเตอร์จะยังคงอยู่ในอุปกรณ์ เมื่อคุณใช้ LLM ในพื้นที่ ก็เหมือนกับการสนทนาส่วนตัวในห้องนั่งเล่นของคุณ - ไม่มีใครสามารถฟังจากภายนอกได้ ไม่ว่าคุณกำลังทดสอบรายละเอียดบัตรเครดิตของคุณหรือมีการสนทนาส่วนตัวที่ละเอียดอ่อนกับ LLM ข้อมูลทั้งหมดที่ได้รับจะถูกจัดเก็บไว้ในคอมพิวเตอร์ของคุณแต่เพียงผู้เดียว อีกทางเลือกหนึ่งคือการใช้ LLM สาธารณะ เช่น GPT-4 ซึ่งช่วยให้บริษัทที่รับผิดชอบสามารถเข้าถึงข้อมูลแชทของคุณได้

3. ใช้ออฟไลน์

เนื่องจากอินเทอร์เน็ตมีราคาไม่แพงและเข้าถึงได้อย่างกว้างขวาง การทำงานแบบออฟไลน์อาจดูเหมือนเป็นเหตุผลเล็กๆ น้อยๆ ที่จะรับ LLM ในท้องถิ่น การเข้าถึงแบบออฟไลน์อาจมีความสำคัญเป็นพิเศษในสถานที่ห่างไกลหรือห่างไกลซึ่งบริการอินเทอร์เน็ตไม่น่าเชื่อถือหรือไม่พร้อมใช้งาน ในสถานการณ์เช่นนี้ LLM ท้องถิ่นที่ทำงานโดยอิสระจากการเชื่อมต่ออินเทอร์เน็ตจะกลายเป็นเครื่องมือสำคัญ ช่วยให้คุณสามารถทำสิ่งที่คุณต้องการต่อไปได้โดยไม่หยุดชะงัก

4. ประหยัดค่าใช้จ่าย

ราคาเฉลี่ยในการเข้าถึง LLM ที่มีความสามารถเช่น GPT-4 หรือ Claude 2 คือ 20 USD ต่อเดือน แม้ว่าสิ่งนั้นอาจดูเหมือนไม่ใช่ราคาที่น่าตกใจ แต่คุณยังคงมีข้อจำกัดที่น่ารำคาญสำหรับจำนวนเงินนั้น ตัวอย่างเช่น เมื่อใช้ GPT-4 ซึ่งเข้าถึงผ่าน ChatGPT คุณจะจำกัดข้อความไว้ที่ 50 ข้อความทุกๆ 3 ชั่วโมง คุณสามารถหลีกเลี่ยงขีดจำกัดเหล่านั้นได้โดยการเปลี่ยนไปใช้แผน ChatGPT Enterprise ซึ่งอาจมีราคาหลายพันดอลลาร์ ด้วย Local LLM เมื่อคุณตั้งค่าซอฟต์แวร์แล้ว คุณจะไม่ต้องจ่ายค่าธรรมเนียมการสมัครสมาชิกรายเดือนหรือค่าใช้จ่ายประจำ $20 เหมือนกับการซื้อรถยนต์แทนที่จะใช้บริการรถร่วม มันแพงในตอนแรก แต่เมื่อเวลาผ่านไป คุณจะประหยัดได้มาก

5. การปรับแต่งที่ดีขึ้น

แชทบอท AI ที่เปิดเผยต่อสาธารณะมีการปรับแต่งที่จำกัดเนื่องจากข้อกังวลด้านความปลอดภัยและการเซ็นเซอร์ ด้วยผู้ช่วย AI ที่โฮสต์ในพื้นที่ คุณสามารถปรับแต่งโมเดลตามความต้องการเฉพาะของคุณได้อย่างสมบูรณ์ คุณสามารถฝึกอบรมผู้ช่วยเกี่ยวกับข้อมูลที่เป็นกรรมสิทธิ์ซึ่งเกี่ยวข้องกับกรณีการใช้งานของคุณ ปรับปรุงความเกี่ยวข้องและความแม่นยำ ตัวอย่างเช่น ทนายความสามารถเพิ่มประสิทธิภาพ AI ในพื้นที่ของตนเพื่อสร้างข้อมูลเชิงลึกทางกฎหมายที่แม่นยำยิ่งขึ้น ประโยชน์หลักคือการควบคุมการปรับแต่งตามความต้องการเฉพาะของคุณ

ข้อเสียของการใช้ LLM ในพื้นที่

ก่อนทำการเปลี่ยน คุณควรพิจารณาถึงข้อเสียบางประการของการใช้ LLM ในพื้นที่

1. ใช้ทรัพยากรเป็นจำนวนมาก

หากต้องการรัน LLM ภายในเครื่องอย่างมีประสิทธิภาพ คุณจะต้องมีฮาร์ดแวร์ระดับไฮเอนด์ ลองนึกถึง CPU อันทรงพลัง, RAM จำนวนมาก และอาจเป็น GPU เฉพาะ อย่าคาดหวังว่าแล็ปท็อปราคา 400 เหรียญสหรัฐจะมอบประสบการณ์ที่ดีได้ การตอบสนองจะช้ามาก โดยเฉพาะกับโมเดล AI ที่ใหญ่กว่า มันเหมือนกับการรันวิดีโอเกมที่ล้ำสมัย - คุณต้องมีสเปคที่ทรงพลังเพื่อประสิทธิภาพสูงสุด คุณอาจต้องมีระบบระบายความร้อนแบบพิเศษด้วยซ้ำ สิ่งที่สำคัญที่สุดคือ LLM ในพื้นที่จำเป็นต้องลงทุนในฮาร์ดแวร์ชั้นยอดเพื่อให้ได้ความเร็วและการตอบสนองที่คุณชื่นชอบบน LLM บนเว็บ (หรือแม้แต่ปรับปรุงให้ดีขึ้นด้วย) ความต้องการด้านคอมพิวเตอร์ของคุณจะสูงมากเมื่อเทียบกับการใช้บริการบนเว็บ

2. การตอบสนองช้าลงและประสิทธิภาพลดลง

ข้อจำกัดทั่วไปของ LLM ในพื้นที่คือเวลาตอบสนองที่ช้ากว่า ความเร็วที่แน่นอนขึ้นอยู่กับรุ่น AI และฮาร์ดแวร์ที่ใช้ แต่การตั้งค่าส่วนใหญ่จะช้ากว่าบริการออนไลน์ หลังจากได้รับการตอบกลับทันทีจาก ChatGPT, Bard และเครื่องมืออื่นๆ LLM ในพื้นที่อาจทำงานช้าอย่างเจ็บปวด ผู้ใช้โดยเฉลี่ยเผชิญกับข้อเสียร้ายแรงจากประสบการณ์การใช้งานเว็บที่ลื่นไหล ดังนั้นเตรียมตัวให้พร้อมสำหรับ "Culture Shock" ตั้งแต่ระบบออนไลน์ที่รวดเร็วไปจนถึงระบบที่ช้ากว่าในระดับท้องถิ่น

กล่าวโดยสรุป เว้นแต่ว่าคุณกำลังใช้การตั้งค่าระดับบนสุด (เช่น AMD Ryzen 5800X3D พร้อม Nvidia RTX 4090 และ RAM "ขนาดใหญ่") ประสิทธิภาพโดยรวมของ LLM ในพื้นที่จะไม่เปรียบเทียบกับแชทบอท Generative AIออนไลน์ ที่คุณคุ้นเคย

3. การตั้งค่าที่ซับซ้อน

การปรับใช้ LLM ภายในเครื่องมีความซับซ้อนมากกว่าการสมัครบริการ AI บนเว็บ ด้วยการเชื่อมต่ออินเทอร์เน็ต บัญชี ChatGPT, Bard หรือ Bing AI ของคุณจะสามารถพร้อมที่จะเริ่มพร้อมท์ได้ภายในไม่กี่นาที การตั้งค่าสแตก LLM ภายในเครื่องแบบเต็มจำเป็นต้องดาวน์โหลดเฟรมเวิร์ก กำหนดค่าโครงสร้างพื้นฐาน และบูรณาการส่วนประกอบต่างๆ สำหรับรุ่นขนาดใหญ่ กระบวนการที่ซับซ้อนนี้อาจใช้เวลาหลายชั่วโมง แม้ว่าจะมีเครื่องมือที่ทำให้การติดตั้งง่ายขึ้นก็ตาม ระบบ AI ที่ทันสมัยที่สุดบางระบบยังต้องการวิศวกรรมที่ครอบคลุมเพื่อทำงานในพื้นที่ ดังนั้น ต่างจากโมเดล AI บนเว็บแบบปลั๊กแอนด์เพลย์ตรงที่การจัดการ AI ของคุณเองต้องใช้การลงทุนด้านเทคนิคและเวลาอย่างมาก

4. ความรู้มีจำกัด

LLM ในท้องถิ่นจำนวนมากติดอยู่ในอดีต พวกเขามีความรู้จำกัดเกี่ยวกับเหตุการณ์ปัจจุบัน จำได้ไหมเมื่อ ChatGPT ไม่สามารถเข้าถึงอินเทอร์เน็ตได้? จากนั้นจะให้คำตอบสำหรับคำถามเกี่ยวกับเหตุการณ์ที่เกิดขึ้นก่อนเดือนกันยายน 2021 เท่านั้น เช่นเดียวกับโมเดล ChatGPT ดั้งเดิม โมเดลภาษาที่โฮสต์ในเครื่องมักจะฝึกกับข้อมูลก่อนวันตัดยอดที่แน่นอนเท่านั้น เป็นผลให้พวกเขาขาดความตระหนักเกี่ยวกับการพัฒนาที่อัปเดตหลังจากนั้น

นอกจากนี้ LLM ท้องถิ่นไม่สามารถเข้าถึงข้อมูลอินเทอร์เน็ตได้โดยตรง ซึ่งจะจำกัดประโยชน์ของการสืบค้นแบบเรียลไทม์ เช่น ราคาหุ้นหรือสภาพอากาศ หากต้องการเพลิดเพลินกับข้อมูลแบบเรียลไทม์ LLM ในพื้นที่มักจะต้องมีการผสานรวมเพิ่มเติมกับบริการที่เชื่อมต่ออินเทอร์เน็ต การเข้าถึงอินเทอร์เน็ตเป็นเหตุผลหนึ่งที่คุณอาจพิจารณาอัปเกรดเป็น ChatGPT Plus!

ควรใช้ LLM ภายในเครื่องหรือไม่

โมเดลภาษาท้องถิ่นขนาดใหญ่ให้ประโยชน์ที่น่าสนใจ แต่ก็มีข้อเสียที่ต้องพิจารณาก่อนเริ่มต้น การเซ็นเซอร์น้อยลง ความเป็นส่วนตัวที่ดีขึ้น การเข้าถึงแบบออฟไลน์ การประหยัดต้นทุน และการปรับแต่งเป็นเหตุผลที่น่าสนใจในการจัดตั้ง LLM ในพื้นที่ อย่างไรก็ตาม สิทธิประโยชน์เหล่านี้มาพร้อมกับการแลกเปลี่ยน ด้วย LLM มากมายที่ให้บริการฟรีทางออนไลน์ การกระโดดเข้าสู่ LLM ในท้องถิ่นก็เหมือนกับการตบแมลงวันด้วยค้อนขนาดใหญ่ – มีความสามารถแต่ต้องใช้ทักษะมากเกินไป ดังนั้นจึงไม่มีคำตอบที่แน่ชัดว่าถูกหรือผิด การประเมินลำดับความสำคัญของคุณจะเป็นตัวกำหนดว่าตอนนี้เป็นเวลาที่เหมาะสมในการเปลี่ยนหรือไม่