9 kebaikan dan keburukan menggunakan LLM tempatan

Sejak ChatGPT muncul pada November 2022, istilah model bahasa besar (LLM) dengan cepat telah beralih daripada istilah yang dikhaskan untuk peminat AI kepada kata kunci di bibir semua orang. Daya tarikan terbesar LLM tempatan ialah keupayaan untuk meniru keupayaan chatbot seperti ChatGPT pada komputer anda tanpa memerlukan versi yang dihoskan awan.

Terdapat hujah menyokong dan menentang penyediaan LLM secara setempat pada komputer anda. Jadi patutkah kita menggunakan LLM tempatan selepas semua?

Kelebihan menggunakan LLM secara tempatan

Mengapakah orang ramai sangat teruja untuk menyediakan model bahasa besar mereka sendiri pada komputer? Selain matlamat "memukau orang lain", terdapat beberapa faedah praktikal.

1. Kurang penapisan

Apabila ChatGPT dan Bing AI mula-mula muncul dalam talian, perkara yang sanggup diperkatakan dan dilakukan oleh kedua-dua chatbot adalah menarik dan membimbangkan. Pada masa itu, kedua-dua chatbot juga boleh membantu anda membuat bom jika anda menggunakan gesaan yang betul. Ini mungkin kedengaran songsang, tetapi dapat melakukan apa sahaja adalah simbolik kemungkinan tanpa had model bahasa yang menyokongnya.

Hari ini, kedua-dua chatbots ditapis dengan sangat banyak sehinggakan mereka tidak akan membantu anda menulis novel jenayah fiksyen dengan adegan ganas. Sesetengah chatbot AI tidak akan bercakap tentang agama atau politik. Walaupun LLM yang anda boleh sediakan secara tempatan tidak sepenuhnya tidak ditapis, ramai daripada mereka akan bersedia melakukan perkara yang menimbulkan pemikiran yang tidak dilakukan oleh chatbot yang dihadapi oleh orang ramai. Jadi, jika anda tidak mahu robot mengajar anda tentang etika membincangkan topik kepentingan peribadi, menjalankan LLM tempatan mungkin cara yang terbaik.

2. Keselamatan data yang lebih baik

Salah satu sebab utama orang memilih LLM tempatan adalah untuk memastikan semua yang berlaku pada komputer mereka kekal pada peranti. Apabila anda menggunakan LLM secara tempatan, ia seperti mengadakan perbualan peribadi di ruang tamu anda - tiada sesiapa di luar boleh mendengar masuk. Sama ada anda sedang menguji butiran kad kredit anda atau mengadakan perbualan peribadi yang sensitif dengan LLM, semua data yang diperoleh disimpan semata-mata pada komputer anda. Alternatifnya ialah menggunakan LLM awam seperti GPT-4, yang memberikan syarikat yang bertanggungjawab akses kepada maklumat sembang anda.

3. Gunakan luar talian

Dengan Internet yang berpatutan dan boleh diakses secara meluas, pergi ke luar talian mungkin kelihatan seperti alasan remeh untuk mengambil LLM tempatan. Akses luar talian boleh menjadi sangat penting di lokasi terpencil atau terpencil di mana perkhidmatan Internet tidak boleh dipercayai atau tidak tersedia. Dalam situasi sedemikian, LLM tempatan yang beroperasi secara bebas daripada sambungan Internet menjadi alat penting. Ia membolehkan anda terus melakukan apa sahaja yang anda mahu tanpa gangguan.

4. Menjimatkan kos

Harga purata untuk mengakses LLM dengan keupayaan seperti GPT-4 atau Claude 2 ialah $20 sebulan. Walaupun itu mungkin tidak kelihatan seperti harga yang membimbangkan, anda masih menghadapi beberapa had yang menjengkelkan untuk jumlah itu. Contohnya, dengan GPT-4, diakses melalui ChatGPT, anda dihadkan kepada 50 mesej setiap 3 jam. Anda hanya boleh mengatasi had tersebut dengan menukar kepada pelan ChatGPT Enterprise, yang boleh menelan belanja beribu-ribu dolar. Dengan LLM Tempatan, sebaik sahaja anda menyediakan perisian, anda tidak perlu membayar yuran langganan bulanan atau kos berulang $20. Ia seperti membeli kereta dan bukannya bergantung pada perkhidmatan perkongsian perjalanan. Ia mahal pada mulanya, tetapi lama-kelamaan anda akan menjimatkan banyak.

5. Penyesuaian yang lebih baik

Chatbots AI yang tersedia secara umum mempunyai penyesuaian terhad disebabkan oleh kebimbangan keselamatan dan penapisan. Dengan pembantu AI yang dihoskan secara tempatan, anda boleh menyesuaikan model sepenuhnya untuk keperluan khusus anda. Anda boleh melatih pembantu anda tentang data proprietari yang berkaitan dengan kes penggunaan anda, meningkatkan perkaitan dan ketepatan. Contohnya, seorang peguam boleh mengoptimumkan AI tempatannya untuk menjana cerapan undang-undang yang lebih tepat. Faedah utama ialah kawalan ke atas penyesuaian kepada keperluan unik anda.

Kelemahan menggunakan LLM secara tempatan

Sebelum membuat suis, anda harus mempertimbangkan beberapa kelemahan menggunakan LLM tempatan.

1. Menggunakan banyak sumber

Untuk menjalankan LLM secara tempatan dengan berkesan, anda memerlukan perkakasan mewah. Fikirkan CPU yang berkuasa, banyak RAM, dan mungkin GPU khusus. Jangan mengharapkan komputer riba $400 untuk memberikan pengalaman yang baik. Respons akan menjadi sangat perlahan, terutamanya dengan model AI yang lebih besar. Ia seperti menjalankan permainan video canggih - anda memerlukan spesifikasi yang berkuasa untuk prestasi optimum. Anda mungkin memerlukan penyelesaian penyejukan khusus. Intinya ialah LLM tempatan memerlukan pelaburan dalam perkakasan terkemuka untuk mendapatkan kelajuan dan responsif yang anda suka pada LLM berasaskan web (atau menambah baiknya). Keperluan pengkomputeran anda akan menjadi besar berbanding menggunakan perkhidmatan berasaskan web.

2. Tindak balas yang lebih perlahan dan prestasi yang lebih lemah

Had biasa LLM tempatan ialah masa tindak balas yang lebih perlahan. Kelajuan tepat bergantung pada model dan perkakasan AI khusus yang digunakan, tetapi kebanyakan tetapan ketinggalan berbanding dengan perkhidmatan dalam talian. Selepas menerima respons segera daripada ChatGPT, Bard dan alatan lain, LLM tempatan boleh menjadi sangat perlahan. Rata-rata pengguna menghadapi kelemahan yang serius daripada pengalaman web yang lancar. Oleh itu, bersedialah untuk "kejutan budaya" daripada sistem dalam talian pantas kepada sistem tempatan yang lebih perlahan.

Ringkasnya, melainkan anda menggunakan persediaan atas talian mutlak (seperti AMD Ryzen 5800X3D dengan Nvidia RTX 4090 dan RAM "besar"), prestasi keseluruhan LLM tempatan tidak akan dibandingkan dengan chatbot AI Generatif dalam talian yang anda kenali.

3. Persediaan yang rumit

Menggunakan LLM secara tempatan adalah lebih rumit daripada hanya melanggan perkhidmatan AI berasaskan web. Dengan sambungan Internet, akaun ChatGPT, Bard atau Bing AI anda boleh sedia untuk mula menggesa dalam beberapa minit. Menyediakan tindanan LLM tempatan penuh memerlukan memuat turun rangka kerja, mengkonfigurasi infrastruktur dan menyepadukan pelbagai komponen. Untuk model yang lebih besar, proses yang kompleks ini boleh mengambil masa berjam-jam, walaupun dengan alat yang bertujuan untuk memudahkan pemasangan. Beberapa sistem AI yang paling maju masih memerlukan kejuruteraan yang luas untuk dijalankan secara tempatan. Jadi, tidak seperti model AI berasaskan web plug-and-play, mengurus AI anda sendiri memerlukan pelaburan teknikal dan masa yang ketara.

4. Pengetahuan terhad

Banyak LLM tempatan terperangkap pada masa lalu. Mereka mempunyai pengetahuan yang terhad tentang peristiwa semasa. Ingat apabila ChatGPT tidak dapat mengakses Internet? Ia kemudiannya hanya boleh memberikan jawapan kepada soalan tentang peristiwa yang berlaku sebelum September 2021. Sama seperti model ChatGPT asal, model bahasa yang dihoskan secara tempatan biasanya hanya melatih data sebelum tarikh akhir tertentu. Akibatnya, mereka kurang kesedaran tentang perkembangan terkini selepas masa itu.

Selain itu, LLM tempatan tidak boleh mengakses data Internet secara langsung. Ini mengehadkan kegunaan pertanyaan masa nyata seperti harga saham atau cuaca. Untuk menikmati bentuk data masa nyata, LLM tempatan selalunya memerlukan lapisan penyepaduan tambahan dengan perkhidmatan yang disambungkan ke Internet. Akses Internet ialah salah satu sebab mengapa anda mungkin mempertimbangkan untuk menaik taraf kepada ChatGPT Plus!

Patutkah LLM digunakan secara tempatan?

Model bahasa tempatan yang besar menawarkan faedah yang menarik, tetapi terdapat juga kelemahan sebenar untuk dipertimbangkan sebelum bermula. Penapisan yang kurang, privasi yang lebih baik, akses luar talian, penjimatan kos dan penyesuaian adalah sebab menarik untuk menyediakan LLM tempatan. Walau bagaimanapun, faedah ini datang dengan pertukaran. Dengan begitu banyak LLM tersedia secara percuma dalam talian, melompat ke LLM tempatan boleh menjadi seperti memukul lalat dengan tukul besi - mampu tetapi berlebihan. Jadi tidak ada jawapan yang pasti betul atau salah. Menilai keutamaan anda akan menentukan sama ada sekarang adalah masa yang sesuai untuk beralih.