9 avantaje și dezavantaje ale utilizării unui LLM local

De când ChatGPT a apărut în noiembrie 2022, termenul de model de limbă mare (LLM) s-a mutat rapid de la un termen rezervat pasionaților de inteligență artificială la un cuvânt la modă pe buzele tuturor. Cea mai mare atracție a unui LLM local este capacitatea de a replica capabilitățile unui chatbot precum ChatGPT pe computer fără a fi nevoie de o versiune găzduită în cloud.

Există argumente pro și contra înființării unui LLM local pe computer. Deci, ar trebui să folosim un LLM local până la urmă?

Avantajele utilizării LLM local

De ce sunt oamenii atât de încântați să își creeze propriile modele mari de limbaj pe computer? Pe lângă obiectivul de a „uimi pe alții”, există și câteva beneficii practice.

1. Mai puțină cenzură

Când ChatGPT și Bing AI au apărut pentru prima dată online, lucrurile ambii chatbot au fost dispuși să le spună și să le facă au fost atât fascinante, cât și alarmante. La acea vreme, ambii chatbot te puteau ajuta chiar să faci bombe dacă foloseai instrucțiunile potrivite. Acest lucru poate suna pervers, dar a putea face orice este un simbol al posibilităților nelimitate ale modelelor de limbaj care le susțin.

În zilele noastre, ambii chatbot sunt atât de puternic cenzurați încât nici măcar nu te-ar ajuta să scrii un roman polițist fictiv cu scene violente. Unii chatbot AI nici nu vor vorbi despre religie sau politică. În timp ce LLM-urile pe care le puteți configura la nivel local nu sunt complet necenzurate, mulți dintre ei vor fi dispuși să facă lucruri care provoacă gânduri pe care chatbot-urile publicului nu le vor face. Deci, dacă nu doriți ca un robot să vă predea despre etica discutării subiectelor de interes personal, conducerea unui LLM local ar putea fi calea de urmat.

2. Securitate mai bună a datelor

Unul dintre principalele motive pentru care oamenii aleg un LLM local este să se asigure că tot ce se întâmplă pe computerul lor rămâne pe dispozitiv. Când folosești LLM local, este ca și cum ai avea o conversație privată în camera ta de zi - nimeni din afară nu poate asculta. Indiferent dacă testați detaliile cardului dvs. de credit sau aveți conversații personale sensibile cu LLM, toate datele obținute sunt stocate exclusiv pe computerul dvs. Alternativa este să folosiți un LLM public precum GPT-4, care oferă companiilor responsabile acces la informațiile dvs. de chat.

3. Utilizați offline

Având în vedere că internetul este accesibil și accesibil pe scară largă, deconectarea poate părea un motiv trivial pentru a lua un LLM local. Accesul offline poate deveni deosebit de important în locații îndepărtate sau izolate, unde serviciul de internet nu este de încredere sau nu este disponibil. În astfel de situații, un LLM local care funcționează independent de o conexiune la Internet devine un instrument important. Vă permite să continuați să faceți orice doriți fără întrerupere.

4. Economisiți costuri

Prețul mediu pentru a accesa un LLM cu capabilități precum GPT-4 sau Claude 2 este de 20 USD pe lună. Deși s-ar putea să nu pară un preț alarmant, totuși te confrunți cu unele limitări enervante pentru acea sumă. De exemplu, cu GPT-4, accesat prin ChatGPT, sunteți limitat la 50 de mesaje la fiecare 3 ore. Puteți depăși aceste limite doar trecând la planul ChatGPT Enterprise, care poate costa mii de dolari. Cu Local LLM, odată ce ați configurat software-ul, nu va trebui să plătiți o taxă lunară de abonament sau un cost recurent de 20 USD. Este ca și cum ai cumpăra o mașină în loc să te bazezi pe servicii de ride-sharing. Este scump la început, dar cu timpul vei economisi mult.

5. Personalizare mai bună

Chatbot-urile AI disponibile public au personalizare limitată din cauza problemelor de securitate și cenzură. Cu un asistent AI găzduit local, puteți personaliza complet modelul pentru nevoile dvs. specifice. Îți poți instrui asistentul cu privire la datele proprietare relevante pentru cazul tău de utilizare, îmbunătățind relevanța și acuratețea. De exemplu, un avocat își poate optimiza AI local pentru a genera informații juridice mai precise. Principalul beneficiu este controlul personalizării la cerințele dumneavoastră unice.

Dezavantajele utilizării LLM local

Înainte de a face schimbarea, ar trebui să luați în considerare câteva dintre dezavantajele utilizării unui LLM local.

1. Folosește o mulțime de resurse

Pentru a rula eficient LLM la nivel local, veți avea nevoie de hardware de ultimă generație. Gândiți-vă la un procesor puternic, o mulțime de memorie RAM și poate un GPU dedicat. Nu vă așteptați ca un laptop de 400 USD să ofere o experiență bună. Răspunsul va fi foarte lent, mai ales cu modele AI mai mari. Este ca și cum ai rula jocuri video de ultimă generație - ai nevoie de specificații puternice pentru performanță optimă. Este posibil să aveți nevoie chiar de soluții de răcire specializate. Concluzia este că un LLM local necesită o investiție în hardware de top pentru a obține viteza și capacitatea de răspuns pe care le iubiți la un LLM bazat pe web (sau chiar pentru a-l îmbunătăți). Nevoile dvs. de calcul vor fi uriașe în comparație cu utilizarea serviciilor bazate pe web.

2. Răspuns mai lent și performanță mai slabă

O limitare comună a LLM local este timpii de răspuns mai lenți. Vitezele exacte depind de modelul AI specific și de hardware-ul utilizat, dar majoritatea setărilor sunt în urmă față de cele ale serviciilor online. După ce primiți răspunsuri instantanee de la ChatGPT, Bard și alte instrumente, LLM local poate fi dureros de lent. Utilizatorul mediu se confruntă cu dezavantaje serioase din cauza unei experiențe web fluide. Așa că fiți pregătiți pentru un „șoc cultural” de la sistemele online rapide la echivalentele lor locale mai lente.

Pe scurt, cu excepția cazului în care utilizați o configurație absolut de vârf (cum ar fi un AMD Ryzen 5800X3D cu Nvidia RTX 4090 și RAM „masivă”), performanța generală a LLM local nu se va compara cu generative AI chatbot online cu care sunteți familiarizat.

3. Configurare complicată

Implementarea LLM la nivel local este mai complicată decât simpla abonare la un serviciu AI bazat pe web. Cu o conexiune la internet, contul dvs. ChatGPT, Bard sau Bing AI poate fi gata să înceapă să solicite în câteva minute. Configurarea unei stive complete de LLM local necesită descărcarea cadrelor, configurarea infrastructurii și integrarea diferitelor componente. Pentru modelele mai mari, acest proces complex poate dura ore, chiar și cu instrumente menite să simplifice instalarea. Unele dintre cele mai avansate sisteme AI necesită încă o inginerie extinsă pentru a rula local. Deci, spre deosebire de modelele AI bazate pe web plug-and-play, gestionarea propriei AI necesită investiții tehnice și de timp semnificative.

4. Cunoștințe limitate

O mulțime de LLM locale sunt blocate în trecut. Ei au cunoștințe limitate despre evenimentele actuale. Îți amintești când ChatGPT nu a putut accesa Internetul? Apoi poate oferi răspunsuri numai la întrebările despre evenimentele care au avut loc înainte de septembrie 2021. Similar modelelor originale ChatGPT, modelele de limbi găzduite local sunt de obicei antrenate numai pe date înainte de o anumită dată limită. Drept urmare, nu sunt conștienți de evoluțiile actualizate după acel moment.

În plus, LLM local nu poate accesa direct datele de pe Internet. Acest lucru limitează utilitatea interogărilor în timp real, cum ar fi prețurile acțiunilor sau vremea. Pentru a beneficia de o formă de date în timp real, LLM-urile locale vor necesita adesea un nivel suplimentar de integrare cu serviciile conectate la Internet. Accesul la internet este unul dintre motivele pentru care ați putea lua în considerare trecerea la ChatGPT Plus!

LLM ar trebui să fie utilizat local?

Modelele mari de limbi locale oferă beneficii convingătoare, dar există și dezavantaje reale de luat în considerare înainte de a începe. Mai puțină cenzură, confidențialitate mai bună, acces offline, economii de costuri și personalizare sunt motive atractive pentru a înființa un LLM local. Cu toate acestea, aceste beneficii vin cu compromisuri. Cu atât de multe LLM-uri disponibile gratuit online, sări într-un LLM local poate fi ca și cum ați lovi muștele cu un baros – capabil, dar exagerat. Deci nu există un răspuns corect sau greșit definitiv. Evaluarea priorităților dvs. va determina dacă acum este momentul potrivit pentru a face schimbarea.