9 voor- en nadelen van het gebruik van een lokale LLM

Sinds ChatGPT in november 2022 opkwam, is de term groot taalmodel (LLM) snel verschoven van een term die gereserveerd was voor AI-enthousiastelingen naar een modewoord op ieders lippen. De grootste aantrekkingskracht van een lokale LLM is de mogelijkheid om de mogelijkheden van een chatbot zoals ChatGPT op uw computer te repliceren zonder dat er een in de cloud gehoste versie nodig is.

Er zijn argumenten voor en tegen het lokaal opzetten van een LLM op uw computer. Moeten we dan toch een lokale LLM gebruiken?

Voordelen van het lokaal gebruiken van LLM

Waarom zijn mensen zo enthousiast over het opzetten van hun eigen grote taalmodellen op de computer? Naast het doel om anderen te verbazen, zijn er enkele praktische voordelen.

1. Minder censuur

Toen ChatGPT en Bing AI voor het eerst online kwamen, waren de dingen die beide chatbots bereid waren te zeggen en te doen zowel fascinerend als alarmerend. Destijds konden beide chatbots je zelfs helpen bommen te maken als je de juiste aanwijzingen gebruikte. Dit klinkt misschien pervers, maar alles kunnen doen staat symbool voor de onbeperkte mogelijkheden van de taalmodellen die hen ondersteunen.

Tegenwoordig worden beide chatbots zo zwaar gecensureerd dat ze je niet eens zouden helpen een fictieve misdaadroman met gewelddadige scènes te schrijven. Sommige AI-chatbots praten niet eens over religie of politiek. Hoewel de LLM's die je lokaal kunt opzetten niet volledig ongecensureerd zijn, zullen velen van hen bereid zijn om tot nadenken stemmende dingen te doen die openbare chatbots niet zullen doen. Dus als je niet wilt dat een robot je de les leest over de ethiek van het bespreken van onderwerpen van persoonlijk belang, kan het runnen van een lokale LLM de beste keuze zijn.

2. Betere gegevensbeveiliging

Een van de belangrijkste redenen waarom mensen voor een lokale LLM kiezen, is om ervoor te zorgen dat alles wat op hun computer gebeurt op het apparaat blijft. Wanneer u LLM lokaal gebruikt, is het alsof u een privégesprek voert in uw woonkamer: niemand van buitenaf kan meeluisteren. Of u nu uw creditcardgegevens test of gevoelige persoonlijke gesprekken voert met LLM, alle verkregen gegevens worden uitsluitend op uw computer opgeslagen. Het alternatief is om een ​​openbare LLM zoals GPT-4 te gebruiken, waarmee de verantwoordelijke bedrijven toegang krijgen tot uw chatinformatie.

3. Offline gebruiken

Omdat internet betaalbaar en breed toegankelijk is, lijkt offline gaan misschien een triviale reden om een ​​lokale LLM te volgen. Offlinetoegang kan vooral belangrijk worden op afgelegen of geïsoleerde locaties waar de internetservice onbetrouwbaar of niet beschikbaar is. In dergelijke situaties wordt een lokale LLM die onafhankelijk van een internetverbinding opereert een belangrijk hulpmiddel. Hiermee kunt u zonder onderbreking doorgaan met doen wat u wilt.

4. Bespaar kosten

De gemiddelde prijs voor toegang tot een LLM met mogelijkheden zoals GPT-4 of Claude 2 is $ 20 per maand. Hoewel dat misschien geen alarmerende prijs lijkt, kom je voor dat bedrag toch een aantal vervelende beperkingen tegen. Met GPT-4, toegankelijk via ChatGPT, bent u bijvoorbeeld beperkt tot 50 berichten per 3 uur. Je kunt deze limieten alleen omzeilen door over te stappen op het ChatGPT Enterprise-abonnement, dat duizenden dollars kan kosten. Met Local LLM hoeft u, zodra u de software heeft geïnstalleerd, geen maandelijkse abonnementskosten of terugkerende kosten van $ 20 te betalen. Het is alsof je een auto koopt in plaats van te vertrouwen op diensten voor het delen van ritten. In het begin is het duur, maar na verloop van tijd bespaar je veel.

5. Beter maatwerk

Openbaar beschikbare AI-chatbots zijn beperkt aanpasbaar vanwege beveiligings- en censuurproblemen. Met een lokaal gehoste AI-assistent kunt u het model volledig aanpassen aan uw specifieke behoeften. U kunt uw assistent trainen in bedrijfseigen gegevens die relevant zijn voor uw gebruiksscenario, waardoor de relevantie en nauwkeurigheid wordt verbeterd. Een advocaat kan bijvoorbeeld zijn lokale AI optimaliseren om nauwkeurigere juridische inzichten te genereren. Het belangrijkste voordeel is de controle over de aanpassing aan uw unieke vereisten.

Nadelen van het lokaal gebruiken van LLM

Voordat u de overstap maakt, moet u rekening houden met enkele nadelen van het gebruik van een lokale LLM.

1. Gebruikt veel hulpbronnen

Om LLM effectief lokaal uit te voeren, heb je hoogwaardige hardware nodig. Denk aan een krachtige CPU, veel RAM en misschien een speciale GPU. Verwacht niet dat een laptop van $ 400 een goede ervaring zal opleveren. De respons zal erg traag zijn, vooral bij grotere AI-modellen. Het is alsof je de allernieuwste videogames speelt: je hebt krachtige specificaties nodig voor optimale prestaties. Mogelijk hebt u zelfs gespecialiseerde koeloplossingen nodig. Het komt erop neer dat een lokale LLM een investering in eersteklas hardware vereist om de snelheid en het reactievermogen te krijgen waar u van houdt op een webgebaseerde LLM (of deze zelfs te verbeteren). Uw computerbehoeften zullen enorm zijn vergeleken met het gebruik van webgebaseerde services.

2. Tragere respons en slechtere prestaties

Een veel voorkomende beperking van lokale LLM zijn langzamere responstijden. Exacte snelheden zijn afhankelijk van het specifieke AI-model en de gebruikte hardware, maar de meeste opstellingen blijven achter bij die van online diensten. Na directe reacties van ChatGPT, Bard en andere tools te hebben ontvangen, kan lokale LLM pijnlijk traag zijn. De gemiddelde gebruiker wordt geconfronteerd met ernstige nadelen van een vloeiende webervaring. Wees dus voorbereid op een ‘cultuurschok’ van snelle onlinesystemen naar hun langzamere lokale equivalenten.

Kortom, tenzij je een absolute topinstallatie gebruikt (zoals een AMD Ryzen 5800X3D met Nvidia RTX 4090 en "enorme" RAM), zullen de algehele prestaties van lokale LLM niet te vergelijken zijn met generatieve AI- chatbots online waarmee u bekend bent.

3. Ingewikkelde installatie

Het lokaal implementeren van LLM is ingewikkelder dan simpelweg abonneren op een webgebaseerde AI-service. Met een internetverbinding kan uw ChatGPT-, Bard- of Bing AI-account binnen enkele minuten klaar zijn om te beginnen met vragen. Het opzetten van een volledige lokale LLM-stack vereist het downloaden van frameworks, het configureren van de infrastructuur en het integreren van verschillende componenten. Bij grotere modellen kan dit complexe proces uren duren, zelfs met hulpmiddelen die bedoeld zijn om de installatie te vereenvoudigen. Sommige van de meest geavanceerde AI-systemen vereisen nog steeds uitgebreide engineering om lokaal te kunnen draaien. In tegenstelling tot plug-and-play webgebaseerde AI-modellen vereist het beheren van uw eigen AI dus aanzienlijke technische en tijdinvesteringen.

4. Beperkte kennis

Veel lokale LLM's zitten vast in het verleden. Ze hebben beperkte kennis van de actualiteit. Weet je nog dat ChatGPT geen toegang had tot internet? Het kan dan alleen antwoorden geven op vragen over gebeurtenissen die vóór september 2021 hebben plaatsgevonden. Net als de originele ChatGPT-modellen worden lokaal gehoste taalmodellen meestal alleen getraind op gegevens vóór een bepaalde afsluitdatum. Als gevolg hiervan zijn ze niet op de hoogte van de actuele ontwikkelingen na die tijd.

Bovendien heeft de lokale LLM geen directe toegang tot internetgegevens. Dit beperkt het nut van realtime zoekopdrachten zoals aandelenkoersen of het weer. Om van een vorm van real-time data te kunnen genieten, zullen lokale LLM's vaak een extra integratielaag met op internet aangesloten diensten nodig hebben. Internettoegang is een van de redenen waarom u zou kunnen overwegen om te upgraden naar ChatGPT Plus!

Moet LLM lokaal worden gebruikt?

Grote lokale taalmodellen bieden overtuigende voordelen, maar er zijn ook echte nadelen waarmee u rekening moet houden voordat u aan de slag gaat. Minder censuur, betere privacy, offline toegang, kostenbesparing en maatwerk zijn aantrekkelijke redenen om een ​​lokale LLM op te richten. Deze voordelen gaan echter gepaard met afwegingen. Omdat er zoveel LLM's gratis online beschikbaar zijn, kan het aangaan van een lokale LLM lijken op het meppen van vliegen met een voorhamer: capabel maar overdreven. Er is dus geen definitief goed of fout antwoord. Door uw prioriteiten te beoordelen, kunt u bepalen of dit het juiste moment is om de overstap te maken.