9 pro e contro dellutilizzo di un LLM locale

Da quando ChatGPT è emerso nel novembre 2022, il termine large Language Model (LLM) è rapidamente passato da un termine riservato agli appassionati di intelligenza artificiale a una parola d'ordine sulla bocca di tutti. Il più grande fascino di un LLM locale è la capacità di replicare le funzionalità di un chatbot come ChatGPT sul tuo computer senza la necessità di una versione ospitata sul cloud.

Esistono argomenti a favore e contro la configurazione di un LLM localmente sul tuo computer. Quindi, dopo tutto, dovremmo usare un LLM locale?

Vantaggi dell'utilizzo di LLM a livello locale

Perché le persone sono così entusiaste di creare i propri grandi modelli linguistici sul computer? Oltre all'obiettivo di "stupire gli altri", ci sono alcuni vantaggi pratici.

1. Meno censura

Quando ChatGPT e Bing AI sono arrivati ​​online per la prima volta, le cose che entrambi i chatbot erano disposti a dire e a fare erano allo stesso tempo affascinanti e allarmanti. All'epoca, entrambi i chatbot potevano persino aiutarti a creare bombe se usavi i suggerimenti giusti. Ciò può sembrare perverso, ma essere in grado di fare qualsiasi cosa è simbolico delle possibilità illimitate dei modelli linguistici che li supportano.

Al giorno d'oggi, entrambi i chatbot sono così pesantemente censurati che non ti aiuterebbero nemmeno a scrivere un romanzo poliziesco immaginario con scene violente. Alcuni chatbot basati sull'intelligenza artificiale non parlano nemmeno di religione o politica. Sebbene i LLM che puoi impostare localmente non siano completamente privi di censura, molti di loro saranno disposti a fare cose stimolanti che i chatbot rivolti al pubblico non faranno. Quindi, se non vuoi che un robot ti tenga lezioni sull'etica della discussione di argomenti di interesse personale, gestire un LLM locale potrebbe essere la strada da percorrere.

2. Migliore sicurezza dei dati

Uno dei motivi principali per cui le persone scelgono un LLM locale è garantire che tutto ciò che accade sul proprio computer rimanga sul dispositivo. Quando usi LLM localmente, è come avere una conversazione privata nel tuo salotto: nessuno all'esterno può ascoltare. Sia che tu stia testando i dettagli della tua carta di credito o avendo conversazioni personali sensibili con LLM, tutti i dati ottenuti vengono archiviati esclusivamente sul tuo computer. L'alternativa è utilizzare un LLM pubblico come GPT-4, che consente alle società incaricate di accedere alle informazioni della tua chat.

3. Utilizza offline

Dato che Internet è conveniente e ampiamente accessibile, andare offline può sembrare un motivo banale per prendere un LLM locale. L'accesso offline può diventare particolarmente importante in luoghi remoti o isolati dove il servizio Internet è inaffidabile o non disponibile. In tali situazioni, un LLM locale che opera indipendentemente da una connessione Internet diventa uno strumento importante. Ti permette di continuare a fare quello che vuoi senza interruzioni.

4. Risparmia sui costi

Il prezzo medio per accedere a un LLM con funzionalità come GPT-4 o Claude 2 è di $ 20 al mese. Anche se potrebbe non sembrare un prezzo allarmante, ti imbatti comunque in alcune fastidiose limitazioni per quell'importo. Ad esempio, con GPT-4, accessibile tramite ChatGPT, sei limitato a 50 messaggi ogni 3 ore. Puoi aggirare questi limiti solo passando al piano ChatGPT Enterprise, che può costare migliaia di dollari. Con Local LLM, una volta configurato il software, non dovrai pagare una quota di abbonamento mensile o un costo ricorrente di $ 20. È come acquistare un'auto invece di affidarsi ai servizi di ride-sharing. All'inizio è costoso, ma col tempo risparmierai molto.

5. Migliore personalizzazione

I chatbot AI disponibili pubblicamente hanno una personalizzazione limitata a causa di problemi di sicurezza e censura. Con un assistente AI ospitato localmente, puoi personalizzare completamente il modello per le tue esigenze specifiche. Puoi formare il tuo assistente sui dati proprietari rilevanti per il tuo caso d'uso, migliorando la pertinenza e l'accuratezza. Ad esempio, un avvocato può ottimizzare la propria intelligenza artificiale locale per generare approfondimenti legali più accurati. Il vantaggio principale è il controllo sulla personalizzazione in base alle vostre esigenze specifiche.

Svantaggi dell'utilizzo di LLM localmente

Prima di effettuare il passaggio, dovresti considerare alcuni degli svantaggi dell'utilizzo di un LLM locale.

1. Utilizza molte risorse

Per eseguire LLM localmente in modo efficace, avrai bisogno di hardware di fascia alta. Pensa a una CPU potente, molta RAM e magari una GPU dedicata. Non aspettarti che un laptop da $ 400 offra una buona esperienza. La risposta sarà molto lenta, soprattutto con i modelli di intelligenza artificiale più grandi. È come eseguire videogiochi all'avanguardia: hai bisogno di specifiche potenti per prestazioni ottimali. Potresti anche aver bisogno di soluzioni di raffreddamento specializzate. La conclusione è che un LLM locale richiede un investimento in hardware di prim'ordine per ottenere la velocità e la reattività che ami su un LLM basato sul web (o addirittura migliorarlo). Le tue esigenze informatiche saranno enormi rispetto all'utilizzo dei servizi basati sul Web.

2. Risposta più lenta e prestazioni inferiori

Una limitazione comune del LLM locale sono i tempi di risposta più lenti. Le velocità esatte dipendono dallo specifico modello di intelligenza artificiale e dall’hardware utilizzato, ma la maggior parte delle configurazioni è inferiore a quella dei servizi online. Dopo aver ricevuto risposte immediate da ChatGPT, Bard e altri strumenti, il LLM locale può essere terribilmente lento. L'utente medio deve affrontare gravi svantaggi derivanti da un'esperienza web fluida. Quindi preparatevi a uno "shock culturale" dai sistemi online veloci ai loro equivalenti locali più lenti.

In breve, a meno che tu non stia utilizzando una configurazione assolutamente top di gamma (come un AMD Ryzen 5800X3D con Nvidia RTX 4090 e una RAM "enorme"), le prestazioni complessive del LLM locale non saranno paragonabili a quelle dei chatbot di intelligenza artificiale generativa online che ti è familiare.

3. Configurazione complicata

L'implementazione di LLM a livello locale è più complicata del semplice abbonamento a un servizio di intelligenza artificiale basato sul web. Con una connessione Internet, il tuo account ChatGPT, Bard o Bing AI può essere pronto per avviare la richiesta in pochi minuti. La configurazione di uno stack LLM locale completo richiede il download di framework, la configurazione dell'infrastruttura e l'integrazione di vari componenti. Per i modelli più grandi, questo processo complesso può richiedere ore, anche con strumenti destinati a semplificare l'installazione. Alcuni dei sistemi di intelligenza artificiale più avanzati richiedono ancora un’ingegneria approfondita per essere eseguiti localmente. Pertanto, a differenza dei modelli di intelligenza artificiale plug-and-play basati sul web, la gestione della propria intelligenza artificiale richiede notevoli investimenti tecnici e di tempo.

4. Conoscenza limitata

Molti LLM locali sono bloccati nel passato. Hanno una conoscenza limitata degli eventi attuali. Ricordi quando ChatGPT non poteva accedere a Internet? Può quindi fornire solo risposte a domande sugli eventi accaduti prima di settembre 2021. Analogamente ai modelli ChatGPT originali, i modelli linguistici ospitati localmente vengono solitamente addestrati solo sui dati prima di una determinata data limite. Di conseguenza, non sono consapevoli degli sviluppi aggiornati dopo tale periodo.

Inoltre, il LLM locale non può accedere direttamente ai dati Internet. Ciò limita l'utilità delle query in tempo reale come i prezzi delle azioni o il meteo. Per usufruire di una forma di dati in tempo reale, gli LLM locali richiederanno spesso un ulteriore livello di integrazione con i servizi connessi a Internet. L'accesso a Internet è uno dei motivi per cui potresti prendere in considerazione l'aggiornamento a ChatGPT Plus!

LLM dovrebbe essere utilizzato localmente?

I grandi modelli linguistici locali offrono vantaggi convincenti, ma ci sono anche reali svantaggi da considerare prima di iniziare. Meno censura, migliore privacy, accesso offline, risparmio sui costi e personalizzazione sono motivi interessanti per creare un LLM locale. Tuttavia, questi vantaggi comportano dei compromessi. Con così tanti LLM disponibili gratuitamente online, entrare in un LLM locale può essere come schiacciare le mosche con una mazza: efficace ma eccessivo. Quindi non esiste una risposta definitiva giusta o sbagliata. Valutare le tue priorità determinerà se è il momento giusto per effettuare il passaggio.