9 prós e contras de usar um LLM local

Desde que o ChatGPT surgiu em novembro de 2022, o termo modelo de linguagem grande (LLM) passou rapidamente de um termo reservado para entusiastas de IA para uma palavra da moda na boca de todos. O maior apelo de um LLM local é a capacidade de replicar os recursos de um chatbot como o ChatGPT em seu computador sem a necessidade de uma versão hospedada na nuvem.

Existem argumentos a favor e contra a configuração de um LLM localmente no seu computador. Afinal, deveríamos usar um LLM local?

Vantagens de usar LLM localmente

Por que as pessoas estão tão entusiasmadas em configurar seus próprios modelos de linguagem no computador? Além do objetivo de “impressionar os outros”, existem alguns benefícios práticos.

1. Menos censura

Quando o ChatGPT e o Bing AI ficaram online pela primeira vez, as coisas que ambos os chatbots estavam dispostos a dizer e fazer eram fascinantes e alarmantes. Na época, os dois chatbots poderiam até ajudá-lo a fazer bombas se você usasse as instruções corretas. Isto pode parecer perverso, mas ser capaz de fazer qualquer coisa simboliza as possibilidades ilimitadas dos modelos de linguagem que os suportam.

Hoje em dia, ambos os chatbots são tão censurados que nem sequer ajudariam você a escrever um romance policial fictício com cenas violentas. Alguns chatbots de IA nem falam sobre religião ou política. Embora os LLMs que você pode configurar localmente não sejam completamente isentos de censura, muitos deles estarão dispostos a fazer coisas instigantes que os chatbots voltados para o público não farão. Portanto, se você não quer um robô lhe ensinando sobre a ética da discussão de tópicos de interesse pessoal, administrar um LLM local pode ser a melhor opção.

2. Melhor segurança de dados

Um dos principais motivos pelos quais as pessoas escolhem um LLM local é garantir que tudo o que acontece em seus computadores permaneça no dispositivo. Quando você usa o LLM localmente, é como ter uma conversa privada na sua sala de estar – ninguém de fora pode ouvir. Esteja você testando os detalhes do seu cartão de crédito ou tendo conversas pessoais confidenciais com a LLM, todos os dados obtidos são armazenados exclusivamente no seu computador. A alternativa é usar um LLM público como o GPT-4, que dá às empresas responsáveis ​​acesso às informações do seu chat.

3. Use off-line

Com a Internet sendo acessível e amplamente acessível, ficar off-line pode parecer um motivo trivial para fazer um LLM local. O acesso offline pode tornar-se especialmente importante em locais remotos ou isolados onde o serviço de Internet não é confiável ou não está disponível. Nessas situações, um LLM local que opere independentemente de uma conexão com a Internet torna-se uma ferramenta importante. Ele permite que você continue fazendo o que quiser sem interrupção.

4. Economize custos

O preço médio para acessar um LLM com recursos como GPT-4 ou Claude 2 é de US$ 20 por mês. Embora possa não parecer um preço alarmante, você ainda enfrenta algumas limitações irritantes para esse valor. Por exemplo, com o GPT-4, acessado via ChatGPT, você está limitado a 50 mensagens a cada 3 horas. Você só pode contornar esses limites mudando para o plano ChatGPT Enterprise, que pode custar milhares de dólares. Com o Local LLM, depois de configurar o software, você não precisará pagar uma taxa de assinatura mensal ou um custo recorrente de US$ 20. É como comprar um carro em vez de depender de serviços de carona compartilhada. No começo é caro, mas com o tempo você vai economizando bastante.

5. Melhor personalização

Os chatbots de IA disponíveis publicamente têm personalização limitada devido a questões de segurança e censura. Com um assistente de IA hospedado localmente, você pode personalizar completamente o modelo de acordo com suas necessidades específicas. Você pode treinar seu assistente em dados proprietários relevantes para seu caso de uso, melhorando a relevância e a precisão. Por exemplo, um advogado pode otimizar sua IA local para gerar insights jurídicos mais precisos. O principal benefício é o controle sobre a personalização de acordo com seus requisitos exclusivos.

Desvantagens de usar LLM localmente

Antes de fazer a mudança, você deve considerar algumas das desvantagens de usar um LLM local.

1. Utiliza muitos recursos

Para executar o LLM localmente de forma eficaz, você precisará de hardware de última geração. Pense em uma CPU poderosa, muita RAM e talvez uma GPU dedicada. Não espere que um laptop de US$ 400 proporcione uma boa experiência. A resposta será muito lenta, especialmente com modelos de IA maiores. É como rodar videogames de última geração: você precisa de especificações poderosas para obter o desempenho ideal. Você pode até precisar de soluções de refrigeração especializadas. O resultado final é que um LLM local requer um investimento em hardware de primeira linha para obter a velocidade e a capacidade de resposta que você adora em um LLM baseado na web (ou até mesmo melhorá-lo). Suas necessidades de computação serão enormes em comparação com o uso de serviços baseados na web.

2. Resposta mais lenta e pior desempenho

Uma limitação comum do LLM local são os tempos de resposta mais lentos. As velocidades exatas dependem do modelo específico de IA e do hardware usado, mas a maioria das configurações fica atrás das dos serviços online. Depois de receber respostas instantâneas do ChatGPT, Bard e outras ferramentas, o LLM local pode ser dolorosamente lento. O usuário médio enfrenta sérias desvantagens com uma experiência fluida na web. Portanto, esteja preparado para um “choque cultural” de sistemas on-line rápidos para seus equivalentes locais mais lentos.

Resumindo, a menos que você esteja usando uma configuração absolutamente top de linha (como um AMD Ryzen 5800X3D com Nvidia RTX 4090 e RAM “massiva”), o desempenho geral do LLM local não se comparará aos chatbots online de IA generativa que você está familiarizado.

3. Configuração complicada

Implantar o LLM localmente é mais complicado do que simplesmente assinar um serviço de IA baseado na web. Com uma conexão à Internet, sua conta ChatGPT, Bard ou Bing AI pode estar pronta para começar a solicitar em minutos. A configuração de uma pilha LLM local completa requer o download de estruturas, a configuração da infraestrutura e a integração de vários componentes. Para modelos maiores, esse processo complexo pode levar horas, mesmo com ferramentas destinadas a simplificar a instalação. Alguns dos sistemas de IA mais avançados ainda requerem engenharia extensiva para funcionar localmente. Portanto, diferentemente dos modelos de IA plug-and-play baseados na Web, gerenciar sua própria IA requer investimentos técnicos e de tempo significativos.

4. Conhecimento limitado

Muitos LLMs locais estão presos ao passado. Eles têm conhecimento limitado dos eventos atuais. Lembra quando o ChatGPT não conseguia acessar a Internet? Ele só pode fornecer respostas a perguntas sobre eventos que ocorreram antes de setembro de 2021. Semelhante aos modelos ChatGPT originais, os modelos de linguagem hospedados localmente geralmente são treinados apenas em dados antes de uma determinada data limite. Como resultado, eles não têm conhecimento dos desenvolvimentos atualizados após esse período.

Além disso, o LLM local não pode acessar dados da Internet diretamente. Isso limita a utilidade de consultas em tempo real, como preços de ações ou previsão do tempo. Para desfrutar de uma forma de dados em tempo real, os LLMs locais necessitarão frequentemente de uma camada adicional de integração com serviços ligados à Internet. O acesso à Internet é um dos motivos pelos quais você pode considerar atualizar para o ChatGPT Plus!

O LLM deve ser usado localmente?

Grandes modelos de idiomas locais oferecem benefícios atraentes, mas também existem desvantagens reais a serem consideradas antes de começar. Menos censura, melhor privacidade, acesso offline, economia de custos e personalização são motivos atraentes para criar um LLM local. No entanto, esses benefícios trazem compensações. Com tantos LLMs disponíveis gratuitamente online, entrar em um LLM local pode ser como golpear moscas com uma marreta – capaz, mas um exagero. Portanto, não existe uma resposta definitiva certa ou errada. Avaliar suas prioridades determinará se agora é o momento certo para fazer a mudança.