9 pros y contras de utilizar un LLM local

Desde que surgió ChatGPT en noviembre de 2022, el término modelo de lenguaje grande (LLM) ha pasado rápidamente de ser un término reservado para entusiastas de la IA a una palabra de moda en boca de todos. El mayor atractivo de un LLM local es la capacidad de replicar las capacidades de un chatbot como ChatGPT en su computadora sin la necesidad de una versión alojada en la nube.

Hay argumentos a favor y en contra de configurar un LLM localmente en su computadora. Entonces, ¿deberíamos utilizar un LLM local después de todo?

Ventajas de utilizar LLM localmente

¿Por qué la gente está tan entusiasmada con la idea de configurar sus propios modelos de lenguaje de gran tamaño en la computadora? Además del objetivo de "sorprender a los demás", existen algunos beneficios prácticos.

1. Menos censura

Cuando ChatGPT y Bing AI aparecieron en línea por primera vez, las cosas que ambos chatbots estaban dispuestos a decir y hacer eran fascinantes y alarmantes. En ese momento, ambos chatbots podían incluso ayudarte a fabricar bombas si usabas las indicaciones correctas. Esto puede parecer perverso, pero ser capaz de hacer cualquier cosa es un símbolo de las posibilidades ilimitadas de los modelos lingüísticos que las sustentan.

Hoy en día, ambos chatbots están tan fuertemente censurados que ni siquiera te ayudarían a escribir una novela policíaca ficticia con escenas violentas. Algunos chatbots de IA ni siquiera hablan de religión o política. Si bien los LLM que puede configurar localmente no están completamente libres de censura, muchos de ellos estarán dispuestos a hacer cosas que inviten a la reflexión que los chatbots públicos no harán. Por lo tanto, si no quiere que un robot le dé sermones sobre la ética de discutir temas de interés personal, dirigir un LLM local podría ser el camino a seguir.

2. Mejor seguridad de los datos

Una de las principales razones por las que las personas eligen un LLM local es para asegurarse de que todo lo que sucede en su computadora permanezca en el dispositivo. Cuando usa LLM localmente, es como tener una conversación privada en su sala de estar: nadie de afuera puede escucharla. Ya sea que esté probando los datos de su tarjeta de crédito o teniendo conversaciones personales confidenciales con LLM, todos los datos obtenidos se almacenan únicamente en su computadora. La alternativa es utilizar un LLM público como GPT-4, que brinda a las empresas responsables acceso a su información de chat.

3. Usar sin conexión

Dado que Internet es asequible y ampliamente accesible, desconectarse puede parecer una razón trivial para realizar un LLM local. El acceso sin conexión puede volverse especialmente importante en ubicaciones remotas o aisladas donde el servicio de Internet no es confiable o no está disponible. En tales situaciones, un LLM local que opere independientemente de una conexión a Internet se convierte en una herramienta importante. Te permite seguir haciendo lo que quieras sin interrupciones.

4. Ahorra costes

El precio promedio para acceder a un LLM con capacidades como GPT-4 o Claude 2 es de $20 por mes. Si bien puede que no parezca un precio alarmante, aún te encuentras con algunas limitaciones molestas por esa cantidad. Por ejemplo, con GPT-4, al que se accede a través de ChatGPT, está limitado a 50 mensajes cada 3 horas. Sólo puedes sortear esos límites cambiándote al plan ChatGPT Enterprise, que puede costar miles de dólares. Con Local LLM, una vez que configure el software, no tendrá que pagar una tarifa de suscripción mensual ni un costo recurrente de $20. Es como comprar un automóvil en lugar de depender de servicios de viajes compartidos. Al principio es caro, pero con el tiempo ahorrarás mucho.

5. Mejor personalización

Los chatbots de IA disponibles públicamente tienen una personalización limitada debido a preocupaciones de seguridad y censura. Con un asistente de IA alojado localmente, puede personalizar completamente el modelo para sus necesidades específicas. Puede capacitar a su asistente sobre datos propietarios relevantes para su caso de uso, mejorando la relevancia y la precisión. Por ejemplo, un abogado puede optimizar su IA local para generar conocimientos jurídicos más precisos. El principal beneficio es el control sobre la personalización según sus requisitos únicos.

Desventajas de usar LLM localmente

Antes de realizar el cambio, debes considerar algunas de las desventajas de utilizar un LLM local.

1. Utiliza muchos recursos

Para ejecutar LLM localmente de forma eficaz, necesitará hardware de alta gama. Piense en una CPU potente, mucha RAM y tal vez una GPU dedicada. No espere que una computadora portátil de $400 brinde una buena experiencia. La respuesta será muy lenta, especialmente con modelos de IA más grandes. Es como ejecutar videojuegos de última generación: necesitas especificaciones potentes para un rendimiento óptimo. Es posible que incluso necesite soluciones de refrigeración especializadas. La conclusión es que un LLM local requiere una inversión en hardware de primer nivel para obtener la velocidad y la capacidad de respuesta que usted ama en un LLM basado en la web (o incluso mejorarlas). Sus necesidades informáticas serán enormes en comparación con el uso de servicios basados ​​en web.

2. Respuesta más lenta y peor rendimiento

Una limitación común del LLM local son los tiempos de respuesta más lentos. Las velocidades exactas dependen del modelo de IA específico y del hardware utilizado, pero la mayoría de las configuraciones van por detrás de las de los servicios en línea. Después de recibir respuestas instantáneas de ChatGPT, Bard y otras herramientas, el LLM local puede resultar tremendamente lento. El usuario medio se enfrenta a graves desventajas debido a una experiencia web fluida. Así que prepárese para un "choque cultural" desde los rápidos sistemas en línea hasta sus equivalentes locales más lentos.

En resumen, a menos que esté utilizando una configuración absolutamente de primera línea (como un AMD Ryzen 5800X3D con Nvidia RTX 4090 y RAM "masiva"), el rendimiento general del LLM local no se comparará con el de los chatbots de IA generativa en línea . que usted conoce.

3. Configuración complicada

Implementar LLM localmente es más complicado que simplemente suscribirse a un servicio de inteligencia artificial basado en la web. Con una conexión a Internet, su cuenta ChatGPT, Bard o Bing AI puede estar lista para comenzar a recibir solicitudes en minutos. Configurar una pila LLM local completa requiere descargar marcos, configurar la infraestructura e integrar varios componentes. Para modelos más grandes, este complejo proceso puede llevar horas, incluso con herramientas destinadas a simplificar la instalación. Algunos de los sistemas de IA más avanzados todavía requieren una ingeniería exhaustiva para funcionar localmente. Por lo tanto, a diferencia de los modelos de IA basados ​​en web plug-and-play, administrar su propia IA requiere importantes inversiones técnicas y de tiempo.

4. Conocimiento limitado

Muchos LLM locales están estancados en el pasado. Tienen un conocimiento limitado de los acontecimientos actuales. ¿Recuerdas cuando ChatGPT no podía acceder a Internet? Luego, solo puede proporcionar respuestas a preguntas sobre eventos que ocurrieron antes de septiembre de 2021. Al igual que los modelos ChatGPT originales, los modelos de lenguaje alojados localmente generalmente solo se entrenan con datos antes de una determinada fecha límite. Como resultado, carecen de conocimiento de los acontecimientos actualizados después de ese momento.

Además, el LLM local no puede acceder a los datos de Internet directamente. Esto limita la utilidad de las consultas en tiempo real, como los precios de las acciones o el clima. Para disfrutar de una forma de datos en tiempo real, los LLM locales a menudo necesitarán una capa adicional de integración con servicios conectados a Internet. ¡El acceso a Internet es una de las razones por las que podría considerar actualizar a ChatGPT Plus!

¿Debería utilizarse LLM localmente?

Los grandes modelos en idiomas locales ofrecen ventajas convincentes, pero también existen desventajas reales que se deben considerar antes de comenzar. Menos censura, mejor privacidad, acceso fuera de línea, ahorro de costos y personalización son razones atractivas para crear un LLM local. Sin embargo, estos beneficios conllevan compensaciones. Con tantos LLM disponibles de forma gratuita en línea, saltar a un LLM local puede ser como aplastar moscas con un mazo: capaz pero excesivo. Por tanto, no existe una respuesta definitiva, correcta o incorrecta. La evaluación de sus prioridades determinará si ahora es el momento adecuado para hacer el cambio.