9 avantages et inconvénients de lutilisation dun LLM local

Depuis l'émergence de ChatGPT en novembre 2022, le terme grand modèle de langage (LLM) est rapidement passé d'un terme réservé aux passionnés d'IA à un mot à la mode sur toutes les lèvres. Le plus grand attrait d'un LLM local est la possibilité de reproduire les capacités d'un chatbot comme ChatGPT sur votre ordinateur sans avoir besoin d'une version hébergée dans le cloud.

Il existe des arguments pour et contre la mise en place d'un LLM localement sur votre ordinateur. Alors, devrions-nous utiliser un LLM local après tout ?

Avantages de l'utilisation locale du LLM

Pourquoi les gens sont-ils si enthousiastes à l’idée de configurer leurs propres grands modèles de langage sur l’ordinateur ? Outre l’objectif « épater les autres », il existe certains avantages pratiques.

1. Moins de censure

Lorsque ChatGPT et Bing AI ont été mis en ligne pour la première fois, les choses que les deux chatbots étaient prêts à dire et à faire étaient à la fois fascinantes et alarmantes. À l’époque, les deux chatbots pouvaient même vous aider à fabriquer des bombes si vous utilisiez les bonnes invites. Cela peut paraître pervers, mais être capable de tout faire est le symbole des possibilités illimitées des modèles linguistiques qui les prennent en charge.

De nos jours, les deux chatbots sont tellement censurés qu’ils ne vous aideraient même pas à écrire un roman policier fictif avec des scènes violentes. Certains chatbots IA ne parlent même pas de religion ou de politique. Bien que les LLM que vous pouvez créer localement ne soient pas totalement non censurés, beaucoup d'entre eux seront prêts à faire des choses qui suscitent la réflexion, ce que les chatbots destinés au public ne feront pas. Donc, si vous ne voulez pas qu'un robot vous donne des leçons sur l'éthique de la discussion de sujets d'intérêt personnel, diriger un LLM local pourrait être la voie à suivre.

2. Meilleure sécurité des données

L'une des principales raisons pour lesquelles les gens choisissent un LLM local est de s'assurer que tout ce qui se passe sur leur ordinateur reste sur l'appareil. Lorsque vous utilisez LLM localement, c'est comme avoir une conversation privée dans votre salon : personne de l'extérieur ne peut vous écouter. Que vous testiez les détails de votre carte de crédit ou que vous ayez des conversations personnelles sensibles avec LLM, toutes les données obtenues sont stockées uniquement sur votre ordinateur. L'alternative est d'utiliser un LLM public comme GPT-4, qui donne aux entreprises en charge l'accès à vos informations de chat.

3. Utiliser hors ligne

Internet étant abordable et largement accessible, se déconnecter peut sembler une raison triviale pour suivre un LLM local. L'accès hors ligne peut devenir particulièrement important dans les endroits éloignés ou isolés où le service Internet n'est pas fiable ou indisponible. Dans de telles situations, un LLM local fonctionnant indépendamment d’une connexion Internet devient un outil important. Cela vous permet de continuer à faire ce que vous voulez sans interruption.

4. Économisez des coûts

Le prix moyen pour accéder à un LLM doté de fonctionnalités telles que GPT-4 ou Claude 2 est de 20 $ par mois. Même si ce prix ne semble pas alarmant, vous vous heurtez néanmoins à des limitations ennuyeuses pour ce montant. Par exemple, avec GPT-4, accessible via ChatGPT, vous êtes limité à 50 messages toutes les 3 heures. Vous ne pouvez contourner ces limites qu’en passant au forfait ChatGPT Enterprise, qui peut coûter des milliers de dollars. Avec Local LLM, une fois le logiciel configuré, vous n'aurez pas à payer de frais d'abonnement mensuels ni de frais récurrents de 20 $. C'est comme acheter une voiture au lieu de compter sur des services de covoiturage. C'est cher au début, mais avec le temps, vous économiserez beaucoup.

5. Meilleure personnalisation

Les chatbots IA accessibles au public ont une personnalisation limitée en raison de problèmes de sécurité et de censure. Avec un assistant IA hébergé localement, vous pouvez entièrement personnaliser le modèle en fonction de vos besoins spécifiques. Vous pouvez former votre assistant sur des données propriétaires pertinentes pour votre cas d'utilisation, améliorant ainsi la pertinence et la précision. Par exemple, un avocat peut optimiser son IA locale pour générer des informations juridiques plus précises. Le principal avantage est le contrôle de la personnalisation selon vos besoins uniques.

Inconvénients de l’utilisation locale du LLM

Avant de faire le changement, vous devez considérer certains des inconvénients liés à l’utilisation d’un LLM local.

1. Utilise beaucoup de ressources

Pour exécuter efficacement LLM localement, vous aurez besoin d’un matériel haut de gamme. Pensez à un processeur puissant, beaucoup de RAM et peut-être un GPU dédié. Ne vous attendez pas à ce qu’un ordinateur portable à 400 $ offre une bonne expérience. La réponse sera très lente, en particulier avec les modèles d’IA plus grands. C'est comme exécuter des jeux vidéo de pointe : vous avez besoin de spécifications puissantes pour des performances optimales. Vous aurez peut-être même besoin de solutions de refroidissement spécialisées. L'essentiel est qu'un LLM local nécessite un investissement dans du matériel de premier ordre pour obtenir la vitesse et la réactivité que vous aimez sur un LLM basé sur le Web (ou même l'améliorer). Vos besoins informatiques seront énormes par rapport à l’utilisation de services Web.

2. Réponse plus lente et performances moins bonnes

Une limitation courante du LLM local réside dans les temps de réponse plus lents. Les vitesses exactes dépendent du modèle d'IA spécifique et du matériel utilisé, mais la plupart des configurations sont en retard par rapport à celles des services en ligne. Après avoir reçu des réponses instantanées de ChatGPT, Bard et d'autres outils, le LLM local peut être extrêmement lent. L’utilisateur moyen est confronté à de sérieux inconvénients liés à une expérience Web fluide. Préparez-vous donc à un « choc culturel » entre les systèmes en ligne rapides et leurs équivalents locaux plus lents.

En bref, à moins que vous n'utilisiez une configuration haut de gamme absolue (comme un AMD Ryzen 5800X3D avec Nvidia RTX 4090 et une RAM "massive"), les performances globales du LLM local ne seront pas comparables aux chatbots IA génératifs en ligne . que vous connaissez.

3. Configuration compliquée

Déployer LLM localement est plus compliqué que de simplement s'abonner à un service d'IA basé sur le Web. Avec une connexion Internet, votre compte ChatGPT, Bard ou Bing AI peut être prêt à lancer des invites en quelques minutes. La mise en place d'une pile LLM locale complète nécessite le téléchargement de frameworks, la configuration de l'infrastructure et l'intégration de divers composants. Pour les modèles plus grands, ce processus complexe peut prendre des heures, même avec des outils destinés à simplifier l'installation. Certains des systèmes d’IA les plus avancés nécessitent encore une ingénierie approfondie pour fonctionner localement. Ainsi, contrairement aux modèles d’IA Web plug-and-play, la gestion de votre propre IA nécessite des investissements techniques et temporels importants.

4. Connaissances limitées

De nombreux LLM locaux sont bloqués dans le passé. Ils ont une connaissance limitée de l’actualité. Vous vous souvenez de l'époque où ChatGPT ne pouvait pas accéder à Internet ? Il ne peut alors fournir que des réponses aux questions sur les événements survenus avant septembre 2021. Semblables aux modèles ChatGPT d'origine, les modèles linguistiques hébergés localement ne sont généralement formés qu'à partir de données avant une certaine date limite. En conséquence, ils ne sont pas au courant des développements mis à jour après cette période.

De plus, le LLM local ne peut pas accéder directement aux données Internet. Cela limite l’utilité des requêtes en temps réel telles que les cours boursiers ou la météo. Pour bénéficier d'une forme de données en temps réel, les LLM locaux nécessiteront souvent une couche supplémentaire d'intégration avec les services connectés à Internet. L'accès à Internet est l'une des raisons pour lesquelles vous pourriez envisager de passer à ChatGPT Plus !

Le LLM doit-il être utilisé localement ?

Les grands modèles linguistiques locaux offrent des avantages incontestables, mais ils présentent également de réels inconvénients à prendre en compte avant de commencer. Moins de censure, une meilleure confidentialité, un accès hors ligne, des économies de coûts et une personnalisation sont des raisons intéressantes pour créer un LLM local. Cependant, ces avantages s’accompagnent de compromis. Avec autant de LLM disponibles gratuitement en ligne, se lancer dans un LLM local peut être comme écraser des mouches avec un marteau – efficace mais excessif. Il n’y a donc pas de bonne ou de mauvaise réponse définitive. L’évaluation de vos priorités déterminera si le moment est venu de faire le changement.