9 Vor- und Nachteile der Verwendung eines lokalen LLM

Seit ChatGPT im November 2022 auf den Markt kam, hat sich der Begriff „Large Language Model“ (LLM) schnell von einem Begriff, der KI-Enthusiasten vorbehalten ist, zu einem Schlagwort in aller Munde entwickelt. Der größte Vorteil eines lokalen LLM ist die Möglichkeit, die Funktionen eines Chatbots wie ChatGPT auf Ihrem Computer zu reproduzieren, ohne dass eine in der Cloud gehostete Version erforderlich ist.

Es gibt Argumente für und gegen die lokale Einrichtung eines LLM auf Ihrem Computer. Sollten wir also doch ein lokales LLM verwenden?

Vorteile der lokalen Nutzung von LLM

Warum sind die Leute so begeistert davon, ihre eigenen großen Sprachmodelle auf dem Computer einzurichten? Neben dem Ziel, „andere zu begeistern“, gibt es auch einige praktische Vorteile.

1. Weniger Zensur

Als ChatGPT und Bing AI zum ersten Mal online gingen, waren die Dinge, die beide Chatbots zu sagen und zu tun bereit waren, sowohl faszinierend als auch alarmierend. Damals konnten beide Chatbots sogar dabei helfen, Bomben zu bauen, wenn man die richtigen Eingabeaufforderungen nutzte. Das mag pervers klingen, aber alles tun zu können, ist ein Symbol für die unbegrenzten Möglichkeiten der Sprachmodelle, die sie unterstützen.

Heutzutage unterliegen beide Chatbots derart starker Zensur, dass sie einem nicht einmal dabei helfen würden, einen fiktiven Kriminalroman mit Gewaltszenen zu schreiben. Einige KI-Chatbots sprechen nicht einmal über Religion oder Politik. Auch wenn die LLMs, die Sie lokal einrichten können, nicht völlig unzensiert sind, sind viele von ihnen bereit, zum Nachdenken anregende Dinge zu tun, die öffentlich zugängliche Chatbots nicht tun. Wenn Sie also nicht möchten, dass ein Roboter Sie über die Ethik bei der Diskussion von Themen von persönlichem Interesse belehrt, ist die Leitung eines lokalen LLM möglicherweise der richtige Weg.

2. Bessere Datensicherheit

Einer der Hauptgründe, warum Menschen sich für ein lokales LLM entscheiden, besteht darin, sicherzustellen, dass alles, was auf ihrem Computer passiert, auf dem Gerät bleibt. Wenn Sie LLM lokal nutzen, ist es wie ein privates Gespräch in Ihrem Wohnzimmer – niemand draußen kann mithören. Unabhängig davon, ob Sie Ihre Kreditkartendaten überprüfen oder vertrauliche persönliche Gespräche mit LLM führen, werden alle erhaltenen Daten ausschließlich auf Ihrem Computer gespeichert. Die Alternative besteht darin, ein öffentliches LLM wie GPT-4 zu verwenden, das den verantwortlichen Unternehmen Zugriff auf Ihre Chat-Informationen gewährt.

3. Offline verwenden

Da das Internet erschwinglich und allgemein zugänglich ist, scheint es ein trivialer Grund zu sein, offline zu gehen, um ein lokales LLM zu absolvieren. Der Offline-Zugriff kann an abgelegenen oder isolierten Standorten, an denen der Internetdienst unzuverlässig oder nicht verfügbar ist, besonders wichtig werden. In solchen Situationen wird ein lokales LLM, das unabhängig von einer Internetverbindung funktioniert, zu einem wichtigen Werkzeug. So können Sie ohne Unterbrechung weitermachen, was Sie wollen.

4. Kosten sparen

Der durchschnittliche Preis für den Zugriff auf ein LLM mit Funktionen wie GPT-4 oder Claude 2 beträgt 20 US-Dollar pro Monat. Auch wenn das kein alarmierender Preis zu sein scheint, stoßen Sie bei diesem Betrag dennoch auf einige lästige Einschränkungen. Bei GPT-4, auf den Sie über ChatGPT zugreifen, sind Sie beispielsweise auf 50 Nachrichten alle 3 Stunden beschränkt. Sie können diese Beschränkungen nur umgehen, indem Sie zum ChatGPT Enterprise-Plan wechseln, der Tausende von Dollar kosten kann. Mit Local LLM müssen Sie nach der Einrichtung der Software weder eine monatliche Abonnementgebühr noch wiederkehrende Kosten in Höhe von 20 US-Dollar zahlen. Es ist, als würde man ein Auto kaufen, anstatt sich auf Mitfahrdienste zu verlassen. Am Anfang ist es teuer, aber mit der Zeit sparen Sie viel.

5. Bessere Anpassung

Öffentlich verfügbare KI-Chatbots sind aufgrund von Sicherheits- und Zensurbedenken nur begrenzt anpassbar. Mit einem lokal gehosteten KI-Assistenten können Sie das Modell vollständig an Ihre spezifischen Bedürfnisse anpassen. Sie können Ihren Assistenten anhand proprietärer Daten schulen, die für Ihren Anwendungsfall relevant sind, und so die Relevanz und Genauigkeit verbessern. Beispielsweise kann ein Anwalt seine lokale KI optimieren, um genauere rechtliche Erkenntnisse zu generieren. Der Hauptvorteil besteht in der Kontrolle über die Anpassung an Ihre individuellen Anforderungen.

Nachteile der lokalen Verwendung von LLM

Bevor Sie den Wechsel vornehmen, sollten Sie einige Nachteile der Verwendung eines lokalen LLM berücksichtigen.

1. Verbraucht viele Ressourcen

Um LLM lokal effektiv ausführen zu können, benötigen Sie High-End-Hardware. Denken Sie an eine leistungsstarke CPU, viel RAM und vielleicht eine dedizierte GPU. Erwarten Sie nicht, dass ein 400-Dollar-Laptop ein gutes Erlebnis bietet. Die Reaktion wird sehr langsam sein, insbesondere bei größeren KI-Modellen. Es ist, als würde man hochmoderne Videospiele spielen – man braucht leistungsstarke Spezifikationen für optimale Leistung. Möglicherweise benötigen Sie sogar spezielle Kühllösungen. Unterm Strich erfordert ein lokales LLM eine Investition in erstklassige Hardware, um die Geschwindigkeit und Reaktionsfähigkeit zu erreichen, die Sie von einem webbasierten LLM lieben (oder diese sogar zu verbessern). Ihr Computerbedarf wird im Vergleich zur Nutzung webbasierter Dienste enorm sein.

2. Langsamere Reaktion und schlechtere Leistung

Eine häufige Einschränkung von lokalem LLM sind langsamere Antwortzeiten. Die genauen Geschwindigkeiten hängen vom spezifischen KI-Modell und der verwendeten Hardware ab, aber die meisten Setups bleiben hinter denen von Online-Diensten zurück. Nachdem Sie sofortige Antworten von ChatGPT, Bard und anderen Tools erhalten haben, kann lokales LLM sehr langsam sein. Der durchschnittliche Benutzer sieht sich mit ernsthaften Nachteilen konfrontiert, die ein flüssiges Web-Erlebnis mit sich bringt. Seien Sie also auf einen „Kulturschock“ von schnellen Online-Systemen zu ihren langsameren lokalen Äquivalenten vorbereitet.

Kurz gesagt: Sofern Sie kein absolutes Spitzensetup verwenden (wie einen AMD Ryzen 5800X3D mit Nvidia RTX 4090 und „riesigem“ RAM), ist die Gesamtleistung von lokalem LLM nicht mit der von Online-Chatbots mit generativer KI vergleichbar die Ihnen bekannt sind.

3. Komplizierte Einrichtung

Die lokale Bereitstellung von LLM ist komplizierter als das einfache Abonnieren eines webbasierten KI-Dienstes. Mit einer Internetverbindung kann Ihr ChatGPT-, Bard- oder Bing AI-Konto in wenigen Minuten mit der Aufforderung beginnen. Um einen vollständigen lokalen LLM-Stack einzurichten, müssen Frameworks heruntergeladen, die Infrastruktur konfiguriert und verschiedene Komponenten integriert werden. Bei größeren Modellen kann dieser komplexe Vorgang Stunden dauern, selbst mit Werkzeugen, die die Installation vereinfachen sollen. Einige der fortschrittlichsten KI-Systeme erfordern immer noch umfangreiches Engineering, um lokal ausgeführt zu werden. Im Gegensatz zu webbasierten Plug-and-Play-KI-Modellen erfordert die Verwaltung Ihrer eigenen KI daher erhebliche technische und zeitliche Investitionen.

4. Begrenztes Wissen

Viele lokale LLMs stecken in der Vergangenheit fest. Sie haben nur begrenzte Kenntnisse über aktuelle Ereignisse. Erinnern Sie sich, als ChatGPT nicht auf das Internet zugreifen konnte? Es kann dann nur Antworten auf Fragen zu Ereignissen liefern, die vor September 2021 stattgefunden haben. Ähnlich wie die ursprünglichen ChatGPT-Modelle werden lokal gehostete Sprachmodelle in der Regel nur auf Daten vor einem bestimmten Stichtag trainiert. Daher fehlt ihnen das Bewusstsein für aktuelle Entwicklungen nach dieser Zeit.

Darüber hinaus kann lokales LLM nicht direkt auf Internetdaten zugreifen. Dies schränkt den Nutzen von Echtzeitabfragen wie Aktienkursen oder Wetter ein. Um in den Genuss einer Form von Echtzeitdaten zu kommen, benötigen lokale LLMs häufig eine zusätzliche Integrationsebene mit mit dem Internet verbundenen Diensten. Der Internetzugang ist einer der Gründe, warum Sie ein Upgrade auf ChatGPT Plus in Betracht ziehen könnten!

Soll LLM lokal genutzt werden?

Große lokale Sprachmodelle bieten überzeugende Vorteile, es gibt jedoch auch echte Nachteile, die Sie vor dem Start berücksichtigen sollten. Weniger Zensur, besserer Datenschutz, Offline-Zugriff, Kosteneinsparungen und Anpassungsmöglichkeiten sind attraktive Gründe für die Einrichtung eines lokalen LLM. Diese Vorteile gehen jedoch mit Kompromissen einher. Bei so vielen LLMs, die kostenlos online verfügbar sind, kann der Einstieg in ein lokales LLM wie das Erschlagen von Fliegen mit einem Vorschlaghammer sein – leistungsfähig, aber übertrieben. Es gibt also keine definitive richtige oder falsche Antwort. Anhand Ihrer Prioritäten können Sie entscheiden, ob jetzt der richtige Zeitpunkt für den Wechsel ist.