Wat is GPT4All? Hoe werkt GPT4All?

De GPT-modellen van OpenAI hebben een revolutie teweeggebracht in de natuurlijke taalverwerking (NLP), maar tenzij u betaalt voor premium toegang tot de diensten van OpenAI, kunt u deze niet verfijnen en integreren en hun GPT-modellen in uw toepassingen opnemen. Bovendien heeft OpenAI toegang tot al uw chats, wat een beveiligingsprobleem kan zijn als u ChatGPT gebruikt voor zakelijke en andere gevoelige gebieden van uw leven. Als je dit niet leuk vindt, kun je GPT4All proberen.

Wat is GPT4All precies? Hoe werkt het? Waarom het gebruiken op ChatGPT?

Wat is GPT4All?

GPT4All officiële website

GPT4All is een open source ecosysteem voor het integreren van LLM in applicaties zonder platform- of hardwareabonnementskosten. Het is gemaakt door Nomic AI, een bedrijf voor het in kaart brengen van informatie dat tot doel heeft de toegang tot AI-bronnen te verbeteren.

GPT4All is ontworpen om te draaien op moderne tot semi-moderne pc's zonder de noodzaak van een internetverbinding of zelfs een GPU! Dit is mogelijk omdat de meeste modellen van GPT4All zijn gekwantiseerd tot een klein niveau van slechts een paar gigabytes, waardoor slechts 4 – 16 GB RAM nodig is.

Hierdoor kunnen kleinere bedrijven, organisaties en onafhankelijke onderzoekers de LLM voor specifieke toepassingen gebruiken en integreren. En omdat GPT4All eenvoudig kan worden geïnstalleerd via een installatieprogramma met één klik, kan iedereen nu GPT4All en de vele LLM's gebruiken om inhoud te creëren, code te schrijven, documentatie te begrijpen en informatie te verzamelen.

Hoe GPT4All werkt

Zoals eerder besproken is GPT4All een ecosysteem dat wordt gebruikt om LLM lokaal op uw computer te trainen en in te zetten, wat een geweldige prestatie is! Normaal gesproken vereist een standaard LLM-belasting van 25 - 30 GB 32 GB RAM en een GPU van ondernemingsklasse.

Ter vergelijking: de LLM's die u met GPT4All kunt gebruiken, vereisen slechts 3 GB - 8 GB geheugen en kunnen draaien op 4 GB - 16 GB RAM. Dit maakt het mogelijk om de volledige LLM op een edge-apparaat uit te voeren zonder de noodzaak van een GPU of externe cloudondersteuning.

De hardwarevereisten om LLM op GPT4All uit te voeren zijn aanzienlijk verminderd dankzij neurale netwerkkwantisering. Door nauwkeurige gewichtsvermindering en activering in neurale netwerken kunnen veel van de modellen van GPT4All op de meeste relatief moderne computers draaien.

De trainingsgegevens die in sommige van de beschikbare modellen worden gebruikt, worden verzameld via "stapels", dit zijn eenvoudigweg gegevens die zijn verzameld uit inhoud die publiekelijk op internet is vrijgegeven. De gegevens worden vervolgens naar de Atlas AI-database van Nomic AI gestuurd, die kan worden bekeken op basis van correlaties op een gemakkelijk te bekijken 2D-vectorkaart (ook bekend als een AI-vectordatabase).

Illustratie van hoe Atlas werkt

Door Nomic AI het Groovy-model te laten trainen en publiek beschikbare data te gebruiken, kan Nomic AI het model vrijgeven op een open GPL-licentie waarmee iedereen het kan gebruiken, zelfs voor commerciële toepassingen.

Hoe GPT4All te installeren

GPT4All installeren is eenvoudig, en nu GPT4All versie 2 is uitgebracht, is het zelfs nog eenvoudiger! De beste manier om GPT4All 2 te installeren is door het installatieprogramma met één klik te downloaden:

• Download GPT4All voor Windows, macOS of Linux (gratis)

De volgende instructies zijn voor Windows, maar u kunt GPT4All op elk van de belangrijkste besturingssystemen installeren.

Na het downloaden dubbelklikt u op het installatieprogramma en selecteert u Installeren. Windows Defender beschouwt de installatie mogelijk als kwaadaardig omdat het Microsoft-proces voor het verstrekken van geldige handtekeningen aan toepassingen van derden lang kan duren. Dit moet echter snel worden opgelost. Op het moment dat we dit schrijven, ben je veilig zolang je de GPT4All-app van de officiële website hebt gedownload. Klik op Toch installeren om GPT4All te installeren.

Nadat u de app hebt geopend, moet u een model selecteren dat u wilt gebruiken. GPT4ALL biedt u verschillende modellen aan, die allemaal hun sterke en zwakke punten hebben. Om te weten welk model u moet downloaden, vindt u hier een tabel met de sterke en zwakke punten van elk model.

Houd er rekening mee dat de aangeboden modellen verschillende beperkingenniveaus hebben. Niet alle modellen zijn vrij te gebruiken voor commerciële doeleinden; Sommige modellen hebben meer hardwarebronnen nodig, terwijl andere een API-sleutel nodig hebben. De minst beperkende modellen die beschikbaar zijn in GPT4All zijn Groovy, GPT4All Falcon en Orca.