GPT4All – lokaler Chatbot

Was ist das und was kann das?

GPT4all (Link) bietet die Möglichkeit, einen eigenen Chatbot lokal zu betreiben.

Mit diesem sollten wir dann über die zur Verfügung stehende UI „kommunizieren“ können, auch ohne Internetanbindung.

Wie gut das funktioniert, werden wir am Ende der Installation herausfinden.

Installation

Die Installation erfolgt ein einer Ubuntu 23.04 Desktop 64 Bit Virtualbox – bei der Installation wurden keine speziellen Einstellungen vorgenommen.

Der Virtualbox wurden folgende Ressourcen gegeben:

• 8092MB RAM
• 4 Cores
• 150GB Harddisk

 

Nach der Installation und erstem Start, wurden Updates und für die Installation der Virtualbox Guest Tools die „build-essential“ Pakete installiert:

sudo apt-get update
sudo apt-get dist-upgrade
sudo reboot

sudo apt-get install build-essential
cd /media/media/Vbox_GAs_7.0.8
sudo ./VBoxLinuxAdditions.run
sudo reboot

Als Nächstes laden wir den GPT4All Installer herunter:

wget https://gpt4all.io/installers/gpt4all-installer-linux.run
chmod a+x gpt4all-installer-linux.run
./gpt4all-installer-linux.run

Es kommt der Fehler:

Zusätzlich wird noch das Paket benötigt, die Installation erfolgt mit:

sudo apt-get install libxcb-xinerama0

Danach können wir den Installer erneut ausführen:

./gpt4all-installer-linux.run

Für die Installation ändern wir unter Einstellungen nichts und klicken auf Weiter

Die Installation selber wird im Home-Ordner unseres Users angelegt:

Wir klicken Weiter bis wir zum Abschluss der Installation kommen:

Starten können wir die Chat UI jetzt mittels:

gpt4all/bin/chat

Nach dem Start können wir uns entscheiden, ob wir unsere Chats usw. mit GPT4All teilen möchten:

Als nächstes müssen wir ein Model auswählen – wir werden das default mässige gpt4all-j-v1.3-groovy auswählen, auch weil es für kommerzielle Zwecke verwendet werden kann:

In den Einstellungen können wir noch die Anzahl der Threats erhöhen und wenn gewünscht auch eine Web API (web server) aktivieren:

Ist das erledigt, trennen wir unsere VM vom Netzwerk über die 2 Computersymbole:

Jetzt probieren wir mit GPT4All (und dem Model gpt4all-j-v1.3-groovy) zu kommunizieren. Wir stellen die Frage wie man in MySQL 2 Tabellen miteinander verbinden kann.

Natürlich starten wir erstmal mit einer Begrüßung:

Wir bekommen eine gute Antwort, denn auch ohne Internetanbindung konnte uns mit einem Beispiel geholfen werden.

Fazit

Die Installation und das Einrichten von GPT4All war recht einfach, wir können uns auch unterschiedliche Modelle aussuchen, die wir verwenden können.

Sollten wir jetzt ein Modell gut finden, können wir dieses auch selber trainieren und für unsere Entwicklung verwenden.

Da es Opensource ist, finden wir entsprechenden Code und Links auf Github.