Lokale KI-Modelle mit Ollama & Datensouveränität

Diese Anleitung zeigt, wie Sie ein lokales KI-Modell wie Gemma 4 mit Ollama auf Ihrem VPS oder Dedicated Server betreiben und an OpenClaw anbinden. Ohne Cloud-Anbieter und externe API-Keys bleiben Ihre Daten auf Ihrem eigenen Server, und es fallen keine nutzungsabhängigen API-Kosten an.

Warum lokal? Bei Cloud-KIs werden Ihre Prompts von einem externen Anbieter verarbeitet. Mit Ollama + OpenClaw bleiben Ihre Daten auf Ihrem Server. Hinweis: Auf Servern ohne GPU laufen lokale Modelle auf der CPU und antworten deutlich langsamer als Cloud-Modelle. Planen Sie für Modelle in der Größenordnung von gemma4 mindestens 16 GB RAM ein; erforderlich sind Modelle mit Tool-Unterstützung.

Schritt 1

Ollama Engine installieren

Installieren Sie Ollama über das offizielle Skript. Ollama steht danach als Dienst unter 127.0.0.1:11434 bereit:

Server Terminal

curl -fsSL https://ollama.com/install.sh | sh

Laden Sie ein Modell mit Tool-Unterstützung herunter. OpenClaw schlägt gemma4 als lokales Standardmodell vor; kleinere Alternativen sind z. B. gemma4:e2b oder qwen3.5:4b:

Server Terminal

ollama pull gemma4

Schritt 2

Kontextfenster festlegen (optional)

OpenClaw benötigt ein Kontextfenster von mindestens 16K Tokens. Aktuelle Modelle wie gemma4 unterstützen deutlich mehr, und OpenClaw übergibt die Kontextgröße automatisch an Ollama. Wenn Sie die Kontextgröße fest vorgeben möchten, etwa um den Speicherbedarf zu begrenzen, erstellen Sie eine angepasste Modellvariante:

1. Modelfile erstellen

nano Modelfile

FROM gemma4 PARAMETER num_ctx 32768

2. Modell generieren

Server Terminal

ollama create gemma4-agent -f Modelfile

Schritt 3

Modell in OpenClaw auswählen

Starten Sie das Onboarding, wählen Sie Ollama als Anbieter und verwenden Sie die folgenden Einstellungen. Alternativ legen Sie das Modell direkt mit openclaw models set ollama/gemma4 fest:

Server Terminal

openclaw onboard

Abfrage	Eingabe / Auswahl
Ollama-Modus	Local only
Select AI Provider	Ollama
Model Name	gemma4 (oder gemma4-agent)
Base URL (ohne /v1)	http://127.0.0.1:11434
API Key	lokal nicht erforderlich

Schritt 4

Gateway neu starten & testen

Starten Sie den Gateway-Dienst neu, um die neue Konfiguration zu laden, und prüfen Sie, welche Modelle verfügbar sind:

Gateway Restart

openclaw gateway restart openclaw models list --provider ollama

Öffnen Sie die TUI für den ersten Chat-Test:

Chat Interface

openclaw tui

Installation abgeschlossen

Ihr lokales Modell ist nun an OpenClaw angebunden. Sollten Speicherprobleme auftreten, verwenden Sie ein kleineres Modell oder ein kleineres Kontextfenster und starten Sie den Ollama-Dienst mit systemctl restart ollama neu.

Nächster Schritt: Sicherheit