Kurzantwort: Ollama auf VPS = lokale KI-Modelle ohne Cloud. Install: curl -fsSL https://ollama.com/install.sh | sh, dann ollama pull llama3.
Wenn du hier landest: Du willst ChatGPT-ähnliche KI DSGVO-konform auf eigenem Server in Deutschland betreiben.
Installation
# Ubuntu VPS (8 GB+ RAM empfohlen)
curl -fsSL https://ollama.com/install.sh | sh
# Modell laden
ollama pull llama3
ollama pull mistral
# Testen
ollama run llama3 "Erkläre Docker in 3 Sätzen"
# API läuft auf Port 11434
curl http://localhost:11434/api/generate -d '{
"model": "llama3",
"prompt": "Hallo!",
"stream": false
}'Mit Open WebUI (Docker)
docker run -d -p 3000:8080 \
--add-host=host.docker.internal:host-gateway \
-v open-webui:/app/backend/data \
--name open-webui \
ghcr.io/open-webui/open-webui:mainRAM-Übersicht
| Modell | RAM (Q4) |
|---|---|
| llama3 8B | ~6 GB |
| mistral 7B | ~5 GB |
| llama3 70B Q4 | ~40 GB |
Weiterführend
Selbst hosten auf VPS: VPS bestellen · NexoraHost · nexorahost.com (Frankfurt · DSGVO · NVMe)
Häufige Fragen (FAQ)
Welcher VPS für Ollama?
7B Modelle: 8 GB RAM minimum. 13B: 16 GB. 70B quantisiert: 32–64 GB. GPU-VPS optional für Speed, CPU geht auch.
Ollama vs. OpenAI API?
Ollama: einmal VPS-Kosten, Daten bleiben lokal, DSGVO-einfach. OpenAI: pay-per-token, beste Qualität, Daten in US-Cloud.
Welche Modelle mit Ollama?
llama3, mistral, codellama, phi3, gemma – ollama pull llama3. Quantisiert (Q4) spart RAM.
Ollama API von anderer App nutzen?
Ja – http://localhost:11434/api/generate. Von extern nur über Reverse Proxy + Auth exposen.
Ollama mit Open WebUI?
Open WebUI = ChatGPT-ähnliche Oberfläche für Ollama. Docker: beide Container im gleichen Netzwerk.