guest@muellerchen:~/k3s-homelab/apps/ollama$ cat README.md
Ollama + Open WebUI
Lokale LLMs, GPU-beschleunigt.
- Ollama ist fest an node1 gepinnt. Node1 und node2 haben beide eine Nvidia Quadro P600 — Photoprism läuft ohne festes Pinning auf beiden, Ollama nur auf node1. Braucht dafür den Nvidia-Device-Plugin und eine eigene
runtimeClassName. - Eigene unreplizierte StorageClass für die Modelle: node-lokale Performance zählt hier mehr als Redundanz — ein Modell lässt sich notfalls einfach neu ziehen.
- Ollama selbst hat gar keinen Ingress. Erreichbar ist nur Open WebUI von außen, das intern über Cluster-DNS mit Ollama spricht.
- Open WebUI läuft ohne eigenes Login — internes Netz, ein einziger Nutzer, kein Grund für zusätzliche Reibung.
- Die Quadro P600 hat nur 4 GB VRAM — für große Modelle reicht das nicht, Wunder darf man nicht erwarten. Für kleine Modelle (7B und darunter, quantisiert) ist es aber völlig ausreichend.
Gebaut mit: