Homelab + KI + selbst gehostet
Ich schraube an Servern, betreibe lokale KI-Modelle und verbinde das Ganze miteinander. Ich hoste selbst, was ich selbst hosten kann, und dokumentiere den Weg hier.
Hallo sagen01 Was ich mache
Meistens Server, KI-Aufbauten und das nächste Kaninchenloch, in das ich falle.
Proxmox-Cluster, LXC-Container, für alles eine VM. Ich baue gern Infrastruktur, die einfach läuft, auch wenn ich sie wochenlang vergesse. Mehrere Knoten zu Hause und im Rechenzentrum, alle über ein Mesh-VPN verbunden.
LLMs und Bildgenerierung auf eigener Hardware. Keine Cloud-APIs, keine Abrechnung pro Token. Nur eine GPU, die auf einem Regal in meinem Zimmer ihre Arbeit macht.
Webhosting, E-Mail, DNS, Git-Repos, CI-Runner. Wenn es eine selbst gehostete Alternative gibt, läuft sie bei mir vermutlich irgendwo.
Pipelines, Deployment-Skripte und KI-Agenten, die das Langweilige erledigen, damit ich es nicht muss. Immer noch am Schrauben, immer am Schrauben.
Überall verschlüsselte Tunnel, SSH nur mit Schlüssel, Firewall-Regeln, Überwachung. Nicht aus Verfolgungswahn, sondern weil gehackt zu werden wirklich lästig wäre.
02 Projekte
Nebenprojekte, Werkzeuge für den Eigenbedarf und Dinge, die als „das geht schnell“ anfingen und es nie waren.
03 Der Aufbau
Eine Mischung aus dedizierten Servern, Mini-PCs und einer GPU-Workstation, zusammengehalten von Tailscale.
Proxmox-VE-Cluster mit etlichen VMs und Containern. Dedizierte Server im Rechenzentrum und ein paar Maschinen zu Hause. Überdimensioniert für eine Person, aber das ist irgendwie der Punkt.
Eine RTX 3090 mit Ollama und ComfyUI, die jeder Maschine im Netz lokale KI liefert. Keine Cloud, keine API-Schlüssel, keine Monatsrechnung.
Ein Tailscale-Mesh-VPN verbindet alles. Zu Hause, Rechenzentrum, Laptop, Telefon. Jede Verbindung verschlüsselt, jedes Gerät über seinen Namen erreichbar.
Dashboards, Alarmierung, automatische Sicherungen. Ich bekomme eine Meldung, bevor etwas kaputtgeht, und Snapshots, um zurückzurollen, wenn ich unweigerlich selbst etwas kaputt mache.
04 Neues
Berichte über Dinge, die ich gebaut, kaputt gemacht und irgendwann repariert habe.
Ich habe einem Mixture-of-Experts-Modell mit 120 Milliarden Parametern eine zweite GPU gegeben. Es wurde fünfmal langsamer. Hier die Messung — und der nützlichere Fund, den ich nebenbei gemacht…
Ich hatte zwei RTX 3090 und die Rechenleistung von ungefähr einer. Das hier ist der Umbau, der beide Karten nativ an PCIe in ein Gehäuse gebracht hat —…
Ein Benchmark lief sechs Nächte lang, meldete jedes Mal Erfolg und hat dabei nichts gemessen. Die systemd-Unit endete sauber. Die Ergebnisdateien waren 84 Bytes groß. Hier steht, wie…
05 Kontakt
Sitze in Europa. Immer für ein Gespräch über Homelab, KI oder das zu haben, was du gerade baust.