Homelab + KI + selbst gehostet
Ich schraube an Servern, betreibe lokale KI-Modelle und verbinde das Ganze miteinander. Ich hoste selbst, was ich selbst hosten kann, und dokumentiere den Weg hier.
Hallo sagen01 Was ich mache
Meistens Server, KI-Aufbauten und das nächste Kaninchenloch, in das ich falle.
Proxmox-Cluster, LXC-Container, für alles eine VM. Ich baue gern Infrastruktur, die einfach läuft, auch wenn ich sie wochenlang vergesse. Mehrere Knoten zu Hause und im Rechenzentrum, alle über ein Mesh-VPN verbunden.
LLMs und Bildgenerierung auf eigener Hardware. Keine Cloud-APIs, keine Abrechnung pro Token. Nur eine GPU, die auf einem Regal in meinem Zimmer ihre Arbeit macht.
Webhosting, E-Mail, DNS, Git-Repos, CI-Runner. Wenn es eine selbst gehostete Alternative gibt, läuft sie bei mir vermutlich irgendwo.
Pipelines, Deployment-Skripte und KI-Agenten, die das Langweilige erledigen, damit ich es nicht muss. Immer noch am Schrauben, immer am Schrauben.
Überall verschlüsselte Tunnel, SSH nur mit Schlüssel, Firewall-Regeln, Überwachung. Nicht aus Verfolgungswahn, sondern weil gehackt zu werden wirklich lästig wäre.
02 Projekte
Nebenprojekte, Werkzeuge für den Eigenbedarf und Dinge, die als „das geht schnell“ anfingen und es nie waren.
03 Der Aufbau
Eine Mischung aus dedizierten Servern, Mini-PCs und einer GPU-Workstation, zusammengehalten von Tailscale.
Proxmox-VE-Cluster mit etlichen VMs und Containern. Dedizierte Server im Rechenzentrum und ein paar Maschinen zu Hause. Überdimensioniert für eine Person, aber das ist irgendwie der Punkt.
Eine RTX 3090 mit Ollama und ComfyUI, die jeder Maschine im Netz lokale KI liefert. Keine Cloud, keine API-Schlüssel, keine Monatsrechnung.
Ein Tailscale-Mesh-VPN verbindet alles. Zu Hause, Rechenzentrum, Laptop, Telefon. Jede Verbindung verschlüsselt, jedes Gerät über seinen Namen erreichbar.
Dashboards, Alarmierung, automatische Sicherungen. Ich bekomme eine Meldung, bevor etwas kaputtgeht, und Snapshots, um zurückzurollen, wenn ich unweigerlich selbst etwas kaputt mache.
04 Neues
Berichte über Dinge, die ich gebaut, kaputt gemacht und irgendwann repariert habe.
Vier Quantstufen eines Experten-Modells, ein dichtes 27B mit MTP und ein 321B-MoE mit CPU-Offload auf zwei RTX 3090: 2 Bit sind 1,53 Mal so schnell, kosten fünf von fünfzig exakten Antworten und kippen im Agentenbetrieb.
Ein Kernel-Modul schaltet die halbierte Rechenrate der GeForce-Karten frei. Ich habe nachgemessen: Die Rate pro Taktzyklus ist wirklich doppelt so hoch — mein Sprachmodell wird davon nur 7,5 Prozent schneller. Die Sonde, die den Unterschied sichtbar macht, habe ich selbst geschrieben.
Dasselbe Modell, dieselben 220 Proben, derselbe Richter, Temperatur null: auf llama.cpp beantwortete es 108 von 110 Scherproben, auf der neuen Engine nur 100. Über-Verweigerung in beiden Läufen: keine einzige der 110 neutralen Kontrollfragen. Geändert hat sich nur der Motor — und die Raterschicht, die mitdenkt. Messprotokoll und Scorecard hängen als Datei am Beitrag.
05 Kontakt
Sitze in Europa. Immer für ein Gespräch über Homelab, KI oder das zu haben, was du gerade baust.