Blog
Infrastructure, AI, tools, and the decisions behind them.
Zwei RTX 3090, elf Modelle mit identischen Digests, 528 Anfragen ohne Fehler. Einen 128k-KV-Cache zu reservieren ist beinahe umsonst; ihn zu füllen kostet 10 bis 66 Prozent Durchsatz — bei zehn von elf Modellen ohne jede CPU-Auslagerung. Und: ein angeschlossener Bildschirm kostet 1,8 GB nutzbares VRAM.
Ollama 0.32.5 war draußen, meine Workstation lief noch auf 0.31.2, und ich hatte gerade 26 Modelle darauf durchgemessen. Damit ergab sich eine seltene Gelegenheit: dieselbe Maschine, dieselben Modelle,…
In meiner Windows-Workstation steckt eine RTX 3090, die demnächst ausgebaut und als Proxmox-AI-Host neu aufgesetzt wird. Vorher wollte ich für jedes Modell, das ich darauf halte, eine ehrliche…
Venice.ai betreibt quelloffene Modelle mit Zero-Knowledge-Datenschutz. Keine Protokolle, kein Training mit deinen Daten. Das Staking-Modell des VVV-Tokens gibt dauerhaften KI-Zugang ohne Monatsgebühr. Wie es funktioniert und wo es neben selbstgehostetem Ollama passt.
Wie ich mit Tailscale Homelab, Rechenzentrumsserver und alles dazwischen zu einem verschlüsselten Mesh verbinde. ACLs, MagicDNS, Subnetz-Routing — und warum meine VPS für KI-Inferenz zu Hause anrufen.
Das Hosting-Panel als Produktkategorie steht vor dem Umbruch. Nicht durch ein besseres Panel, sondern durch KI-Agenten, die Infrastruktur beobachten, durchdenken und bearbeiten. Das entsteht gerade.
Ein kompakter Intel NUC mit Proxmox, Ollama und ComfyUI, über ein Tailscale-Mesh mit jedem Server verbunden. Keine Rechnungen für Cloud-GPUs, keine Herstellerbindung, unbegrenzte Inferenz für unter 15 EUR im Monat.