128k Kontext zu reservieren kostet nichts. Ihn zu füllen kostet zwei Drittel.
Zwei RTX 3090, elf Modelle mit identischen Digests, 528 Anfragen ohne Fehler. Einen 128k-KV-Cache zu reservieren ist beinahe umsonst; ihn zu füllen kostet 10 bis 66…
Das Ollama-Update hat nichts beschleunigt — aber ein Modell zerstört
Ollama 0.32.5 war draußen, meine Workstation lief noch auf 0.31.2, und ich hatte gerade 26 Modelle darauf durchgemessen. Damit ergab sich eine seltene Gelegenheit: dieselbe Maschine,…
26 lokale LLMs auf einer RTX 3090 — was wirklich gehalten hat
In meiner Windows-Workstation steckt eine RTX 3090, die demnächst ausgebaut und als Proxmox-AI-Host neu aufgesetzt wird. Vorher wollte ich für jedes Modell, das ich darauf halte,…
Venice.ai: KI mit Vorrang für Privatsphäre — Token-Staking statt Abo
Venice.ai betreibt quelloffene Modelle mit Zero-Knowledge-Datenschutz. Keine Protokolle, kein Training mit deinen Daten. Das Staking-Modell des VVV-Tokens gibt dauerhaften KI-Zugang ohne Monatsgebühr. Wie es funktioniert und…
Mein KI-Homelab: RTX 3090, Proxmox, Ollama und Tailscale
Ein kompakter Intel NUC mit Proxmox, Ollama und ComfyUI, über ein Tailscale-Mesh mit jedem Server verbunden. Keine Rechnungen für Cloud-GPUs, keine Herstellerbindung, unbegrenzte Inferenz für unter…