Blog - Seite 3 von 4 - Tobias Liauw

Gruppierte Balken vergleichen die Punkte je Aufgabe vor und nach der Stopp-Angabe, in Prozent: rechnung faellt von 88 auf 75, extrakt steigt von 0 auf 100, raetsel von 30 auf 39. Eine Seitenkarte nennt die Summen ueber alle 48 Zellen: 117 von 336 Punkten gegen 215 von 336, Zellen am Token-Limit 48 von 48 gegen 3 von 48, Formtreue 31 gegen 83 Prozent, 192 000 gegen 45 775 erzeugte Token, 1594 gegen 326 Sekunden Rechenzeit, die Aufgabe plan unveraendert bei 88 Prozent.

1. August 2026 KI & Werkzeuge

Das Modell, das nicht aufhören konnte

Ein Modell steht mit 35 Prozent am Tabellenende. Die Zahl ist echt gemessen — und trotzdem falsch, in beide Richtungen zugleich. Was passiert, wenn eine Ollama-Verpackung…

Balkendiagramm der Generierungsgeschwindigkeit in Token pro Sekunde bei 64k Kontext für drei Modelle in zwei Bedingungen, Kontext nur reserviert gegen Kontext zu 84 Prozent gefüllt: qwen3-vl-abl:30b 149,2 gegen 39,1, glm-4.7-flash 145,0 gegen 58,4, ornith:35b 108,3 gegen 85,6. Eine Seitenkarte hält fest, dass alle drei mit 0 Prozent des Modells auf der CPU liefen, dass im gepaarten Lauf einzig qwq:32b auslagerte, dass ein leerer 128k-KV-Cache rund 1,5 GB kostet und ein voller Cache für jedes erzeugte Token gelesen werden muss.

31. Juli 2026 KI & Werkzeuge

128k Kontext zu reservieren kostet nichts. Ihn zu füllen kostet zwei Drittel.

Zwei RTX 3090, elf Modelle mit identischen Digests, 528 Anfragen ohne Fehler. Einen 128k-KV-Cache zu reservieren ist beinahe umsonst; ihn zu füllen kostet 10 bis 66…

Architekturdiagramm auf sehr dunklem Grund. Links eine Karte HOME LAB mit zwei Geräten: einem Intel NUC mit 32 GB RAM unter Proxmox im Dauerbetrieb und einer RTX 3090 mit 24 GB Videospeicher für Ollama und ComfyUI, darunter vier Marken für Ollama LLM, ComfyUI, AI Agents und Monitoring sowie die Angabe Europa, Heimnetz. Rechts drei Karten mit grünem Statuspunkt: VPS 01 als dedizierter Server mit GitLab, Jenkins und Docker Registry, 15 Containern und 64 GB RAM; VPS 02 als SaaS-Host mit Traefik, App-Stacks und Datenbanken, 33 Containern und 62 GB RAM; VPS 03 mit selbst gehosteten GitHub-Actions-Runnern, kurzlebigen Builds und 125 GB RAM. Gestrichelte violette Kurven verbinden beide Seiten und tragen die Beschriftung Tailscale Mesh, WireGuard verschlüsselt, dazu zwei Marken für den Ollama-Aufruf und die HTTP-API über das Mesh. Unten die Aussage, dass die VPS-Anwendungen für KI-Inferenz nach Hause rufen, mit dem Weg von der Anwendung über den Tailscale-Tunnel zur RTX 3090 und zurück.

31. Juli 2026 Infrastruktur

Mein AI Setup

Zwei Felder auf sehr dunklem Grund. Links, Überschrift Zuerst berichtet: jedes Modell gewinnt 3 bis 11 Prozent, für vier Modelle gemeldet, alter Mittelwert gegen neuen Median. Rechts, Überschrift Neu gerechnet: minus 2,6 bis plus 3,2 Prozent, elf von zwölf Modellen unter drei Prozent, die Gewinne verschwanden vollständig. Der Streifen darunter zeigt laguna-xs-2.1 als defekt: Tokenlimit in 30 von 30 Denkaufgaben, bei exakt 900 und exakt 3.000 Tokens, während dasselbe Modell auf 0.31.2 mit 215 und 897 Tokens auskam und nie abgeschnitten wurde, weil das Stop-Token nicht beachtet wird. Unten die Marker: 12 Modelle über 9 Architekturen, 11 Aufgaben mit je 3 Läufen, dieselbe RTX 3090 mit Treiber 610.88, und qwq mit plus 78,7 Prozent als Kontexteffekt statt Versionseffekt.

31. Juli 2026 KI & Werkzeuge

Das Ollama-Update hat nichts beschleunigt — aber ein Modell zerstört

Ollama 0.32.5 war draußen, meine Workstation lief noch auf 0.31.2, und ich hatte gerade 26 Modelle darauf durchgemessen. Damit ergab sich eine seltene Gelegenheit: dieselbe Maschine,…

Gruppiertes Balkendiagramm mit drei GPU-Sensoren unter zwei Lasten auf derselben RTX 3090 bei 350 Watt. Der Kern erreicht 78,6 °C unter LLM-Inferenz gegenüber 77,7 °C in 3DMark Steel Nomad. Der Hot Spot erreicht 93,7 gegenüber 91,8 °C. Die Memory Junction erreicht 104,0 gegenüber 92,0 °C, also 12 °C heißer unter Inferenz. Eine Seitenkarte nennt 18 °C Abstand zur 110-°C-Drossel im Grafiktest, aber nur 6 °C unter LLM-Last, dazu Drosselung in 2 von 7.432 Messpunkten, 0,03 Prozent.

30. Juli 2026 KI & Werkzeuge

26 lokale LLMs auf einer RTX 3090 — was wirklich gehalten hat

In meiner Windows-Workstation steckt eine RTX 3090, die demnächst ausgebaut und als Proxmox-AI-Host neu aufgesetzt wird. Vorher wollte ich für jedes Modell, das ich darauf halte,…

Zweigeteilte dunkle Grafik. Links die Regel, wie sie ursprünglich dastand: drei Seeds bei Temperature 0, damit kein Modell von einer glücklichen Antwort getragen wird, mit der Begründung einer Seed-Variation. Rechts das Ergebnis der Nachmessung: der Seed wirkt nicht, genau ein Lauf je Gruppe weicht ab, und zwar immer der erste, in 111 von 111 Fällen, also keine Seed-Variation. Ein Streifen darunter hält fest, dass fünf verschiedene Seeds denselben Text liefern wie fünf Wiederholungen desselben Seeds. Unten Schlagworte: Temperature 0, verworfener Aufwärmlauf, Mediane statt Mittelwerte, Messwerte unverändert.

26. Juli 2026 KI & Werkzeuge

Wie ich messe: die Grundregeln, bevor Zahlen kommen

Zwei Hosts, die sich eine Grafikkarte teilen und sonst fast nichts, eine Bewertung, die nur zählt, was ein Skript nachprüfen kann, und die Regeln, die jede…

Zwei Felder nebeneinander auf dunklem Grund. Links Prefill: Die Eingabe wird vollständig parallel gelesen, begrenzt durch reine Rechenleistung, meist mit Tausenden Token pro Sekunde. Rechts Generierung: Token für Token nacheinander, eine Antwort mit 1.000 Token sind 1.000 vollständige Durchläufe durch das Netz, begrenzt durch die Speicherbandbreite statt durch Rechenleistung. Ein Streifen darunter zeigt die VRAM-Klippe: Passt das Modell nicht ins VRAM, rechnen Schichten auf der CPU und schieben Daten über den PCIe-Bus statt mit VRAM-Bandbreite, und das ist kein sanfter Abfall. Darunter die Begriffe Token, KV-Cache, Prefill, Dekodierung, Auslagerung. Schlusszeile: zwei Phasen, zwei Engpässe, eine irreführende Zahl.

25. Juli 2026 KI & Werkzeuge

Ich starte eine Serie über lokale Modelle — zuerst die Begriffe

Der Auftakt einer Serie, in der ich messe, was lokale Sprachmodelle auf käuflicher Hardware tatsächlich leisten. Dieser erste Teil enthält keine Messungen — er ist das…

Konzeptdiagramm auf sehr dunklem Grund. In der Mitte ein violett umrandeter Kreis mit der Aufschrift VENICE, Privacy-First AI. Links eine Karte für den Nutzer mit verschlüsselten Prompts, null Protokollierung, null Speicherung und dem Hinweis, dass die Privatsphäre in der Architektur steckt. Rechts eine Karte für die GPU-Anbieter mit dezentraler Rechenleistung, quelloffenen Modellen und den Namen Llama, Mistral und Gemma. Gestrichelte Linien verbinden beide mit der Mitte, beschriftet mit verschlüsselter Anfrage und Inferenz. Unten eine Karte zum VVV-Token-Staking mit drei Marken: für Zugang staken, an GPUs verdienen, keine monatlichen Gebühren, dazu der Satz, dass Token gestakt und nicht ausgegeben werden und sich jederzeit wieder lösen lassen.

22. Mai 2026 KI & Werkzeuge

Venice.ai: KI mit Vorrang für Privatsphäre — Token-Staking statt Abo

Venice.ai betreibt quelloffene Modelle mit Zero-Knowledge-Datenschutz. Keine Protokolle, kein Training mit deinen Daten. Das Staking-Modell des VVV-Tokens gibt dauerhaften KI-Zugang ohne Monatsgebühr. Wie es funktioniert und…

Netzwerkdiagramm auf sehr dunklem Grund. Um einen violett umrandeten Kreis in der Mitte mit der Aufschrift TAILSCALE und WireGuard Mesh gruppieren sich sechs Karten, jede mit grünem Statuspunkt: Homelab mit Proxmox, RTX 3090, Ollama, ComfyUI, NAS und Monitoring; Laptop mit SSH, Proxmox-Oberfläche und Entwicklungszugriff; Telefon als Exit Node; CI Runners mit selbst gehosteten, kurzlebigen Builds; sowie zwei VPS mit GitLab, CI/CD, Registry, Web-Hosting, Datenbanken, App-Stacks, Traefik, SaaS-Lasten und Backups. Gestrichelte Linien verbinden alle Karten mit der Mitte, kleine Marken nennen MagicDNS, ACLs, Exit Nodes und Subnet Routes. Unten steht, dass jedes Gerät erreichbar und jede Verbindung verschlüsselt ist.

22. Mai 2026 Infrastruktur

Wie Tailscale all meine VPN-Konfigurationen ersetzt hat

Wie ich mit Tailscale Homelab, Rechenzentrumsserver und alles dazwischen zu einem verschlüsselten Mesh verbinde. ACLs, MagicDNS, Subnetz-Routing — und warum meine VPS für KI-Inferenz zu Hause…

Bildschirmfoto einer dunklen Verwaltungsoberfläche mit violettem Farbverlauf im Hintergrund. Links eine schmale Symbolleiste mit den Einträgen Dashboard, Workers, Agents, Nodes, API Clients, Pairings und Settings. Rechts oben ein Fenster für Worker mit drei Kacheln, von denen eine als laufend und eine als gestoppt markiert ist. In der Mitte ein Konsolenfenster, das eine eingebettete Browsersitzung zeigt: darin die Startseite eines Anbieters für Sprachmodell-Zugänge mit Überschrift und vier Kennzahlen. Rechts darunter ein Statusbereich mit grünen Marken für Zustand und Datenbankverbindung sowie Angaben zu Branch, Commit und Commit-Datum. Am unteren Rand eine Leiste mit Schaltflächen und einer Uhrzeit.

22. Mai 2026 KI & Werkzeuge

ClawForge: Was, wenn dein Server-Panel ein KI-Gehirn hätte?

Das Hosting-Panel als Produktkategorie steht vor dem Umbruch. Nicht durch ein besseres Panel, sondern durch KI-Agenten, die Infrastruktur beobachten, durchdenken und bearbeiten. Das entsteht gerade.