Blog - Seite 5 von 5 - Tobias Liauw

Zwei Felder auf sehr dunklem Grund. Links, Überschrift Zuerst berichtet: jedes Modell gewinnt 3 bis 11 Prozent, für vier Modelle gemeldet, alter Mittelwert gegen neuen Median. Rechts, Überschrift Neu gerechnet: minus 2,6 bis plus 3,2 Prozent, elf von zwölf Modellen unter drei Prozent, die Gewinne verschwanden vollständig. Der Streifen darunter zeigt laguna-xs-2.1 als defekt: Tokenlimit in 30 von 30 Denkaufgaben, bei exakt 900 und exakt 3.000 Tokens, während dasselbe Modell auf 0.31.2 mit 215 und 897 Tokens auskam und nie abgeschnitten wurde, weil das Stop-Token nicht beachtet wird. Unten die Marker: 12 Modelle über 9 Architekturen, 11 Aufgaben mit je 3 Läufen, dieselbe RTX 3090 mit Treiber 610.88, und qwq mit plus 78,7 Prozent als Kontexteffekt statt Versionseffekt.

31. Juli 2026 KI & Werkzeuge

Das Ollama-Update hat nichts beschleunigt — aber ein Modell zerstört

Ollama 0.32.5 war draußen, meine Workstation lief noch auf 0.31.2, und ich hatte gerade 26 Modelle darauf durchgemessen. Damit ergab sich eine seltene Gelegenheit: dieselbe Maschine,…

Gruppiertes Balkendiagramm mit drei GPU-Sensoren unter zwei Lasten auf derselben RTX 3090 bei 350 Watt. Der Kern erreicht 78,6 °C unter LLM-Inferenz gegenüber 77,7 °C in 3DMark Steel Nomad. Der Hot Spot erreicht 93,7 gegenüber 91,8 °C. Die Memory Junction erreicht 104,0 gegenüber 92,0 °C, also 12 °C heißer unter Inferenz. Eine Seitenkarte nennt 18 °C Abstand zur 110-°C-Drossel im Grafiktest, aber nur 6 °C unter LLM-Last, dazu Drosselung in 2 von 7.432 Messpunkten, 0,03 Prozent.

30. Juli 2026 KI & Werkzeuge

26 lokale LLMs auf einer RTX 3090 — was wirklich gehalten hat

In meiner Windows-Workstation steckt eine RTX 3090, die demnächst ausgebaut und als Proxmox-AI-Host neu aufgesetzt wird. Vorher wollte ich für jedes Modell, das ich darauf halte,…

Zweigeteilte dunkle Grafik. Links die Regel, wie sie ursprünglich dastand: drei Seeds bei Temperature 0, damit kein Modell von einer glücklichen Antwort getragen wird, mit der Begründung einer Seed-Variation. Rechts das Ergebnis der Nachmessung: der Seed wirkt nicht, genau ein Lauf je Gruppe weicht ab, und zwar immer der erste, in 111 von 111 Fällen, also keine Seed-Variation. Ein Streifen darunter hält fest, dass fünf verschiedene Seeds denselben Text liefern wie fünf Wiederholungen desselben Seeds. Unten Schlagworte: Temperature 0, verworfener Aufwärmlauf, Mediane statt Mittelwerte, Messwerte unverändert.

26. Juli 2026 KI & Werkzeuge

Wie ich messe: die Grundregeln, bevor Zahlen kommen

Zwei Hosts, die sich eine Grafikkarte teilen und sonst fast nichts, eine Bewertung, die nur zählt, was ein Skript nachprüfen kann, und die Regeln, die jede…

Zwei Felder nebeneinander auf dunklem Grund. Links Prefill: Die Eingabe wird vollständig parallel gelesen, begrenzt durch reine Rechenleistung, meist mit Tausenden Token pro Sekunde. Rechts Generierung: Token für Token nacheinander, eine Antwort mit 1.000 Token sind 1.000 vollständige Durchläufe durch das Netz, begrenzt durch die Speicherbandbreite statt durch Rechenleistung. Ein Streifen darunter zeigt die VRAM-Klippe: Passt das Modell nicht ins VRAM, rechnen Schichten auf der CPU und schieben Daten über den PCIe-Bus statt mit VRAM-Bandbreite, und das ist kein sanfter Abfall. Darunter die Begriffe Token, KV-Cache, Prefill, Dekodierung, Auslagerung. Schlusszeile: zwei Phasen, zwei Engpässe, eine irreführende Zahl.

25. Juli 2026 KI & Werkzeuge

Ich starte eine Serie über lokale Modelle — zuerst die Begriffe

Der Auftakt einer Serie, in der ich messe, was lokale Sprachmodelle auf käuflicher Hardware tatsächlich leisten. Dieser erste Teil enthält keine Messungen — er ist das…

Konzeptdiagramm auf sehr dunklem Grund. In der Mitte ein violett umrandeter Kreis mit der Aufschrift VENICE, Privacy-First AI. Links eine Karte für den Nutzer mit verschlüsselten Prompts, null Protokollierung, null Speicherung und dem Hinweis, dass die Privatsphäre in der Architektur steckt. Rechts eine Karte für die GPU-Anbieter mit dezentraler Rechenleistung, quelloffenen Modellen und den Namen Llama, Mistral und Gemma. Gestrichelte Linien verbinden beide mit der Mitte, beschriftet mit verschlüsselter Anfrage und Inferenz. Unten eine Karte zum VVV-Token-Staking mit drei Marken: für Zugang staken, an GPUs verdienen, keine monatlichen Gebühren, dazu der Satz, dass Token gestakt und nicht ausgegeben werden und sich jederzeit wieder lösen lassen.

22. Mai 2026 KI & Werkzeuge

Venice.ai: KI mit Vorrang für Privatsphäre — Token-Staking statt Abo

Venice.ai betreibt quelloffene Modelle mit Zero-Knowledge-Datenschutz. Keine Protokolle, kein Training mit deinen Daten. Das Staking-Modell des VVV-Tokens gibt dauerhaften KI-Zugang ohne Monatsgebühr. Wie es funktioniert und…

Netzwerkdiagramm auf sehr dunklem Grund. Um einen violett umrandeten Kreis in der Mitte mit der Aufschrift TAILSCALE und WireGuard Mesh gruppieren sich sechs Karten, jede mit grünem Statuspunkt: Homelab mit Proxmox, RTX 3090, Ollama, ComfyUI, NAS und Monitoring; Laptop mit SSH, Proxmox-Oberfläche und Entwicklungszugriff; Telefon als Exit Node; CI Runners mit selbst gehosteten, kurzlebigen Builds; sowie zwei VPS mit GitLab, CI/CD, Registry, Web-Hosting, Datenbanken, App-Stacks, Traefik, SaaS-Lasten und Backups. Gestrichelte Linien verbinden alle Karten mit der Mitte, kleine Marken nennen MagicDNS, ACLs, Exit Nodes und Subnet Routes. Unten steht, dass jedes Gerät erreichbar und jede Verbindung verschlüsselt ist.

22. Mai 2026 Infrastruktur

Wie Tailscale all meine VPN-Konfigurationen ersetzt hat

Wie ich mit Tailscale Homelab, Rechenzentrumsserver und alles dazwischen zu einem verschlüsselten Mesh verbinde. ACLs, MagicDNS, Subnetz-Routing — und warum meine VPS für KI-Inferenz zu Hause…

Bildschirmfoto einer dunklen Verwaltungsoberfläche mit violettem Farbverlauf im Hintergrund. Links eine schmale Symbolleiste mit den Einträgen Dashboard, Workers, Agents, Nodes, API Clients, Pairings und Settings. Rechts oben ein Fenster für Worker mit drei Kacheln, von denen eine als laufend und eine als gestoppt markiert ist. In der Mitte ein Konsolenfenster, das eine eingebettete Browsersitzung zeigt: darin die Startseite eines Anbieters für Sprachmodell-Zugänge mit Überschrift und vier Kennzahlen. Rechts darunter ein Statusbereich mit grünen Marken für Zustand und Datenbankverbindung sowie Angaben zu Branch, Commit und Commit-Datum. Am unteren Rand eine Leiste mit Schaltflächen und einer Uhrzeit.

22. Mai 2026 KI & Werkzeuge

ClawForge: Was, wenn dein Server-Panel ein KI-Gehirn hätte?

Das Hosting-Panel als Produktkategorie steht vor dem Umbruch. Nicht durch ein besseres Panel, sondern durch KI-Agenten, die Infrastruktur beobachten, durchdenken und bearbeiten. Das entsteht gerade.

Architekturdiagramm auf sehr dunklem Grund. Links eine Karte HOME LAB mit zwei Geräten: einem Intel NUC mit 32 GB RAM unter Proxmox im Dauerbetrieb und einer RTX 3090 mit 24 GB Videospeicher für Ollama und ComfyUI, darunter vier Marken für Ollama LLM, ComfyUI, AI Agents und Monitoring sowie die Angabe Europa, Heimnetz. Rechts drei Karten mit grünem Statuspunkt: VPS 01 als dedizierter Server mit GitLab, Jenkins und Docker Registry, 15 Containern und 64 GB RAM; VPS 02 als SaaS-Host mit Traefik, App-Stacks und Datenbanken, 33 Containern und 62 GB RAM; VPS 03 mit selbst gehosteten GitHub-Actions-Runnern, kurzlebigen Builds und 125 GB RAM. Gestrichelte violette Kurven verbinden beide Seiten und tragen die Beschriftung Tailscale Mesh, WireGuard verschlüsselt, dazu zwei Marken für den Ollama-Aufruf und die HTTP-API über das Mesh. Unten die Aussage, dass die VPS-Anwendungen für KI-Inferenz nach Hause rufen, mit dem Weg von der Anwendung über den Tailscale-Tunnel zur RTX 3090 und zurück.

22. Mai 2026 Infrastruktur

Mein KI-Homelab: RTX 3090, Proxmox, Ollama und Tailscale

Ein kompakter Intel NUC mit Proxmox, Ollama und ComfyUI, über ein Tailscale-Mesh mit jedem Server verbunden. Keine Rechnungen für Cloud-GPUs, keine Herstellerbindung, unbegrenzte Inferenz für unter…