lokale LLMs Archives - Tobias Liauw

Zwei Felder, die eine Ergebnistabelle den Rohdaten gegenüberstellen. Links, was die Tabelle sagte: Modell A bestand 5 von 5, Modell B nur 2 von 5, eine klare Rangfolge. Rechts, was die Rohdaten sagten: Modell B lieferte in 10 von 10 Läufen lauffähigen Code, und der gesamte Unterschied hing an einer Wortsuche im Quelltext — eine Größe F_b statt buoyancy zu nennen führte zum Durchfallen. Ein Feld darunter hält fest, dass die 198 Ausgaben eines früheren Artikels auf einer einzigen Maschine lagen, die neu aufgesetzt wurde, ohne dass je ein Download-Link existierte.

15. August 2026

Wer Benchmarks veröffentlicht, muss die Artefakte aufheben

Ich habe im Juli einen Artikel über Determinismus bei lokalen Modellen veröffentlicht. Darin steht der Satz: „Alle 198 Ausgaben liegen vollständig vor, damit man mir widersprechen…

Zweigeteilte Tafel auf sehr dunklem Grund. Links der erste Befund: 73 Prozent gegen 99, ein Einbruch um 26 Punkte, im Logikrätsel 0 von 45 Punkten in zwei von vier Prompt-Varianten, die übrigen drei Aufgaben bei 100 Prozent. Rechts das korrigierte Ergebnis: die abliterierte Fassung erreicht 336 von 336 Punkten, die Basis 334 von 336 (99,4 Prozent); von 1320 neu bewerteten Zellen änderten sich genau sechs, fünfmal steht ERGEBNES und einmal ERGEBNET statt ERGEBNIS, alle sechs enthalten die richtige Lösung. Ein Streifen darunter zeigt die Formtreue mit 42 von 48 Zellen, aufgeschlüsselt in nackt 9 von 12, schritte 9 von 12, rolle 12 von 12, beispiel 12 von 12. Unten Marken: 48 Zellen gegen 48 Zellen, zweite Maschine Ziffer für Ziffer, Median 535 auf 564 Token, Median 5,6 auf 5,8 Sekunden.

2. August 2026

Was Abliteration kostet — und was nicht

Ein abliteriertes Modell fiel im Logikrätsel auf exakt null von 45 Punkten. „Abliteration zerstört das Denken" wäre eine gute Überschrift gewesen. Sie war nur nicht wahr…

Zweigeteilte Darstellung. Links, über beide Rechner hinweg: 90 von 99 Ausgaben byteidentisch, 96 von 99 Zellen gleich bewertet, 198 Anfragen ohne einen Fehler. Rechts die Ausnahme qwq:32b: Es braucht 24,8 GB bei einer 24-GB-Karte, läuft auf der Workstation zu 6,6 Prozent und im Container ohne Bildschirm zu 3,5 Prozent auf der CPU und stellt alle 9 abweichenden Ausgaben. Ein Streifen darunter hält fest, dass der erste Vergleich 2 von 99 ergab, weil der Windows-Host CRLF-Zeilenenden schreibt und der Linux-Host LF. Unten die Unterschiede der beiden Hosts: Windows 11 gegen Ubuntu, 128 GB gegen 24 GB RAM, NVIDIA-Treiber 610.88 gegen 580.126.09, EVGA-Platine gegen Zotac, elf Modelle und drei Aufgaben.

1. August 2026

Gleicher Prompt, zwei Rechner: 90 von 99 Ausgaben waren byteidentisch

Elf lokale Modelle, drei echte Arbeitsaufgaben, zwei RTX-3090-Hosts, 198 Anfragen, null Fehler. 90 von 99 Ausgaben kamen über beide Rechner hinweg byteidentisch zurück — und die…

Gruppierte Balken vergleichen die Punkte je Aufgabe vor und nach der Stopp-Angabe, in Prozent: rechnung faellt von 88 auf 75, extrakt steigt von 0 auf 100, raetsel von 30 auf 39. Eine Seitenkarte nennt die Summen ueber alle 48 Zellen: 117 von 336 Punkten gegen 215 von 336, Zellen am Token-Limit 48 von 48 gegen 3 von 48, Formtreue 31 gegen 83 Prozent, 192 000 gegen 45 775 erzeugte Token, 1594 gegen 326 Sekunden Rechenzeit, die Aufgabe plan unveraendert bei 88 Prozent.

1. August 2026

Das Modell, das nicht aufhören konnte

Ein Modell steht mit 35 Prozent am Tabellenende. Die Zahl ist echt gemessen — und trotzdem falsch, in beide Richtungen zugleich. Was passiert, wenn eine Ollama-Verpackung…

Balkendiagramm der Generierungsgeschwindigkeit in Token pro Sekunde bei 64k Kontext für drei Modelle in zwei Bedingungen, Kontext nur reserviert gegen Kontext zu 84 Prozent gefüllt: qwen3-vl-abl:30b 149,2 gegen 39,1, glm-4.7-flash 145,0 gegen 58,4, ornith:35b 108,3 gegen 85,6. Eine Seitenkarte hält fest, dass alle drei mit 0 Prozent des Modells auf der CPU liefen, dass im gepaarten Lauf einzig qwq:32b auslagerte, dass ein leerer 128k-KV-Cache rund 1,5 GB kostet und ein voller Cache für jedes erzeugte Token gelesen werden muss.

31. Juli 2026

128k Kontext zu reservieren kostet nichts. Ihn zu füllen kostet zwei Drittel.

Zwei RTX 3090, elf Modelle mit identischen Digests, 528 Anfragen ohne Fehler. Einen 128k-KV-Cache zu reservieren ist beinahe umsonst; ihn zu füllen kostet 10 bis 66…

Zwei Felder auf sehr dunklem Grund. Links, Überschrift Zuerst berichtet: jedes Modell gewinnt 3 bis 11 Prozent, für vier Modelle gemeldet, alter Mittelwert gegen neuen Median. Rechts, Überschrift Neu gerechnet: minus 2,6 bis plus 3,2 Prozent, elf von zwölf Modellen unter drei Prozent, die Gewinne verschwanden vollständig. Der Streifen darunter zeigt laguna-xs-2.1 als defekt: Tokenlimit in 30 von 30 Denkaufgaben, bei exakt 900 und exakt 3.000 Tokens, während dasselbe Modell auf 0.31.2 mit 215 und 897 Tokens auskam und nie abgeschnitten wurde, weil das Stop-Token nicht beachtet wird. Unten die Marker: 12 Modelle über 9 Architekturen, 11 Aufgaben mit je 3 Läufen, dieselbe RTX 3090 mit Treiber 610.88, und qwq mit plus 78,7 Prozent als Kontexteffekt statt Versionseffekt.

31. Juli 2026

Das Ollama-Update hat nichts beschleunigt — aber ein Modell zerstört

Ollama 0.32.5 war draußen, meine Workstation lief noch auf 0.31.2, und ich hatte gerade 26 Modelle darauf durchgemessen. Damit ergab sich eine seltene Gelegenheit: dieselbe Maschine,…

Gruppiertes Balkendiagramm mit drei GPU-Sensoren unter zwei Lasten auf derselben RTX 3090 bei 350 Watt. Der Kern erreicht 78,6 °C unter LLM-Inferenz gegenüber 77,7 °C in 3DMark Steel Nomad. Der Hot Spot erreicht 93,7 gegenüber 91,8 °C. Die Memory Junction erreicht 104,0 gegenüber 92,0 °C, also 12 °C heißer unter Inferenz. Eine Seitenkarte nennt 18 °C Abstand zur 110-°C-Drossel im Grafiktest, aber nur 6 °C unter LLM-Last, dazu Drosselung in 2 von 7.432 Messpunkten, 0,03 Prozent.

30. Juli 2026

26 lokale LLMs auf einer RTX 3090 — was wirklich gehalten hat

In meiner Windows-Workstation steckt eine RTX 3090, die demnächst ausgebaut und als Proxmox-AI-Host neu aufgesetzt wird. Vorher wollte ich für jedes Modell, das ich darauf halte,…

Zweigeteilte dunkle Grafik. Links die Regel, wie sie ursprünglich dastand: drei Seeds bei Temperature 0, damit kein Modell von einer glücklichen Antwort getragen wird, mit der Begründung einer Seed-Variation. Rechts das Ergebnis der Nachmessung: der Seed wirkt nicht, genau ein Lauf je Gruppe weicht ab, und zwar immer der erste, in 111 von 111 Fällen, also keine Seed-Variation. Ein Streifen darunter hält fest, dass fünf verschiedene Seeds denselben Text liefern wie fünf Wiederholungen desselben Seeds. Unten Schlagworte: Temperature 0, verworfener Aufwärmlauf, Mediane statt Mittelwerte, Messwerte unverändert.

26. Juli 2026

Wie ich messe: die Grundregeln, bevor Zahlen kommen

Zwei Hosts, die sich eine Grafikkarte teilen und sonst fast nichts, eine Bewertung, die nur zählt, was ein Skript nachprüfen kann, und die Regeln, die jede…

Zwei Felder nebeneinander auf dunklem Grund. Links Prefill: Die Eingabe wird vollständig parallel gelesen, begrenzt durch reine Rechenleistung, meist mit Tausenden Token pro Sekunde. Rechts Generierung: Token für Token nacheinander, eine Antwort mit 1.000 Token sind 1.000 vollständige Durchläufe durch das Netz, begrenzt durch die Speicherbandbreite statt durch Rechenleistung. Ein Streifen darunter zeigt die VRAM-Klippe: Passt das Modell nicht ins VRAM, rechnen Schichten auf der CPU und schieben Daten über den PCIe-Bus statt mit VRAM-Bandbreite, und das ist kein sanfter Abfall. Darunter die Begriffe Token, KV-Cache, Prefill, Dekodierung, Auslagerung. Schlusszeile: zwei Phasen, zwei Engpässe, eine irreführende Zahl.

25. Juli 2026

Ich starte eine Serie über lokale Modelle — zuerst die Begriffe

Der Auftakt einer Serie, in der ich messe, was lokale Sprachmodelle auf käuflicher Hardware tatsächlich leisten. Dieser erste Teil enthält keine Messungen — er ist das…

Konzeptdiagramm auf sehr dunklem Grund. In der Mitte ein violett umrandeter Kreis mit der Aufschrift VENICE, Privacy-First AI. Links eine Karte für den Nutzer mit verschlüsselten Prompts, null Protokollierung, null Speicherung und dem Hinweis, dass die Privatsphäre in der Architektur steckt. Rechts eine Karte für die GPU-Anbieter mit dezentraler Rechenleistung, quelloffenen Modellen und den Namen Llama, Mistral und Gemma. Gestrichelte Linien verbinden beide mit der Mitte, beschriftet mit verschlüsselter Anfrage und Inferenz. Unten eine Karte zum VVV-Token-Staking mit drei Marken: für Zugang staken, an GPUs verdienen, keine monatlichen Gebühren, dazu der Satz, dass Token gestakt und nicht ausgegeben werden und sich jederzeit wieder lösen lassen.

22. Mai 2026

Venice.ai: KI mit Vorrang für Privatsphäre — Token-Staking statt Abo

Venice.ai betreibt quelloffene Modelle mit Zero-Knowledge-Datenschutz. Keine Protokolle, kein Training mit deinen Daten. Das Staking-Modell des VVV-Tokens gibt dauerhaften KI-Zugang ohne Monatsgebühr. Wie es funktioniert und…