Blog - Seite 3 von 5 - Tobias Liauw

Vier Karten, die jeweils einen Fehler in der Messung statt in den Modellen beschreiben. Erstens: Leerantworten bestanden, weil 36 Prozent der Antworten einer Kategorie null Bytes hatten, während der Durchsatz normal aussah. Zweitens: eine unmögliche Zahl, eine Precision von 1,12, verursacht durch implizite Vorfahren im Zähler. Drittens: alle Fehlschläge lagen genau auf der Token-Grenze; deren Anhebung brachte ein Modell von 1 von 6 auf 6 von 6. Viertens: eine Regelprüfung schlug bei einem Modell an, das die Quelle zitierte — wie verlangt — und hätte fast den Sieger ausgeschlossen.

20. August 2026

Was generische Benchmarks über lokale LLMs nicht verraten

Notizen aus dem Bau eines Eval-Harness für Entity Linking gegen ein hierarchisches Vokabular Die meisten veröffentlichten Modellvergleiche beantworten eine Frage, die ich nicht habe. Sie sagen…

Gruppiertes Balkendiagramm der Bestehensquoten über drei Schwierigkeitsstufen. Das generelle 27B-Modell besteht 6 von 6 bei leicht, 12 von 12 bei mittel und 6 von 6 bei schwer. Das code-spezialisierte 30B-Modell besteht 4 von 6, 2 von 12 und 0 von 6. Eine Seitenkarte zeigt sein Fehlerbild auf der mittleren Stufe: viermal NO_EDIT und dreimal TIMEOUT.

16. August 2026

Was ein echter agentischer Coding-Test zeigt, den generische Benchmarks verstecken

Warum One-Shot-Benchmarks das Falsche messen Die meisten Coding-Benchmarks, die in Modellkarten und Ranglisten auftauchen, stellen dieselbe Frage: hier ist eine Aufgabe, schreib in einem Zug die…

Drei Karten, jede eine Erklärung dafür, warum lokale Modelle beim Reparieren echten Codes scheiterten, und ihre Widerlegung. Erstens Navigation: die Datei direkt vorzugeben ließ die Schreibrate unverändert bei 2 von 16. Zweitens ein Berechtigungsdialog, den der Agent sich selbst stellte und ablehnte: dessen Beseitigung brachte 2 von 16 auf 3 von 16. Drittens exakte Reproduktion: die ganze Datei schreiben zu lassen statt eines Patches ergab 0 von 4. Ein Feld darunter beschreibt das entscheidende Artefakt — 69 Zeilen hinein, 69 hinaus, einzige Änderung ein Kommentarzeichen von Raute zu doppeltem Schrägstrich, was den Fehler unberührt lässt und das Parsen bricht.

15. August 2026

Was ich gelernt habe, als vier lokale Modelle bei echtem Code null erreichten

36 Läufe, vier Modellfamilien, vier Aufgabenzuschnitte — und drei meiner eigenen Erklärungen, die dabei gestorben sind Ich wollte eine Zahl. Können die Modelle, die ich auf…

Architekturdiagramm. Drei Quellen links — eine Server-Sitzung, ein Windows-Rechner und gelegentlich eine dritte Maschine, jede mit eigenem Kontextfenster — sind über gestrichelte Linien mit einem zentralen Knoten namens DER SPEICHER verbunden, der über 600 Notizen auf einem Netzlaufwerk hält. Von dort führt eine Linie zu einem Feld mit der Überschrift „Vor jeder Anfrage", das erklärt, dass die Suche vor jeder Anfrage statt einmal je Sitzung läuft, die tragenden Begriffe herauslöst und die fünf besten Treffer zeigt. Marken nennen eine gemessene Laufzeit von 0,7 Sekunden, nur lesenden Zugriff und stilles Ausfallen.

15. August 2026 KI & Werkzeuge

Ein Gedächtnis, das sich selbst pflegt

Ich arbeite mit mehreren Rechnern und mehreren KI-Sitzungen gleichzeitig. Eine auf dem Server, eine auf dem Windows-Rechner, gelegentlich eine dritte irgendwo dazwischen. Jede kennt genau das,…

Zwei Felder, die eine Ergebnistabelle den Rohdaten gegenüberstellen. Links, was die Tabelle sagte: Modell A bestand 5 von 5, Modell B nur 2 von 5, eine klare Rangfolge. Rechts, was die Rohdaten sagten: Modell B lieferte in 10 von 10 Läufen lauffähigen Code, und der gesamte Unterschied hing an einer Wortsuche im Quelltext — eine Größe F_b statt buoyancy zu nennen führte zum Durchfallen. Ein Feld darunter hält fest, dass die 198 Ausgaben eines früheren Artikels auf einer einzigen Maschine lagen, die neu aufgesetzt wurde, ohne dass je ein Download-Link existierte.

15. August 2026 KI & Werkzeuge

Wer Benchmarks veröffentlicht, muss die Artefakte aufheben

Ich habe im Juli einen Artikel über Determinismus bei lokalen Modellen veröffentlicht. Darin steht der Satz: „Alle 198 Ausgaben liegen vollständig vor, damit man mir widersprechen…

Balkendiagramm auf sehr dunklem Grund, das zwei Modelle in einer strukturierten Extraktionsaufgabe vergleicht. Der Amtsinhaber, ein dichtes Sechsundzwanzig-Milliarden-Modell, erreicht Recall 1,000 und Precision 0,967. Der Herausforderer mit neun Milliarden aktiven Parametern pro Token erreicht Recall 0,431 — weniger als die Hälfte — und Precision 0,517. Eine Seitenkarte nennt, was die Werte verschweigen: Verflachungsfehler 0 beim Amtsinhaber gegen 4 beim Herausforderer, drei vom Herausforderer erfundene Bezeichner, die im Vokabular nicht existieren, und den Amtsinhaber als einziges Modell, das alle sechs Dokumente ohne Verflachungsfehler abschloss.

13. August 2026

Der Herausforderer mit dem besseren Argument verlor um die Hälfte

Zwölf Modelle, eine strukturierte Extraktionsaufgabe und ein Herausforderer mit dem besseren Argument auf dem Papier Der Schwesterartikel zu diesem berichtet eine Null: lokale Modelle, getrieben von…

Zwei Felder. Links die Aufgabe ohne Lösung: fünf Pakete mit 3, 5, 8, 12 und 14 Kilogramm auf zwei Transporter, je mindestens zwei Pakete, A trägt genau 6 Kilogramm mehr als B, und das 8-Kilogramm-Paket fährt mit B — richtig ist, dass es keine Lösung gibt. Rechts, was das größte Modell tat: es erfand in fünf von sechs Läufen eine plausibel wirkende Aufteilung und ließ dafür das 14-Kilogramm-Paket ganz aus der Aufgabe verschwinden.

8. August 2026 KI & Werkzeuge

Das größte Modell erfindet eine Lösung, wo keine ist

Gestern stand hier, dass der Prüfstand an seiner Decke angekommen ist: ein Modell löste alle 48 Zellen, und über ein Modell, das alles löst, lässt sich…

Zweigeteilte Tafel auf sehr dunklem Grund. Links der übliche Ratschlag: nimm die abliterierte Fassung, dann verweigert sie nicht mehr — ungeprüft bleibt, ob die Basis überhaupt verweigert hätte. Rechts die Messung: Die nicht abliterierte Basis beantwortete 34 von 34 Bildzellen ohne eine einzige Verweigerung, und über alle Modelle lauteten 208 von 208 Urteilen auf den unbedenklichen Aufgaben allow. Der Streifen darunter nennt den Preis für dieselbe Arbeit: Basis 14,8 und 15,4 Minuten in den beiden Nächten, abliterierte 27B-Fassung 34,8 und 74,1 Minuten, sechs Ausfälle, alle bei abliterierten Varianten, dazu zwei Aufrufe, die je 1200 Sekunden ins Zeitlimit liefen. Unten die Marken: 272 Bildzellen, 8 Bildmodelle, 2 Nächte, ein Host, n = 2.

7. August 2026 KI & Werkzeuge

Der Abliterations-Prüfstand — was das Entsperren wirklich nimmt, und was es kostet

Teil 8 endete mit einer Ankündigung: als Nächstes messe ich, was Abliteration einem Modell tatsächlich nimmt. Der Ratschlag dazu steht in jedem Forum — nimm die…

Vier Aufgabenkarten — eine mehrstufige Preisrechnung, vier Vorträge auf vier Slots, sechs Felder nach JSON und ein Rätsel mit fünf Plätzen — über einem vollständig gefüllten Balken mit der Beschriftung 48 von 48. Ergebnis-Marken halten fest, dass alle 48 Zellen korrekt waren und das siegreiche Modell neunmal schneller und halb so groß war; ein Feld erklärt, dass ein Modell, das alles löst, nur aussagt, dass es nicht gescheitert ist.

7. August 2026 KI & Werkzeuge

48 von 48 — und warum das ein Problem ist

Bis heute lief jede Messung dieser Serie auf einer Grafikkarte. 24 Gigabyte, und damit war die Grenze klar: was mehr braucht, wurde nicht gemessen. Seit heute…

Vier Karten im 2x2-Raster, je ein Fall auf demselben Modellserver. Fall 1, Datensammler: konfiguriert war der Tag qwen3:32b, installiert qwen3:8b, über 214.000 abgewiesene Anfragen in acht Tagen, elf Tage lang lieferte ein Fallback ein fest verdrahtetes confidence=60. Fall 2, Code-Agent: vier Modelle deklariert, nur eines existiert, drei sind tot, darunter die Voreinstellung; :27b und :27b-q4_K sind für den Server zwei verschiedene Tags. Fall 3: Coder-Tag und Bildmodell tragen dieselbe Prüfsumme 1641bad23b0cb9cb, der Coder-Tag ist in Wahrheit ein Bildmodell. Fall 4: die modalities-Deklaration fehlt, ein angehängtes Bild wird durch einen Fehlertext ersetzt, kein 404 im Journal, der Inhalt ist frei erfunden. Unten die Kernaussage, dass der Client in jedem Fall eine Antwort bekommt, darunter die Zeile, dass ein Abgleich von ollama list gegen jeden konfigurierten Tag unter einer Sekunde kostet.

7. August 2026 KI & Werkzeuge

Was auf dem Etikett steht — vier Konfigurationen zeigen auf Modelle, die es nicht gibt

Sieben Teile lang hat diese Serie gemessen, was lokale Modelle antworten, wenn man sie fragt. Dieser Teil handelt von der Frage davor, die ich nie gestellt…