Blog - Tobias Liauw

Gruppiertes Balkendiagramm des Durchsatzes in Tokens pro Sekunde. Bei einem Prompt mit 255 Tokens: 16,0 auf einer GPU gegen 4,6 auf zwei GPUs, ein Rückgang um 71 Prozent. Bei 799 Tokens: 25,8 gegen 5,0, ein Rückgang um 81 Prozent. Eine Seitenkarte hält fest, dass dasselbe Modell im x8-PCIe-Slot 8,3 und 10,0 Tokens pro Sekunde erreichte gegenüber 16,0 und 25,8 im x16-Slot — Faktor 2,6.

22. August 2026 Ohne Kategorie

Zwei GPUs machten mein 120B-Modell 5x langsamer – und schuld war ein PCIe-Steckplatz

Ich habe einem Mixture-of-Experts-Modell mit 120 Milliarden Parametern eine zweite GPU gegeben. Es wurde fünfmal langsamer. Hier die Messung — und der nützlichere Fund, den ich…

21. August 2026 Ohne Kategorie

Zwei RTX 3090, ein Gehäuse, und das Upgrade, das ich fast umsonst gekauft hätte

Ich hatte zwei RTX 3090 und die Rechenleistung von ungefähr einer. Das hier ist der Umbau, der beide Karten nativ an PCIe in ein Gehäuse gebracht…

Zwei Felder nebeneinander. Links, was das System meldete: die systemd-Unit wurde erfolgreich beendet, verbrauchte 9,658 Sekunden CPU-Zeit und lieferte 0 zurück, sechs Nächte in Folge. Rechts, was tatsächlich geschah: der Lauf endete nach 50 Sekunden statt nach vier Stunden, und die Ergebnisdateien enthielten 84, 85 und 88 Bytes, jede Nacht bytegleich. Ein Streifen darunter zeigt die verantwortliche Shell-Zeile, echo "End $(date +%s), return $?", mit dem Hinweis, dass $? den Status von date enthält und damit immer null ist.

21. August 2026 Ohne Kategorie

Rückgabewert 0 ist kein Beleg — sechs Nächte Benchmark, die nichts gemessen haben

Ein Benchmark lief sechs Nächte lang, meldete jedes Mal Erfolg und hat dabei nichts gemessen. Die systemd-Unit endete sauber. Die Ergebnisdateien waren 84 Bytes groß. Hier…

Vier Karten, die jeweils einen Fehler in der Messung statt in den Modellen beschreiben. Erstens: Leerantworten bestanden, weil 36 Prozent der Antworten einer Kategorie null Bytes hatten, während der Durchsatz normal aussah. Zweitens: eine unmögliche Zahl, eine Precision von 1,12, verursacht durch implizite Vorfahren im Zähler. Drittens: alle Fehlschläge lagen genau auf der Token-Grenze; deren Anhebung brachte ein Modell von 1 von 6 auf 6 von 6. Viertens: eine Regelprüfung schlug bei einem Modell an, das die Quelle zitierte — wie verlangt — und hätte fast den Sieger ausgeschlossen.

20. August 2026 Ohne Kategorie

Was generische Benchmarks über lokale LLMs nicht verraten

Notizen aus dem Bau eines Eval-Harness für Entity Linking gegen ein hierarchisches Vokabular Die meisten veröffentlichten Modellvergleiche beantworten eine Frage, die ich nicht habe. Sie sagen…

Gruppiertes Balkendiagramm der Bestehensquoten über drei Schwierigkeitsstufen. Das generelle 27B-Modell besteht 6 von 6 bei leicht, 12 von 12 bei mittel und 6 von 6 bei schwer. Das code-spezialisierte 30B-Modell besteht 4 von 6, 2 von 12 und 0 von 6. Eine Seitenkarte zeigt sein Fehlerbild auf der mittleren Stufe: viermal NO_EDIT und dreimal TIMEOUT.

16. August 2026 Ohne Kategorie

Was ein echter agentischer Coding-Test zeigt, den generische Benchmarks verstecken

Warum One-Shot-Benchmarks das Falsche messen Die meisten Coding-Benchmarks, die in Modellkarten und Ranglisten auftauchen, stellen dieselbe Frage: hier ist eine Aufgabe, schreib in einem Zug die…

Drei Karten, jede eine Erklärung dafür, warum lokale Modelle beim Reparieren echten Codes scheiterten, und ihre Widerlegung. Erstens Navigation: die Datei direkt vorzugeben ließ die Schreibrate unverändert bei 2 von 16. Zweitens ein Berechtigungsdialog, den der Agent sich selbst stellte und ablehnte: dessen Beseitigung brachte 2 von 16 auf 3 von 16. Drittens exakte Reproduktion: die ganze Datei schreiben zu lassen statt eines Patches ergab 0 von 4. Ein Feld darunter beschreibt das entscheidende Artefakt — 69 Zeilen hinein, 69 hinaus, einzige Änderung ein Kommentarzeichen von Raute zu doppeltem Schrägstrich, was den Fehler unberührt lässt und das Parsen bricht.

15. August 2026 Ohne Kategorie

Was ich gelernt habe, als vier lokale Modelle bei echtem Code null erreichten

36 Läufe, vier Modellfamilien, vier Aufgabenzuschnitte — und drei meiner eigenen Erklärungen, die dabei gestorben sind Ich wollte eine Zahl. Können die Modelle, die ich auf…

Architekturdiagramm. Drei Quellen links — eine Server-Sitzung, ein Windows-Rechner und gelegentlich eine dritte Maschine, jede mit eigenem Kontextfenster — sind über gestrichelte Linien mit einem zentralen Knoten namens DER SPEICHER verbunden, der über 600 Notizen auf einem Netzlaufwerk hält. Von dort führt eine Linie zu einem Feld mit der Überschrift „Vor jeder Anfrage", das erklärt, dass die Suche vor jeder Anfrage statt einmal je Sitzung läuft, die tragenden Begriffe herauslöst und die fünf besten Treffer zeigt. Marken nennen eine gemessene Laufzeit von 0,7 Sekunden, nur lesenden Zugriff und stilles Ausfallen.

15. August 2026 KI & Werkzeuge

Ein Gedächtnis, das sich selbst pflegt

Ich arbeite mit mehreren Rechnern und mehreren KI-Sitzungen gleichzeitig. Eine auf dem Server, eine auf dem Windows-Rechner, gelegentlich eine dritte irgendwo dazwischen. Jede kennt genau das,…

Zwei Felder, die eine Ergebnistabelle den Rohdaten gegenüberstellen. Links, was die Tabelle sagte: Modell A bestand 5 von 5, Modell B nur 2 von 5, eine klare Rangfolge. Rechts, was die Rohdaten sagten: Modell B lieferte in 10 von 10 Läufen lauffähigen Code, und der gesamte Unterschied hing an einer Wortsuche im Quelltext — eine Größe F_b statt buoyancy zu nennen führte zum Durchfallen. Ein Feld darunter hält fest, dass die 198 Ausgaben eines früheren Artikels auf einer einzigen Maschine lagen, die neu aufgesetzt wurde, ohne dass je ein Download-Link existierte.

15. August 2026 KI & Werkzeuge

Wer Benchmarks veröffentlicht, muss die Artefakte aufheben

Ich habe im Juli einen Artikel über Determinismus bei lokalen Modellen veröffentlicht. Darin steht der Satz: „Alle 198 Ausgaben liegen vollständig vor, damit man mir widersprechen…

Balkendiagramm auf sehr dunklem Grund, das zwei Modelle in einer strukturierten Extraktionsaufgabe vergleicht. Der Amtsinhaber, ein dichtes Sechsundzwanzig-Milliarden-Modell, erreicht Recall 1,000 und Precision 0,967. Der Herausforderer mit neun Milliarden aktiven Parametern pro Token erreicht Recall 0,431 — weniger als die Hälfte — und Precision 0,517. Eine Seitenkarte nennt, was die Werte verschweigen: Verflachungsfehler 0 beim Amtsinhaber gegen 4 beim Herausforderer, drei vom Herausforderer erfundene Bezeichner, die im Vokabular nicht existieren, und den Amtsinhaber als einziges Modell, das alle sechs Dokumente ohne Verflachungsfehler abschloss.

13. August 2026 Ohne Kategorie

Der Herausforderer mit dem besseren Argument verlor um die Hälfte

Zwölf Modelle, eine strukturierte Extraktionsaufgabe und ein Herausforderer mit dem besseren Argument auf dem Papier Der Schwesterartikel zu diesem berichtet eine Null: lokale Modelle, getrieben von…

Zwei Felder. Links die Aufgabe ohne Lösung: fünf Pakete mit 3, 5, 8, 12 und 14 Kilogramm auf zwei Transporter, je mindestens zwei Pakete, A trägt genau 6 Kilogramm mehr als B, und das 8-Kilogramm-Paket fährt mit B — richtig ist, dass es keine Lösung gibt. Rechts, was das größte Modell tat: es erfand in fünf von sechs Läufen eine plausibel wirkende Aufteilung und ließ dafür das 14-Kilogramm-Paket ganz aus der Aufgabe verschwinden.

8. August 2026 KI & Werkzeuge

Das größte Modell erfindet eine Lösung, wo keine ist

Gestern stand hier, dass der Prüfstand an seiner Decke angekommen ist: ein Modell löste alle 48 Zellen, und über ein Modell, das alles löst, lässt sich…