Das schnellste lokale Modell baut das zweitschlechteste Tetris

Vor ein paar Stunden habe ich eine Durchsatztabelle veröffentlicht: neun lokale Modelle, Token pro Sekunde, sauber gemessen. Der letzte Absatz sagte, Geschwindigkeit sei eine Dimension von mehreren und nicht die wichtigste, und eine Qualitätsmessung stehe aus.

Die steht jetzt nicht mehr aus. Der Durchsatzsieger ist Qualitäts-Vorletzter. Das im Durchsatz letzte Modell wird Zweiter.

Die Aufgabe

Jedes der neun Modelle bekam denselben Text: baue ein spielbares Tetris, das im Browser läuft und auf dem Telefon bedienbar ist. Eine einzelne, selbsttragende Datei, kein Netzzugriff zur Laufzeit, feste Tastenbelegung, ein Testhaken zum Auslesen des Spielfelds. Ein Aufruf je Modell, keine Reparaturschleife, keine zweite Chance.

Bewertet hat nicht das Modell und nicht ich, sondern ein verborgener Prüfer, der das Artefakt in einem echten Browser öffnet und sechzehn Verhaltensprüfungen fährt: fällt ein Stein von allein, bewegt er sich auf Pfeiltaste, dreht er sich, erscheinen alle sieben Formen, verschwindet eine volle Reihe, endet das Spiel. Gemessen wird an Pixeln und echten Eingabe-Ereignissen — nie an dem, was der Code über sich selbst behauptet. Der Testhaken lässt sich nicht fälschen: sein Rückgabewert wird gegen das gerenderte Bild gegengeprüft. In der Kalibrierung liegt eine Lösung, die den Haken nur vortäuscht, deshalb bewusst unter einer ehrlichen Teillösung.

Die Tabelle

Die Durchsatz-Ränge stammen aus der Messung von heute Morgen, gefahren bei vollem Kontextfenster; die Denkkette ist die Zeichenzahl der Gedankenspur in diesem Lauf. Die beiden unteren Zeilen sind nicht leer, weil die Modelle versagt hätten — sie kamen nie zum Schreiben. Was dahintersteckt, steht weiter unten; ich habe es nachgemessen.

Genau ein Modell ist in beiden Listen vorne: der 35B-A3B-Distill in Q4_K_M, Durchsatz-Rang 2 und die einzige perfekte Punktzahl. Alle anderen wandern.

Am weitesten wandert der Q8_0-Neubau. In der Durchsatztabelle ist er das langsamste Modell des Feldes, belegt den meisten Speicher und lädt am längsten — ich habe ihn dort „auf jeder Dimension außer Prefill die schlechteste Wahl“ genannt. Auf den Dimensionen jener Tabelle stimmt das. Als Gesamturteil war es irreführend: hier wird er Zweiter.

In die Gegenrichtung wandert Nemotron. Im Morgen-Raster 145,3 Token pro Sekunde — zweieinhalb- bis dreieinhalbmal der Durchsatz des Produktivmodells, je nachdem wie lang der Prompt ist — und das bei kleinerem VRAM-Fußabdruck, 27,65 gegen 32,39 GiB. Qualität: 34,3 %, Rang sechs von sieben bewertbaren.

Fünf von sieben bauen ein Tetris, das keine Reihen auflöst

Die interessantere Zahl steht nicht in der Rangliste, sondern darunter. Die häufigsten Fehlschläge über alle sieben bewertbaren Artefakte:

Das Auflösen voller Reihen ist Tetris. Ohne das ist es ein Stapelspiel, das nach einer Minute verliert. Fünf von sieben Artefakten haben es nicht — darunter das Modell auf Rang drei, das sonst fünfzehn von sechzehn Prüfungen besteht. Ein Artefakt kann fast alles richtig machen und trotzdem nicht das Spiel sein, nach dem gefragt wurde.

Die Telefon-Bedienung ist ein anderer Fall: sie stand ausdrücklich im Auftrag, und fünf von sieben haben sie schlicht übergangen. Kein Verständnisproblem, ein Aufmerksamkeitsproblem.

Nachgereicht: ohne Denkkette schreiben beide

Zwei Modelle haben ihr gesamtes Token-Budget in der Gedankenspur verbraucht und nie angefangen zu schreiben — je exakt 32.768 Token, abgeschnitten, null Zeichen Antwort. Daraus lässt sich nicht lesen „kann kein Tetris“. Die andere Erklärung — „kommt nie zum Schreiben“ — verlangt denselben Lauf mit abgeschalteter Denkkette. Den habe ich nachgeholt.

Vorher die Gegenprobe, ob der Schalter überhaupt wirkt: dieselbe Rechenfrage einmal mit und einmal ohne Denkkette. Mit: 152 bzw. 106 Zeichen Spur, beide Antworten richtig. Ohne: null Zeichen Spur — und beide Antworten falsch. Der Schalter greift also, und er kostet etwas.

Beide bauen ein Tetris. Beide hätten den Durchsatzsieger geschlagen, der mit freier Denkkette auf 34,3 % kommt. Und beide bestehen die Telefon-Bedienung, an der fünf von sieben des Hauptlaufs scheitern.

Diese zwei Zahlen gehören trotzdem nicht in dieselbe Spalte wie die sieben oben: sie stammen aus einer anderen Bedingung. Die Gegenprobe hat gezeigt, dass abgeschaltetes Nachdenken diese Modelle Korrektheit kostet — was hier steht, ist also „es kommt ein Artefakt zustande“, nicht „so gut sind sie“. Was die Messung trägt: das leere Feld war ein Abbruch, kein Unvermögen.

Der Vollständigkeit halber: auch diese beiden Artefakte lösen keine Reihen auf. Damit scheitern sieben von neun an der Mechanik, die Tetris ausmacht.

Die Länge der Denkkette sagt nichts voraus — bis sie alles auffrisst

Die naheliegende Vermutung wäre, dass mehr Nachdenken besseren Code ergibt. Oder das Gegenteil. Die Messung stützt keines von beidem. Über die sieben bewertbaren Artefakte ist der Zusammenhang zwischen Spurenlänge und Punktzahl praktisch nicht vorhanden — die Rangkorrelation liegt bei −0,14, also auf Rauschniveau:

• Qwen3 Coder denkt gar nicht (0 Zeichen) und kommt auf 62,9 %.
• Der Sieger mit 100 % denkt 3.445 Zeichen.
• Das Produktivmodell denkt 55.187 Zeichen — das Sechzehnfache des Siegers — und wird trotzdem Dritter.
• Nemotron denkt 82.812 Zeichen und landet bei 34,3 %.

Aus der Länge einer Gedankenspur lässt sich die Qualität des Ergebnisses also nicht ablesen. Was sich sehr wohl ablesen lässt, ist ein eigener Fehlermodus: eine Kette, die nicht aufhört, verbraucht das Budget, das die Antwort gebraucht hätte. Zwei Modelle haben genau das getan, zu hundert Prozent.

Meine erste Erklärung dafür war, dass die langsamen Modelle in die Zeitgrenze laufen. Die starb sofort: im selben Raster ist Ornith mit 126,6 Token pro Sekunde gut viermal so schnell wie das andere ausgefallene Modell mit 31,0 — und verbrennt das Budget genauso vollständig. Es liegt nicht am Tempo. Diese Modelle hören nicht auf.

Drei Fehlversuche, alle meine

Bevor eine einzige Zahl entstand, ist der Aufbau dreimal gescheitert — und jedes Mal an mir, nicht an den Modellen. Die Prüfeinrichtung hat alle drei korrekt als Werkzeugfehler verbucht statt als Modellversagen. Genau dafür ist diese Unterscheidung da.

Erstens: der Coding-Agent. Der naheliegende Weg war, die Modelle über einen Coding-Agenten arbeiten zu lassen, wie es die Prüfeinrichtung vorsieht. Alle neun scheiterten identisch nach 57 Sekunden mit Request timed out. Das ist nicht die Zeitgrenze der Aufgabe — die liegt bei dreißig Minuten —, sondern das eingebaute Anfrage-Zeitlimit des Agenten, und es lässt sich nicht einstellen. Der zweite verfügbare Agent führt eine Modell-Liste, in der keines der neun steht. Für einen Modellvergleich ist ein Agent ohnehin eine Störvariable; ich habe ihn weggelassen.

Zweitens: das Token-Budget. Mit 16.384 Token wurde das erste Modell abgeschnitten — es hatte 33.080 Zeichen Denkkette erzeugt. Zum Vergleich: dasselbe Modell kam in der Durchsatzmessung desselben Tages auf rund 1.200 Zeichen. Die Denkkette skaliert mit der Schwere der Aufgabe, nicht mit dem Modell. Ein Budget, das für eine Zweisatz-Zusammenfassung reicht, reicht für eine Implementierung nicht annähernd.

Drittens, und das ist das eigentlich Interessante: der Aufgabentext ist für einen Agenten geschrieben. Er sagt: „Du arbeitest im aktuellen Verzeichnis. Es ist leer. Die Dateien, die du auf der Platte hinterlässt, sind die gesamte Abgabe.“ Einem Chat-Modell ohne Dateisystem vorgelegt, antwortete es völlig folgerichtig:

„Looking at this task, I need to build a complete, self-contained Tetris game … Let me start by writing the game, then test it thoroughly.“

Und hörte auf. 8.040 Zeichen Denkkette, 221 Zeichen Antwort, regulär beendet. Es hat angekündigt, was es mit Werkzeugen tun würde, die es nicht hatte.

Ein Aufgabentext trägt unausgesprochene Annahmen über die Umgebung, in der er ausgeführt wird. Derselbe Text misst mit Agent etwas anderes als ohne — und ohne Anpassung misst er gar nichts. Geändert habe ich deshalb nur die Zustellung: gib die vollständige Datei in einem Codeblock aus, du hast kein Dateisystem. Der Auftrag mit seinen vier Pflichtpunkten blieb Wort für Wort stehen. Dem Prüfer ist gleichgültig, wie die Datei entstanden ist; er öffnet sie im Browser.

Was diese Messung nicht sagt

Sie ist ein Lauf je Modell, bei einer Temperatur, die Zufall zulässt. Der Abstand zwischen 100 % und 91,4 % könnte Rauschen sein; die Reihenfolge der oberen Plätze ist nicht abgesichert. Was sie trägt, ist der grobe Umriss — dass ein Modell mit 11,4 % und eines mit 100 % nicht durch Zufall getrennt sind, und dass die Durchsatzrangfolge die Qualitätsrangfolge nicht vorhersagt.

Die zwei nachgereichten Zahlen aus dem Lauf ohne Denkkette sind noch schwächer abgesichert: eine andere Bedingung, ebenfalls ein einziger Lauf. Sie beantworten eine Ja-Nein-Frage — kommt ein Artefakt zustande? — und keine Rangfrage.

Sie misst außerdem einen Einschussversuch. In einer früheren Messung mit derselben Art von Aufgabe hob eine Reparaturschleife — Fehler zurückgeben, neu versuchen — zwei Zellen von vier auf acht von acht. Wer diese Modelle im Alltag einsetzt, arbeitet mit Schleife. Was hier steht, ist die erste Antwort, nicht die beste.

Was ich mitnehme

Die Durchsatztabelle von heute Morgen war richtig gemessen und als Entscheidungsgrundlage trotzdem wertlos. Nicht weil die Zahlen falsch wären, sondern weil sie eine Frage beantworten, die niemand hat. Niemand will wissen, wie schnell ein Modell falsche Antworten produziert.

Der Wechsel des Produktivmodells steht weiterhin nicht an — jetzt aber aus einem besseren Grund. Es ist nicht das schnellste, aber es liegt auf Rang drei, und seine einzige verfehlte Prüfung ist dieselbe, an der fünf von sieben scheitern. Das schnellste Modell im Haus wäre ein Rückschritt gewesen, und die Durchsatztabelle allein hätte es empfohlen.

Die sieben Artefakte des Hauptlaufs sind öffentlich und spielbar. Pfeiltasten. Das Modell mit 11,4 % ist es wert, einmal geöffnet zu werden — es sieht auf den ersten Blick aus wie Tetris.