Gleicher Prompt, zwei Rechner: 90 von 99 Ausgaben waren byteidentisch

Ich habe elf lokalen Modellen dieselben drei echten Arbeitsaufgaben gegeben — eine Webseite bauen, eine Kampagne als striktes JSON entwerfen, einen Marketing-Einseiter schreiben, in dem hinter jeder Wirkaussage ein Belegmarker steht — und das Ganze zweimal laufen lassen, auf zwei verschiedenen Rechnern. Gleiche Modelle, gleiche Prompts, gleiche Seeds, Temperature 0.

Die Frage war nicht, welches Modell gewinnt. Sie war, ob ich mich darauf verlassen kann, dass ein lokales Modell auf zwei verschiedenen Rechnern dieselbe Antwort gibt. 90 von 99 Ausgaben kamen byteidentisch zurück. Die neun, die es nicht taten, stammen alle von einem einzigen Modell — dem einzigen, das nicht ganz in die Karte passt.

Der Aufbau

Zwei Hosts, je eine RTX 3090 und Ollama 0.32.5 — und darüber hinaus fast nichts gemeinsam. Der eine ist eine Windows-11-Workstation mit angeschlossenem Monitor, 128 GB RAM und einem i7-7820X mit acht Kernen. Der andere ein Ubuntu-Container ohne Bildschirm auf einem Proxmox-Knoten, 24 GB, sechs sichtbare Threads. Nicht einmal der NVIDIA-Treiber ist derselbe: 610.88 gegen 580.126.09. Elf Modelle, drei Aufgaben, je drei Seeds: 99 Anfragen je Host, 198 insgesamt, null Fehler.

Die Hardware im Einzelnen und die Regeln, denen jede Messung auf dieser Seite folgt, stehen auf der Seite Wie ich messe.

Bewertet wird ausschließlich strukturell. Ein Skript prüft, ob das HTML wirklich mit einem Doctype beginnt, ob die Anker auf IDs zeigen, die es auch gibt, ob das JSON parst und genau acht Posts enthält, ob im Einseiter jede Aussage einen Belegmarker trägt. Kein Modell bewertet ein anderes. Es gibt keine Note für „liest sich gut“, weil ich das nicht messen kann — und alle anderen, die das behaupten, auch nicht. Alle 198 Ausgaben liegen vollständig vor, damit man mir widersprechen kann.

num_ctx und num_predict waren auf beiden Hosts fest gesetzt, und die Prompt-Token-Zahl kam in allen 99 Zellen identisch zurück. Genau das ist der Beleg dafür, dass die beiden Läufe wirklich vergleichbar sind und nicht bloß ähnlich aussehen.

Das Ergebnis: zwei Rechner, eine Antwort

96 von 99 Zellen wurden auf beiden Hosts gleich bewertet. Das ist die schwache Fassung der Aussage. Die starke: ich habe den erzeugten Text selbst verglichen, Byte für Byte. 90 von 99 Ausgaben sind dieselbe Datei. Nicht ähnlich. Dieselbe.

Das ist die Wiederholung wert, denn darin liegt der ganze Punkt. Es sind nicht zwei Kopien derselben Maschine. Andere CPU, auf der einen Seite fünfmal so viel RAM, Windows gegen Linux, und verschiedene NVIDIA-Treiberzweige. Das Einzige, worin sich die beiden Kisten einig sind, ist das GPU-Modell — und neunzig von neunundneunzig Malen hat das gereicht, um eine bis aufs Byte identische Datei zu erzeugen.

Beinahe hätte ich das Gegenteil veröffentlicht. Mein erster Vergleich sagte 2 von 99 — eine erheblich aufregendere Geschichte. Sie war falsch: der Windows-Host schreibt CRLF-Zeilenenden, der Linux-Host LF, also unterschied sich fast jede Datei auf eine Weise, die mit den Modellen nichts zu tun hatte. Zeilenenden normalisieren, und die echte Zahl erscheint. Die Lehre ist die langweilige, die immer wieder stimmt: Wenn eine Messung dramatisch ist, verdächtige zuerst die Messung.

Die Ausnahme, und warum sie der interessante Teil ist

Alle neun abweichenden Ausgaben gehören zu qwq:32b. Es ist zugleich das einzige Modell im Feld, das nicht vollständig in 24 GB passt: es braucht 24,8 GB, also läuft ein Teil davon auf der CPU. Auf der Workstation sind das 6,6 %, im Container ohne Bildschirm 3,5 % — denn der Monitor kostet rund 1,8 GB VRAM, bevor überhaupt ein Modell geladen ist.

Zwei Rechner, dasselbe Modell, derselbe Seed, unterschiedlich viel CPU-Auslagerung — und der Text fällt anders aus. Nicht wild: beim Marketing-Einseiter kam qwq auf dem einen Host auf 12 von 13 Punkten und auf dem anderen auf 13 von 13, bei der Webseite war die Workstation die bessere. Es geht in beide Richtungen, und genau das erwartet man bei einem Rechenunterschied statt bei einem Qualitätsunterschied.

Die praktische Regel: Solange das Modell in den VRAM passt, liefern Seed und Temperature 0 ein über Rechner hinweg reproduzierbares Ergebnis. Sobald es auf die CPU ausweicht, ist diese Garantie weg. Wer Reproduzierbarkeit braucht — Regressionstests, Nachvollziehbarkeit, alles, was man später verteidigen muss — für den muss das Modell passen. Nicht „größtenteils passen“.

Die Rangliste

Der Score ist das Mittel über alle neun Zellen je Modell, der Durchsatz der Median über den Lauf auf der Workstation.

Modell	Score	Token/s
gemma4:26b	100,0 %	99
ornith:35b	97,0 %	119
qwen3:8b	96,7 %	115
qwen3.6:27b	93,9 %	39
qwq:32b	93,2 %	19
deepseek-r1:14b	90,1 %	68
devstral:24b	88,3 %	48
glm-4.7-flash	85,9 %	120
qwen2.5vl:7b	82,4 %	120
qwen3-vl-abliterated:30b (Thinking)	74,8 %	133
laguna-xs-2.1	53,8 %	128

gemma4:26b ist das einzige Modell, das sich in 27 Versuchen keinen Fehltritt geleistet hat, und das bei 99 Token/s. Bemerkenswert ist auch, dass qwen3:8b — das kleinste Modell im Feld — auf Platz drei landet. Die Größe hat das hier nicht entschieden.

Das Tabellenende ist ein anderes Versagen. laguna-xs-2.1 lief in allen neun Läufen in die Grenze von 8000 Token; es hörte schlicht nie auf zu schreiben. Seine 53,8 % sind kein Modell, das schlecht antwortet, sondern eines, das nicht fertig wird. Die Thinking-Variante des VL-Modells lief zweimal in dieselbe Wand.

Wie dieselbe Aufgabe elf Mal aussieht

Alle elf Modelle haben denselben Auftrag bekommen: eine vollständige, in sich geschlossene HTML-Seite über Peptide. Gerendert bei 1280 mal 900 Pixeln, ein Seed je Modell, Ausschnitt oben. Die Reihenfolge folgt der Rangliste weiter oben.

Die Punktzahlen messen die Pflichtanforderungen, nicht den Geschmack. Beim Durchsehen fällt trotzdem auf, dass die Modelle an der Spitze nicht nur die Anforderungen erfüllen, sondern nebenbei eine Navigationsleiste, Abschnittskarten und lesbare Typografie mitliefern — ohne dass das irgendwo verlangt war.

Was die Aufgaben tatsächlich gefunden haben

Die am häufigsten durchgefallene Prüfung war „das HTML beginnt mit einem Doctype“ — 21 von 33 Versuchen. Diese Zahl für sich genommen führt in die Irre, und darauf lege ich Wert: kein einziges Modell hat den Doctype vergessen. Fünfzehn haben die Seite in einen ```html-Codezaun gepackt, sechs haben einen Satz davorgestellt. Die Aufgabe verlangte den HTML-Quelltext und sonst nichts. Die Fehler sind also echt, aber es sind Gehorsamsfehler, keine Könnensfehler — und sie als „kein Doctype“ zu berichten, wäre schlicht unwahr gewesen.

Die JSON-Aufgabe war insgesamt die härteste mit 79,7 % über alle Modelle: sechs von 33 Versuchen lieferten JSON, das sich überhaupt nicht parsen ließ. Strikte Ausgabeformate sind weiterhin die Stelle, an der lokale Modelle am billigsten verlieren.

Die drei Prüfaufgaben im Wortlaut

Damit man die Zahlen nachprüfen kann, hier die Aufträge, die jedes Modell wortgleich bekommen hat. Jede Aufgabe endet mit einem festen Formatblock, den ich hier weggelassen habe, weil er nur die Ausgabeform regelt.

webseite

Erstelle eine vollstaendige, in sich geschlossene HTML-Seite ueber Peptide und ihre Wirkungen.

Pflichtanforderungen:
- Beginne mit <!doctype html>, setze lang="de" am <html>-Tag und einen Viewport-Meta-Tag.
- Mindestens 4 <section>-Bereiche mit je einer Ueberschrift.
- Eine Navigation, deren Links auf Anker (#id) zeigen, die es im Dokument auch gibt.
- Eine <table> mit mindestens 5 Datenzeilen, die Peptidgruppen und ihre beschriebenen Wirkungen gegenueberstellt.
- Das gesamte CSS in einem <style>-Block im Dokument.
- Keine externen Dateien, keine Bilder von fremden Servern, keine Schriften von CDNs.
- Kein Platzhaltertext (kein Lorem Ipsum). Alle Texte inhaltlich ausformuliert, mindestens 400 Woerter Flaechentext.
- Ein Abschnitt muss ausdruecklich darauf hinweisen, dass die Seite keine medizinische Beratung ersetzt.

Gib ausschliesslich den HTML-Quelltext aus, ohne Erklaerung davor oder danach.

html

kampagne

Entwirf eine Social-Media-Kampagne fuer ein Unternehmen, das Peptid-Praeparate fuer Kosmetik vertreibt.

Gib AUSSCHLIESSLICH gueltiges JSON aus, ohne Text davor oder danach, exakt nach diesem Schema:

{
  "campaign_name": "...",
  "audience": "...",
  "posts": [
    {"platform": "linkedin|instagram|x|facebook", "text": "...", "hashtags": ["...", "..."], "cta": "..."}
  ],
  "kpis": [
    {"metric": "...", "target": "..."}
  ]
}

Regeln:
- Genau 8 Eintraege in "posts".
- Jede der vier Plattformen kommt mindestens einmal vor.
- Bei platform "x" darf "text" hoechstens 280 Zeichen lang sein.
- Jeder Post hat 2 bis 5 Hashtags.
- Keine zwei Posts duerfen denselben Text haben.
- Mindestens 3 Eintraege in "kpis", jeder mit "metric" und "target".
- Keine Heilversprechen; formuliere kosmetisch, nicht medizinisch.

json

marketing

Schreibe einen Marketing-Einseiter (Markdown) fuer eine Peptid-Kosmetikserie.

Verwende exakt diese Ueberschriften, jede genau einmal, als Ebene 2:
## Positionierung
## Zielgruppe
## Headline-Varianten
## Vergleich
## Wirkaussagen und Belege
## Rechtlicher Hinweis

Regeln:
- Unter "Headline-Varianten" genau 3 Aufzaehlungspunkte, jeder hoechstens 60 Zeichen.
- Unter "Vergleich" eine Markdown-Tabelle mit Kopfzeile und mindestens 4 Datenzeilen.
- Unter "Wirkaussagen und Belege" jede Aussage als eigener Aufzaehlungspunkt, und JEDER dieser
  Punkte endet mit einem Belegmarker in eckigen Klammern: entweder [Beleg: <Quelle>] wenn du eine
  Quelle benennen kannst, oder [Beleg fehlt] wenn nicht. Kein Punkt ohne Marker.
- Unter "Rechtlicher Hinweis" mindestens zwei Saetze zur Abgrenzung von medizinischen Aussagen.

Gib ausschliesslich das Markdown aus.

md

Was das nicht zeigt

Drei Aufgaben sind drei Aufgaben. Alles hier wurde mit abgeschaltetem think gemessen, was für die Reasoning-Modelle im Feld eine echte Einschränkung ist. Beide Hosts fahren dieselbe Ollama-Version auf demselben GPU-Modell — über Determinismus zwischen verschiedenen Ollama-Versionen, Quantisierungen oder Hardware sagt das nichts. Und eine strukturelle Bewertung belohnt ein Modell, das Anweisungen befolgt; ob der Marketingtext etwas taugt, kann sie nicht sagen.

Was sie zeigt, ist schmal und meiner Ansicht nach trotzdem etwas wert: Auf identischer Hardware ist ein lokales LLM ein reproduzierbarer Baustein, solange das Modell passt. Man kann es in eine Pipeline stellen und morgen dieselben Bytes erwarten. Gibt man ihm 800 MB zu wenig VRAM, wird daraus etwas, das man jedes Mal neu prüfen muss.