124,5 GB für ein Modell: Das Kontextfenster passt, die Denkkette nicht
Eine Nvidia-GB10 hat 124,5 GB gemeinsamen Speicher. Ich habe daraus ein einzelnes Modell gemacht, gemessen, wo das Kontextfenster endet - und Tetris gezuehlt.
Blog
Notizen aus der Werkstatt
Infrastruktur, KI, Werkzeuge – und die Entscheidungen dahinter.
Drei lokale Modelle gegen eine gehostete Entscheidungs-API: gleichauf bei der Trefferquote, nicht bei der Kalibrierung
Jev, das gehostete „Decision Model“ von TypeSafe, ist gerade in aller Munde. Man gibt ihm einen Zustand und ein paar typisierte Fragen (ja/nein, eine Option wählen,…
Vier 4-Bit-Builds von Qwen3.8-27B auf einer RTX 3090: Die Modelle lagen gleichauf, das Kontextfenster nicht
Ich wollte eine Maschine mit zwei RTX 3090 auf „ein Modell pro Karte“ umstellen: zwei unabhängige 27B-Modelle statt eines Modells, das sich mit riesigem Kontextfenster über…
42,92 GB passen auf zwei RTX 3090 — gelohnt hat es sich nicht
Der Kandidat hat bestanden. Die Bestehensregel stand vor dem Lauf fest, und er hat sie sauber erfüllt: 65 von 65 Layern auf den Karten, gpu_pct=100,00. Er…
100 Prozent Abdeckung — und ein Siebtel fehlte
Während ich diesen Text schrieb, meldete die Suche über meinen Wissensspeicher eine Abdeckung von 100 Prozent. Sie stimmte auch. Sie zählte Notizen, und jede Notiz war…
Das schnellste lokale Modell baut das zweitschlechteste Tetris
Vor ein paar Stunden habe ich eine Durchsatztabelle veröffentlicht: neun lokale Modelle, Token pro Sekunde, sauber gemessen. Der letzte Absatz sagte, Geschwindigkeit sei eine Dimension von…
Neun lokale Modelle bei vollem Kontext — das Produktivmodell ist Platz 7 von 9
Neun lokale Modelle, drei Promptlängen, Denkkette an und aus, alles bei 262144 Token Kontext auf zwei RTX 3090 — und das Modell, das hier seit Wochen…
Zwei GPUs machten mein 120B-Modell 5x langsamer – und schuld war ein PCIe-Steckplatz
Ich habe einem Mixture-of-Experts-Modell mit 120 Milliarden Parametern eine zweite GPU gegeben. Es wurde fünfmal langsamer. Hier die Messung — und der nützlichere Fund, den ich…
Zwei RTX 3090, ein Gehäuse, und das Upgrade, das ich fast umsonst gekauft hätte
Ich hatte zwei RTX 3090 und die Rechenleistung von ungefähr einer. Das hier ist der Umbau, der beide Karten nativ an PCIe in ein Gehäuse gebracht…
Rückgabewert 0 ist kein Beleg — sechs Nächte Benchmark, die nichts gemessen haben
Ein Benchmark lief sechs Nächte lang, meldete jedes Mal Erfolg und hat dabei nichts gemessen. Die systemd-Unit endete sauber. Die Ergebnisdateien waren 84 Bytes groß. Hier…