128k Kontext zu reservieren kostet nichts. Ihn zu füllen kostet zwei Drittel.
Zwei RTX 3090, elf Modelle mit identischen Digests, 528 Anfragen ohne Fehler. Einen 128k-KV-Cache zu reservieren ist beinahe umsonst; ihn zu füllen kostet 10 bis 66 Prozent Durchsatz — bei zehn von elf Modellen ohne jede CPU-Auslagerung. Und: ein angeschlossener Bildschirm kostet 1,8 GB nutzbares VRAM.