{
 "titel": "GB10 vLLM-Pilot 31.10. bis 01.11.2026 – Kennzahlen",
 "maschinerie": {
  "gb10": "DGX Spark, 121 GiB einheitlicher Speicher, ~273 GB/s; vLLM 0.32 im Container des Bausatzes myllmbox/qwen38-flash-next-vllm:v5.4",
  "atlas": "Proxmox-CT 1100, 2x RTX 3090, Strata 0.1.48, Qwen3.8-Flash-Next abliterated IQ3_S"
 },
 "tempo_tok_je_sitzung": {
  "llama_cpp_21_10": {
   "solo_kurz": 26.6,
   "128_bis_192k": 9.6,
   "vier_spuren": 6.4,
   "mtp": "Zweig laedt nicht (blk.48.nextn.hc_head_norm.weight fehlt)"
  },
  "vllm_bf16_gezensiert_31_10": {
   "1": 148.5,
   "2": 97.0,
   "4": 76.2,
   "8": 47.2,
   "ttft_s": [
    3.24,
    4.21,
    6.79,
    9.61
   ]
  },
  "vllm_fp8_gezensiert_01_11": {
   "1": 132.7,
   "2": 101.3,
   "4": 74.9
  },
  "vllm_fp8_unzensiert_01_11": {
   "1": 145.2,
   "2": 112.0,
   "3": 98.9
  }
 },
 "fenster_246k": {
  "vorrat_token": {
   "bf16": 850230,
   "fp8": 1647709
  },
  "bf16_3_fenster_wandzeit_pro_zug": 51.4,
  "fp8_3_fenster_wandzeit_pro_zug": 51.3,
  "bf16_decode_rate_31_10": {
   "1_fenster": 125.9,
   "2_fenster": 110.9,
   "3_fenster": 101.8,
   "4_fenster": 3.1
  },
  "fp8_decode_rate_31_10": {
   "4_fenster": 54.3
  },
  "hinweis": "31.10. = vom Dienst gemeldete Decode-Rate; 01.11. = Wandzeit eines warmen Zugs. Nicht vertauschbar."
 },
 "verweigerung_66_sonden": {
  "richter": "Strata 0.1.48 auf atlas, identische Sonden und Temperaturen",
  "gezensiert": {
   "kontrolle": "4/33 (12%)",
   "heikel": "30/33 (91%)"
  },
  "unzensiert": {
   "kontrolle": "0/33 (0%)",
   "heikel": "4/33 (12%)"
  }
 },
 "vorabpruefung_unzensiert": {
  "werkzeug": "3/3",
  "strenges_json": true,
  "kreativ_zeichen": 604,
  "ttft_s": 1.45,
  "decode_tok_s": 90.9,
  "vorleserate_tok_s": 2589
 },
 "nadeltest_bf16_gezensiert": {
  "131072": "3/3 in 55.2 s",
  "262144": "3/3 in 115.9 s",
  "393216": "3/3 in 179.5 s"
 },
 "gaben": {
  "bild": "angenommen, 834 gegen 67 Prompttoken, Inhalt (Titel, Karten, Wasserzeichen) korrekt",
  "video": "angenommen",
  "audio": "abgelehnt (HTTP 400), kein Audio-Zweig",
  "feld": "Antworten liegen in reasoning; reasoning:false schaltet das Denken nicht aus"
 },
 "mtp": {
  "angenommen_pro_runde": 2.13,
  "annahme_nach_tiefe_prozent": {
   "P0": 82,
   "P1": 68,
   "P2": 55,
   "P3": 8,
   "P4_und_tiefer": 0
  },
  "gegentest_k4": {
   "angenommen_pro_runde": 2.11,
   "ergebnis": "kein klarer Gewinn (−8 / +18 / −8 %)"
  }
 },
 "arbeitsspeicher_gib": {
  "gewichte": 96.0,
  "kv_puffer": 26.0,
  "graphen_puffer_vorleser": "16 bis 22",
  "belegt_im_dienst": "112 bis 116",
  "gesamt": 121,
  "frei": "5 bis 8",
  "kandidaten": {
   "nimble": 8.9,
   "clef": 10.2,
   "bge_m3": 1.2
  },
  "zwischenfaelle": [
   "llama-server.service (Restart=always) OOM-te den Container in der Nacht",
   "105,4-GB-Download durch den Seitencache OOM-te den Worker"
  ]
 },
 "energie": {
  "gb10_w_praezisierung": "70 W bei 96 % GPU-Auslastung, ganzer Rechner, Einzelprobe waehrend der Vorlesphase",
  "atlas_w": "350 bis 470 W fuer das Kartenpaar (Telemetrie, ohne CPU)",
  "joule_je_token": {
   "gb10": 0.47,
   "atlas_nur_karten": 3.7
  }
 },
 "netzzugang": {
  "fund": "rootless docker veroeffentlichte Ports binden nur auf loopback; der Vorhalter des Kits crasht in v5.4 (make_app: unexpected keyword digit_size)",
  "loesung": "server.docker_args um --network host ergaenzt, vLLM lauscht direkt auf 0.0.0.0:8000",
  "proben": "Werkzeugaufruf und Stream ueber 100.104.205.111:8000 bestaetigt"
 },
 "pruefstand": {
  "atlas_spitz": {
   "1": 107.7,
   "2": 118.5,
   "4": 114.9,
   "250k_dok": "94.1 tok/s, 293.2 s Wandzeit"
  },
  "nimble_atlas_cpu_tok_s": 3.0,
  "clef_chat": "ollama meldet: does not support chat",
  "einbettungen": "8 Sonden in 2.96 s (CPU)"
 },
 "zeilen": [
  {
   "arm": "gb10-vllm",
   "sitzungen": 1,
   "tok_je_sitzung": 148.5,
   "erstes_token_s": 3.24,
   "wand_s": 42.3,
   "puffer_token_oder_vorleserate": ""
  },
  {
   "arm": "gb10-vllm",
   "sitzungen": 2,
   "tok_je_sitzung": 97.0,
   "erstes_token_s": 4.21,
   "wand_s": 54.8,
   "puffer_token_oder_vorleserate": ""
  },
  {
   "arm": "gb10-vllm",
   "sitzungen": 4,
   "tok_je_sitzung": 76.2,
   "erstes_token_s": 6.79,
   "wand_s": 85.8,
   "puffer_token_oder_vorleserate": ""
  },
  {
   "arm": "gb10-vllm-8",
   "sitzungen": 8,
   "tok_je_sitzung": 47.2,
   "erstes_token_s": 9.61,
   "wand_s": 139.1,
   "puffer_token_oder_vorleserate": ""
  },
  {
   "arm": "gb10-vllm-250k",
   "sitzungen": 1,
   "tok_je_sitzung": 125.9,
   "erstes_token_s": 3.3,
   "wand_s": 129.1,
   "puffer_token_oder_vorleserate": ""
  },
  {
   "arm": "gb10-vllm-250k",
   "sitzungen": 2,
   "tok_je_sitzung": 110.9,
   "erstes_token_s": 4.53,
   "wand_s": 140.2,
   "puffer_token_oder_vorleserate": ""
  },
  {
   "arm": "gb10-vllm-k4",
   "sitzungen": 1,
   "tok_je_sitzung": 136.1,
   "erstes_token_s": 3.02,
   "wand_s": 42.7,
   "puffer_token_oder_vorleserate": ""
  },
  {
   "arm": "gb10-vllm-k4",
   "sitzungen": 2,
   "tok_je_sitzung": 114.3,
   "erstes_token_s": 4.77,
   "wand_s": 56.4,
   "puffer_token_oder_vorleserate": ""
  },
  {
   "arm": "gb10-vllm-k4",
   "sitzungen": 4,
   "tok_je_sitzung": 70.3,
   "erstes_token_s": 6.09,
   "wand_s": 81.7,
   "puffer_token_oder_vorleserate": ""
  },
  {
   "arm": "gb10-vllm-3x4x-250k",
   "sitzungen": 3,
   "tok_je_sitzung": 101.8,
   "erstes_token_s": 6.41,
   "wand_s": 367.8,
   "puffer_token_oder_vorleserate": ""
  },
  {
   "arm": "gb10-vllm-3x4x-250k",
   "sitzungen": 4,
   "tok_je_sitzung": 3.1,
   "erstes_token_s": 342.89,
   "wand_s": 1380.5,
   "puffer_token_oder_vorleserate": ""
  },
  {
   "arm": "gb10-vllm-fp8-4x250k",
   "sitzungen": 4,
   "tok_je_sitzung": 54.3,
   "erstes_token_s": 9.26,
   "wand_s": 466.2,
   "puffer_token_oder_vorleserate": ""
  },
  {
   "arm": "gb10-vllm-fp8",
   "sitzungen": 1,
   "tok_je_sitzung": 132.7,
   "erstes_token_s": 2.95,
   "wand_s": 37.2,
   "puffer_token_oder_vorleserate": ""
  },
  {
   "arm": "gb10-vllm-fp8",
   "sitzungen": 2,
   "tok_je_sitzung": 101.3,
   "erstes_token_s": 4.48,
   "wand_s": 51.8,
   "puffer_token_oder_vorleserate": ""
  },
  {
   "arm": "gb10-vllm-fp8",
   "sitzungen": 4,
   "tok_je_sitzung": 74.9,
   "erstes_token_s": 6.36,
   "wand_s": 82.5,
   "puffer_token_oder_vorleserate": ""
  },
  {
   "arm": "gb10-unc-1x",
   "sitzungen": 1,
   "tok_je_sitzung": 145.2,
   "erstes_token_s": 11.54,
   "wand_s": 43.7,
   "puffer_token_oder_vorleserate": ""
  },
  {
   "arm": "gb10-unc-2x",
   "sitzungen": 2,
   "tok_je_sitzung": 112.0,
   "erstes_token_s": 14.15,
   "wand_s": 69.7,
   "puffer_token_oder_vorleserate": ""
  },
  {
   "arm": "gb10-unc-3x",
   "sitzungen": 3,
   "tok_je_sitzung": 98.9,
   "erstes_token_s": 17.87,
   "wand_s": 84.6,
   "puffer_token_oder_vorleserate": ""
  },
  {
   "arm": "gb10-unc-fp8-3x250k-v2",
   "sitzungen": 3,
   "tok_je_sitzung": 55.9,
   "erstes_token_s": "",
   "wand_s": 153.7,
   "puffer_token_oder_vorleserate": 246082
  },
  {
   "arm": "gb10-unc-fp8-3x250k-v2",
   "sitzungen": 3,
   "tok_je_sitzung": 52.0,
   "erstes_token_s": "",
   "wand_s": 153.0,
   "puffer_token_oder_vorleserate": 246082
  },
  {
   "arm": "gb10-unc-fp8-3x250k-v2",
   "sitzungen": 3,
   "tok_je_sitzung": 50.3,
   "erstes_token_s": "",
   "wand_s": 128.0,
   "puffer_token_oder_vorleserate": 246083
  },
  {
   "arm": "gb10-unc-bf16-3x250k",
   "sitzungen": 3,
   "tok_je_sitzung": 53.1,
   "erstes_token_s": "",
   "wand_s": 137.5,
   "puffer_token_oder_vorleserate": 246082
  },
  {
   "arm": "gb10-unc-bf16-3x250k",
   "sitzungen": 3,
   "tok_je_sitzung": 54.8,
   "erstes_token_s": "",
   "wand_s": 160.4,
   "puffer_token_oder_vorleserate": 246082
  },
  {
   "arm": "gb10-unc-bf16-3x250k",
   "sitzungen": 3,
   "tok_je_sitzung": 52.6,
   "erstes_token_s": "",
   "wand_s": 140.8,
   "puffer_token_oder_vorleserate": 246083
  },
  {
   "arm": "gb10-unc-fp8-3x250k",
   "sitzungen": 3,
   "tok_je_sitzung": 52.7,
   "erstes_token_s": "",
   "wand_s": 9.5,
   "puffer_token_oder_vorleserate": 246082
  },
  {
   "arm": "gb10-unc-fp8-3x250k",
   "sitzungen": 3,
   "tok_je_sitzung": 52.8,
   "erstes_token_s": "",
   "wand_s": 7.6,
   "puffer_token_oder_vorleserate": 246082
  },
  {
   "arm": "gb10-unc-fp8-3x250k",
   "sitzungen": 3,
   "tok_je_sitzung": 53.9,
   "erstes_token_s": "",
   "wand_s": 19.0,
   "puffer_token_oder_vorleserate": 246083
  },
  {
   "arm": "gb10-unc-bf16-4x250k (31.10., Decode-Rate)",
   "sitzungen": 4,
   "tok_je_sitzung": 3.1,
   "erstes_token_s": 342.89,
   "wand_s": 1380.5,
   "puffer_token_oder_vorleserate": 850230
  },
  {
   "arm": "gb10-unc-fp8-4x250k (31.10., Decode-Rate)",
   "sitzungen": 4,
   "tok_je_sitzung": 54.3,
   "erstes_token_s": 9.26,
   "wand_s": 466.2,
   "puffer_token_oder_vorleserate": 1647709
  }
 ]
}