Open-Weight-Modelle wie Kimi K3 und Qwen3.8 Max erreichen Frontier-Niveau. Doch zwischen „Gewichte verfügbar“ und sinnvollem lokalem Betrieb liegen mehrere Terabyte VRAM, Hochleistungsnetzwerke und erhebliche Stromanforderungen.
Matthias Allitsch-Wutte · GEKI Gründer
4. August 2026 · 8 Min.
Wir wollten wissen, was Kimi K3 und Qwen3.8 Max auf eigener Hardware wirklich bedeuten. Also haben wir es durchgerechnet.
Das Ergebnis vorweg: Open-Weight-Modelle erreichen Frontier-Niveau - aber zwischen „Gewichte verfügbar“ und einem sinnvollen lokalen Betrieb liegen mehrere Terabyte VRAM, Hochleistungsnetzwerke und zweistellige Kilowattzahlen. Und für die meisten Unternehmen ist nicht das größte Modell die richtige Antwort, sondern das kleinste, das ihre Aufgabe zuverlässig löst.
Weil wir bei GEKI genau solche Infrastruktur planen und betreiben, ist das kein Gedankenspiel, sondern dieselbe Dimensionierung wie für echte Deployments.
Kimi K3 und Qwen3.8 Max konkurrieren bei Coding, Reasoning und agentic Aufgaben mit führenden proprietären Modellen.
Beide nutzen eine Mixture-of-Experts-Architektur (MoE). Die aktive Rechenleistung entspricht damit eher einem Modell um 100 Milliarden Parameter. Der Speicherbedarf wird trotzdem von allen Billionen Parametern bestimmt. Genau daraus entsteht das eigentliche Hardware-Problem.
VRAM ist der besonders schnelle Speicher direkt auf den GPUs. Darin liegen die Modellgewichte, temporäre Berechnungen und der KV-Cache für Kontext und parallele Nutzer. Passt das Modell nicht vollständig in diesen schnellen Speicher, muss zwischen GPU, Arbeitsspeicher oder SSD verschoben werden. Das macht ein Modell zwar technisch startbar, für interaktive Produktionsanwendungen aber oft viel zu langsam.
Faustformel für die reinen Modellgewichte:
Dazu kommen Speicher für Skalierungswerte, nicht quantisierte Modellteile, Kontext, Framework und Kommunikationspuffer. Neuere Modellgenerationen trainieren und liefern Gewichte oft nicht mehr in vollem 16-Bit, sondern nativ mit 4 Bit. Das senkt den Speicherbedarf deutlich: Ein Modell mit 2,8 Billionen Parametern braucht bei 4 Bit rechnerisch rund 1,4 TB. Der veröffentlichte Kimi-K3-Checkpoint (MXFP4) liegt wegen zusätzlicher Modellbestandteile bei ungefähr 1,56 TB - ohne native 4-Bit-Gewichte wäre er deutlich größer.
Kimi K3 aktiviert pro Token nur 104 Milliarden von 2,8 Billionen Parametern, Qwen3.8 Max rund 95 Milliarden von 2,4 Billionen. Ein Router entscheidet für jedes Token, welche Experten verwendet werden. Deshalb müssen grundsätzlich alle Expertengewichte unmittelbar erreichbar sein.
Sparse MoE reduziert also vor allem den Rechenaufwand pro Token. Es reduziert nicht im selben Verhältnis den notwendigen Speicher. 95 Milliarden aktive Parameter klingen handlich, brauchen aber trotzdem Terabyte an VRAM.
Drei Modelle als Beispiele für verschiedene Größenklassen: Kimi K3 (Frontier), DeepSeek V4 Flash (Mid-Tier) und Qwen3.8 27B (kompakt). Pro Modell zwei Setups: Minimal zum lokalen Experiment und Produktion für Inference mit parallelen Nutzern.
Mid-Tier und kompakt lassen sich mit NVIDIA RTX PRO 6000 (96 GB) und AMD Instinct MI350P (144 GB) effizient lokal betreiben - bis 8× in einem Server. Ab Frontier-Größe reicht das nicht mehr: dann braucht es ein Rechenzentrum mit Karten wie NVIDIA H200 (141 GB, Vorgängergeneration) oder B200 (192 GB, aktuelle Generation).
Gewichte = Modellgröße. KV-Cache = freier VRAM nach den Gewichten (Kontext, parallele Nutzer, Runtime).
| Modell | Gewichte / KV-Cache | Hardware | Anforderungen |
|---|---|---|---|
| Kimi K3 · Minimal | 1,56 TB / ~0,70 TB | 16× H200 (2,26 TB) | Rechenzentrum, Luftkühlung möglich, ~11 kW |
| Kimi K3 · Produktion | 1,56 TB / ~1,5 TB | 16× B200 (3,1 TB) | Modernes High-Density-RZ, DLC, ~16 kW |
| DeepSeek V4 Flash · Minimal | ~160 GB / ~32 GB | 2× RTX PRO 6000 (192 GB) | Einzelner Server, ~1,2 kW |
| DeepSeek V4 Flash · Produktion | ~160 GB / ~224 GB | 4× RTX PRO 6000 (384 GB) | Einzelner Server, ~2,4 kW |
| Qwen3.8 27B · Minimal | ~31 GB / ~65 GB | 1× RTX PRO 6000 (96 GB) | Lokale Workstation, ~0,6 kW |
| Qwen3.8 27B · Produktion | ~31 GB / ~161 GB | 2× RTX PRO 6000 (192 GB) | Einzelner Server, ~1,2 kW |
Zur Größenordnung: Kimi K3 in Produktion meint 16× B200 - typischerweise zwei Server mit je 8 GPUs. Allein die GPUs ziehen ~16 kW; mit Netzteilen, CPUs, Storage, Netzwerk und Kühlung liegt die Systemleistung klar darüber, oft grob im Bereich von 20+ kW. Als monatliche Hardware-Finanzierung (60 Monate) liegen die beiden GPU-Server bei je rund 9.000 €, also ~18.000 €/Monat - plus mindestens ~10.000 €/Monat für Strom und Betrieb der beiden Maschinen, bevor Personal und Software dazukommen.
Zum Vergleich: DeepSeek V4 Flash betreiben wir bei GEKI als Mid-Tier heute auf 2× oder 4× RTX PRO 6000 in einem regionalen Rechenzentrum - ein Server, rund 1,2–2,4 kW, ohne High-Density-DLC und ohne diese monatliche Kostenbasis. Sobald die MI350P-Server eintreffen, werden wir denselben Workload auf 2× MI350P fahren - bei noch besserer Preis-Leistung.
Die Gewichte sind frei. Die Infrastruktur ist es nicht. Ein Frontier-Modell produktiv zu betreiben heißt:
Ein Modell, zwei voll bestückte B200-Server und 20+ kW Systemleistung: das ist kein einzelner GPU-Server mehr, sondern ein eigenes Rechenzentrumsprojekt.
Frontier-Modelle wie Kimi K3 oder Qwen3.8 Max lohnen sich an der Spitze: autonome Coding-Agenten über sehr große Repositories, schwieriges wissenschaftliches oder technisches Reasoning, lang laufende Agenten mit vielen Werkzeugen und wenig Aufsicht, oder wenn die letzten Prozentpunkte Modellqualität hohen wirtschaftlichen Wert haben.
Mid-Tier-Workhorse-Modelle wie Qwen3.8 27B oder DeepSeek V4 Flash decken dagegen den Großteil realer Unternehmensaufgaben ab: interne Wissensassistenten und RAG, Dokumentenanalyse, Support-Agenten, Coding mit menschlicher Kontrolle, Fachagenten für Finance, Legal oder IT und datenschutzkritische Anwendungen im eigenen Rechenzentrum.
Die Kernaussage: Die meisten Unternehmen brauchen nicht das intelligenteste verfügbare Modell, sondern das kleinste, das ihre konkrete Aufgabe zuverlässig löst. Und die Grenze verschiebt sich stetig: durch bessere Trainingsdaten, Distillation, Quantisierung und effizientere Inference passt jede Modellgeneration mehr Leistung auf denselben Server.
Offene Frontier-KI auf eigener Infrastruktur ist möglich, aber teuer: Kimi K3 braucht in der Produktion 16× B200, zwei Server, Hochleistungsnetzwerk, DLC und grob 20+ kW Systemleistung - monatlich grob ~18.000 € Hardware-Finanzierung plus ~10.000 € und mehr für Strom und Betrieb.
Die Mid-Tier-Klasse darunter ändert die Hardware-Anforderungen fundamental. DeepSeek V4 Flash (284 Mrd. Parameter, davon 13 Mrd. aktiv) betreiben wir bei GEKI heute auf 2× oder 4× RTX PRO 6000 in einem regionalen Rechenzentrum. Sobald die MI350P verfügbar ist, werden wir 2× MI350P für noch bessere Preis-Leistung einsetzen. In Hersteller-Benchmarks (nicht unabhängig reproduziert) liegt es mit einem Terminal Bench 2.1 von 82,7 über einem starken proprietären Mittelklasse-Modell wie GPT-5.6 Terra (78,4).
Statt 16 Datacenter-GPUs und fünfstelliger Monatskosten genügen zwei bis vier GPUs in einem einzelnen Server: ein Bruchteil der Beschleuniger, der Leistung und der Kosten - bei etwas weniger Spitzenleistung, die für die allermeisten Workloads schlicht ausreicht. Genau diese Klasse bauen und betreiben wir bei GEKI, auf NVIDIA RTX PRO 6000 und demnächst AMD Instinct MI350P.
Von einem einzelnen Server bis zur größeren Konfiguration - GEKI plant, liefert und betreibt sie mit SLAs.
