NVIDIA Blackwell und Hopper, Single-Tenant, auf das Modell zugeschnitten.

Was ist ein GPU-Server?

Es ist ein Server, dessen Arbeit überwiegend die Grafikprozessoren leisten statt der CPU. Für KI heißt das einen oder mehrere Rechenzentrums-Beschleuniger — NVIDIA B200 oder H200, oder AMD Instinct — jeder mit Dutzenden oder Hunderten Gigabyte Speicher hoher Bandbreite, untereinander per NVLink oder Infinity Fabric verbunden und mit anderen Knoten über ein schnelles Netz. Die Rolle der CPU wird, die GPUs zu füttern und Daten zu bewegen, nicht zu rechnen.

Die praktische Folge ist, dass ein GPU-Server umgekehrt entworfen wird als ein normaler: was zählt, ist nicht die Kernzahl der CPU, sondern der GPU-Speicher, die Bandbreite zwischen den Karten und das Netz zwischen den Knoten. Eine GPU ist nur so nützlich wie die Maschine, die sie füttert, also geht es im Rest der Seite genau darum: welche Karte, welcher Host, welches Fabric, und wann Mieten besser ist als Kaufen.

Training oder Inferenz? Was sich ändert

Sie belasten unterschiedliche Teile der Maschine, und sie zu verwechseln ist die Art, wie man Geld verbrennt. Das Training belastet den Interconnect: wie viele GPUs Sie dazu bringen, sich wie eine zu verhalten. Die Inferenz belastet Speicher und Bandbreite pro Euro, denn die Aufgabe ist, ein Modell zu halten und Tokens günstig auszuliefern. Die Präzision liegt unter beidem: FP4 halbiert die Bytes pro Parameter gegenüber FP8, verdoppelt die effektive Bandbreite und lässt eine einzige Karte ein Modell bedienen, das vorher zwei brauchte.

In der Praxis wird ein Trainings-Cluster um sein Fabric herum gekauft — wie viele GPUs Sie dazu bringen, sich wie eine zu verhalten — während eine Inferenz-Flotte um Speicher und Bandbreite pro Euro herum gekauft wird, denn die Aufgabe ist, ein Modell zu halten und Tokens günstig auszuliefern. Wir entwerfen den Knoten für die Seite dieser Linie, auf der Sie wirklich leben, statt ein Trainingsgerät zum Inferieren zu kaufen oder ein Training ohne Interconnect verhungern zu lassen.

Die Dimensionierung folgt aus dieser Aufteilung ganz konkret. Zum Trainieren neigen wir den Knoten zum Interconnect und zur GPU-Zahl, die in Ihrem Framework sauber skaliert; zum Inferieren neigen wir ihn zu Speicher pro Euro und Bandbreite und stützen uns auf FP4, wo das Modell es verträgt. Batch-Größe, Sequenzlänge und wie viele Nutzer Sie gleichzeitig bedienen, legen dann fest, wie viel Reserve zu lassen ist. Nichts davon ist exotisch, aber es ungefähr richtig zu treffen, ist der Unterschied zwischen für Beschleuniger zu zahlen, die arbeiten, und für welche, die warten.

Von einer Karte bis zum Rack

Fast alles Beschriebene fügt sich in einige wenige Standardformen, und welche Sie brauchen, folgt aus dem Maßstab. Ein einzelner Beschleuniger taugt für Entwicklung und überschaubare Inferenz; ein 8-GPU-Knoten ist das Arbeitspferd für ernstes Training und Hochdurchsatz-Dienst; und ein voller Rack fügt Dutzende GPUs in einem Fabric für die größten Jobs zusammen. Die Einheiten unten sind die, mit denen wir arbeiten.

• Eine einzelne GPU — Entwicklung und überschaubare Inferenz. Eine Karte auf einem EPYC-Host, in Minuten bereit.
• 8-GPU-Knoten — das Arbeitspferd: ernstes Training und Hochdurchsatz-Dienst, alle-mit-allen über NVLink.
• Voller Rack — Dutzende GPUs in einem Fabric (InfiniBand / RoCE) für die größten Jobs.

Der Sprung zwischen ihnen ist jedes Mal eine Stufe an Kosten, Strom und Betriebskomplexität, also dimensionieren wir auf die kleinste Form, die die Arbeit erledigt. Ein Team, das vierzig Trainings-GPUs für ein paar Wochen braucht, ist meist besser mit einem voll ausgelasteten 8-GPU-Knoten oder gemieteter Kapazität bedient als mit der Bindung an ein Rack, das es nicht voll halten wird.

GPUs mieten oder kaufen?

Es ist die Frage, die man uns am häufigsten stellt, und die ehrliche Antwort ist, dass es davon abhängt, wie konstant Sie sie nutzen. Mieten gewinnt, wenn die Arbeit schubweise oder explorativ ist. Die Arbeit ist schubweise oder explorativ, das Projekt ist kurz, oder Sie brauchen Rechenleistung noch diesen Monat, während die Lieferzeiten für neues Silizium anhalten. Kaufen gewinnt, wenn die Arbeit stabil ist. Die Auslastung ist anhaltend und nahezu durchgehend, Datenresidenz oder Isolation zählen, oder der Horizont reicht über mehrere Jahre, in denen sich die Stundenmiete summiert.

Als Faustregel, die viele Finanzverantwortliche im DACH-Raum nutzen: Unter rund 100 GPU-Stunden im Monat gewinnt fast immer das Mieten; darüber lohnt es, den ROI eigener Hardware oder eines Reservevertrags zu rechnen. Ein gängiges Rechenbeispiel: vier A100 in AWS rund um die Uhr kosten etwa 8.000 € im Monat, ein eigener Server mit rund 120.000 € Capex erreicht den Break-Even nach gut anderthalb Jahren — und nach Praxisberichten senken dedizierte GPU-Server die Cloud-Kosten bei dauerhaftem Einsatz um bis zu 60 %. Die versteckten Kosten — Strom, Kühlung, Personal, Einbau, Abschreibung — addieren 40–60 % auf den Hardwarepreis im Jahr. In Deutschland, wo der Strom teuer ist, wiegt dieser Energiekostenanteil besonders schwer.

Zwei Vorbehalte halten die Entscheidung ehrlich. Der erste ist das Angebot: Der Mietmarkt von NVIDIA ist viel tiefer als der Kaufmarkt, und für kurze Verträge gewinnt er oft auch beim Preis; spezialisierte Neoclouds kosten weniger als die Hälfte der Hyperscaler. Der zweite ist die Versuchung, auf das Nächste zu warten. Auf die nächste Generation zu warten lohnt sich selten: bis sie da ist und skaliert, sind Sie schon einen Zyklus zurück. Besser auf verfügbarer Hardware testen und sich festlegen, wenn die Auslastung es rechtfertigt. Zusammen ist der nüchterne Weg für die meisten, auf verfügbarer, bewährter Hardware zu starten — oft Hopper —, die Last zu validieren und sich erst dann zum Kauf zu verpflichten, wenn die Auslastung es rechtfertigt. Das Hybridmodell gewinnt meist: eigene Hardware deckt den Sockel, gemietete deckt die Spitze.

NVIDIA und AMD im Vergleich

NVIDIA hält rund 80 % des Marktes und führt weiter beim Multi-Node-Training in großem Maßstab, mehr wegen des Software-Ökosystems aus CUDA und NCCL als wegen des reinen Siliziums. Es ist der sichere Weg, wenn Sie ein Training über viele Karten und Knoten verteilen, und wo der Mietmarkt am tiefsten ist, falls Sie sofort Kapazität brauchen.

AMD Instinct, mit bis zu 288 GB Speicher, ist bei Single-Node-Inferenz und speichergebundenen Modellen auf ROCm wirklich wettbewerbsfähig geworden und bietet manchmal mehr Speicher pro Euro. Der ehrliche Haken ist nicht das Silizium, sondern das Angebot: der Mietmarkt von NVIDIA ist viel tiefer, also gewinnt NVIDIA bei kurzen Verträgen oft auch beim Preis. Wir sagen Ihnen, was zu Ihrem Modell und Ihrem Zeithorizont passt, nicht was gerade in Mode ist.

Was wir betreiben, ehrlich

Wir bauen und betreiben Single-Tenant-GPU-Knoten für Training und Inferenz, und wir sagen mit derselben Offenheit, wann es besser ist, Kapazität bei einem Dritten zu mieten, als sich an Hardware zu binden, solange der Markt angespannt ist. Wo wir Wert stiften, ist der eigene, gut dimensionierte und gut gefütterte Knoten, auf EPYC, in der Region, die Sie brauchen, für die anhaltende Last, die ihn rechtfertigt.

Und wenn die Zahlen es noch nicht rechtfertigen, sagen wir es: Starten Sie mit gemieteter, bewährter Kapazität, validieren Sie die Last und messen Sie die echte Auslastung über einige Wochen. Überschreitet die Dauernutzung die Schwelle, bauen wir den eigenen Knoten, der dann günstiger ausfällt. Diesen Weg — günstig testen, spät festlegen — ziehen wir dem vor, Ihnen Eisen zu verkaufen, das zwischen Projekten leerläuft, während der GPU-Markt angespannt bleibt.

Im deutschen Mittelstand sehen wir dabei drei Lasten besonders häufig, und sie führen zu unterschiedlichen Knoten. Die erste ist das Fine-Tuning eigener Sprachmodelle auf Unternehmenswissen, oft im Bereich bis 70 Milliarden Parameter, wofür eine H200 mit 141 GB reicht und eine Multi-GPU-Konfiguration mit NVLink erst bei größeren Modellen nötig wird. Die zweite ist die Echtzeit-Bildverarbeitung in der Fertigung — Objekt- und Anomalieerkennung direkt an der Produktionslinie — wo Durchsatz pro Watt zählt und eine sparsamere Inferenzkarte über den Dauerbetrieb günstiger ist als rohe Spitzenleistung. Die dritte ist die Simulation und Datenanalyse im Maschinenbau, die FP64-Leistung und schnellen lokalen Speicher verlangt. Für jede dieser Lasten dimensionieren wir den Knoten anders, und wir sagen Ihnen, welche Karte die Arbeit erledigt, statt die teuerste zu empfehlen.