Das Netz zählt, aber 800 Gbps ist keine universelle Anforderung

In einem KI-Cluster verbindet das Netz Beschleuniger, die während des verteilten Trainings und der Inferenz Daten austauschen. Wenn Links, Switches oder Konfiguration nicht mit der Last mithalten, kann die Kommunikation zum Flaschenhals für das gesamte System werden. Das bedeutet nicht, dass jede Installation sofort ein Upgrade benötigt: Die nominelle Geschwindigkeit allein beweist nicht das Vorhandensein eines Flaschenhalses.

Der Sprung von 400 auf 800 Gbps verdoppelt die Geschwindigkeit jedes Links, garantiert aber nicht, dass eine Anwendung doppelt so schnell wird. Das Ergebnis hängt auch vom Kommunikationsmuster, der Anzahl der Knoten, der Topologie, der Anzahl der Links und der Stauverwaltung ab. Eine nützliche Entscheidung für ein Infrastrukturteam beginnt mit beobachtetem Verkehr und Servicezielen, nicht mit einem Kalendertag oder einer Katalogzahl.

Es lohnt sich, drei Themen zu trennen, die im kommerziellen Gespräch oft vermischt werden: 800-Gb/s-Ethernet als Linkkapazität; die aggregierte Leistung der Fabric; und die Leistung einer bestimmten Arbeitslast. Das sind keine austauschbaren Maße. Ein Netz mit schnellen Links kann unterperformen, wenn sein Design oder seine Konfiguration Stau verursacht, während eine 400-Gb/s-Installation noch ausreichen kann, wenn sie die gemessene Nachfrage erfüllt.

Was Spectrum-X enthält und was es bedeutet, eine Plattform zu sein

NVIDIA präsentiert Spectrum-X als eine End-to-End-Ethernet-Plattform, die Spectrum-Switches, ConnectX-SuperNICs, BlueField-DPUs, LinkX-Kabel und Netzwerksoftware zusammenführt. Dies ist die Definition des Herstellers, nützlich, um den Umfang des Systems zu identifizieren, beweist aber nicht von selbst, dass jede Kombination dieser Komponenten ein bestimmtes Ergebnis in einer Anwendung erzeugt. Integration ersetzt keine Kompatibilitätsprüfung zwischen Modellen, Optiken, Firmware und Konfiguration.

Der Ansatz von Spectrum-X besteht darin, das Servernetz und das Switchnetz für KI-Lasten zu koordinieren. NVIDIA beschreibt Funktionen für adaptives Routing, Staukontrolle und Lastausgleich zwischen Ebenen. Diese Funktionen zielen darauf ab, Verkehrsstöße zu verwalten und zu verhindern, dass sich Flows auf gesättigten Routen konzentrieren; ihr effektiver Nutzen muss mit der Topologie und dem Kommunikationsmuster des geplanten Clusters bewertet werden.

Was über den Plattformnamen hinaus zu prüfen ist

Bei einer Angebotsanfrage oder Designprüfung ist es ratsam, die genaue Liste der Referenzen und die Kompatibilitätsmatrix zu verlangen: Switchmodell, NIC, Porttyp, Transceiver oder Kabel, Betriebssystem, Treiber und Softwareversionen. Auch muss zwischen Kapazitätsdaten der Ausrüstung und Leistungsresultaten unterschieden werden, die der Hersteller für eine konkrete Konfiguration mitteilt.

Die von NVIDIA veröffentlichten Zahlen zu Effizienz und Skalierbarkeit sind Anbieteraussagen, keine unabhängigen Messungen, die automatisch auf jede Installation anwendbar sind. Um Alternativen zu vergleichen, muss der Käufer die Testbedingungen, die verwendete Last und die Metrikdefinition anfordern. Ein Prozentsatz ohne Testkontext dient nicht als Leistungsgarantie für ein anderes Cluster.

RoCE und InfiniBand: zwei Optionen mit unterschiedlichen Anforderungen

RoCE ermöglicht den Transport von RDMA-Operationen über Ethernet; InfiniBand ist eine andere Netzwerktechnologie mit eigenen Komponenten und Ökosystem. Die Wahl zwischen beiden reduziert sich nicht auf den Vergleich einer Latenz- oder Kostenzahl: Die Betriebserfahrung des Teams, die Software, die Kompatibilität der Beschleuniger und Adapter, die Skalierung und die Verfügbarkeitsbedürfnisse spielen eine Rolle. Das von NVIDIA dokumentierte Spectrum-X-Paket ist Ethernet; das macht InfiniBand nicht zu einer Variante von Spectrum-X.

RoCE erfordert Aufmerksamkeit für Stau und Fabric-Konfiguration. Mechanismen wie PFC und ECN erscheinen in technischen Analysen als relevante Werkzeuge für den RoCE-Einsatz, aber ihre Anwesenheit in einer Funktionsliste reicht nicht aus: Sie müssen auf den konkreten Geräten konfiguriert und validiert werden. Das Netz darf auch nicht einfach als "verlustfrei" behandelt werden, indem man eine einzige Funktion aktiviert; Warteschlangen, Prioritäten, Staukontrolle und Verhalten unter gleichzeitigen Verkehr müssen überprüft werden.

Eine sekundäre Quelle behauptet, dass RoCEv2 in bestimmten Kontexten zwischen 85 % und 95 % der Trainingsleistung von InfiniBand erreichen kann. Es ist keine universelle Äquivalenz noch eine Herstellergarantie: Das verfügbare Material liefert keine vollständige Methodik, um diesen Bereich auf jede Last, Topologie oder Clustergröße zu übertragen. Daher ist es nicht ratsam, ihn als einziges Kaufkriterium zu verwenden. Für eine bindende Entscheidung müssen vergleichbare Tests mit der Software und der Arbeitslast des Käufers angefordert werden.

ConnectX-8: Der Adaptername reicht nicht, um 800 Gbps zu inferieren

ConnectX-8 ist eine Familie von Adaptern, keine einzelne Spezifikation, die als "800 Gbps mit PCIe Gen6" zusammengefasst werden kann. Die verfügbare NVIDIA-Dokumentation für ein C8180-Modell beschreibt einen OSFP-Port und listet Ethernet-Raten bis zu 400 Gb/s auf, zusätzlich zu InfiniBand-Optionen. Andererseits beschreibt eine unabhängige Überprüfung der C8240-Karte zwei QSFP112-Ports von 400 GbE. Das exakte Modell ändert, was über Ports und Kapazität behauptet werden kann.

Die C8240-Überprüfung berichtet, dass die Karte unter bestimmten Bedingungen in einer Richtung mit 800 Gb/s arbeiten kann, und erwähnt einen PCIe-Gen6-Switch. Dies sollte nicht in die Behauptung verwandelt werden, dass jeder ConnectX-8 800 Gb/s pro Port liefert, oder dass die NIC in allen Systemen notwendigerweise eine PCIe-Gen6-Host-Schnittstelle verwendet. Die konsultierte Dokumentation weist auch Gen5-Kompatibilität für das C8180-Modell aus; Referenz und Host-Plattform müssen vor dem Design überprüft werden.

Die Kompatibilität mit H100 oder B200 wird von den hier verfügbaren Quellen nicht bestätigt. Auch kann nicht davon ausgegangen werden, dass eine NIC mit einem bestimmten Durchsatz mit jeder GPU der neuesten Generation kompatibel ist: Der Server, der PCIe-Slot, die Firmware, die Treiber, das Betriebssystem und die Netzkonfiguration sind beteiligt. Fordern Sie die Kompatibilitätsmatrix des System- und Adapterherstellers an, nicht eine Inferenz basierend auf der Beschleuniger-Generation.

Eine Hardwareprüfung, die Verwirrung vermeidet

Bevor Sie Karten vergleichen, notieren Sie separat: vollständige Referenz, Anzahl und Typ der Ports, unterstützte Geschwindigkeit pro Port, aggregierte Kapazität und Messrichtung, PCIe-Schnittstelle, Protokolle und Anforderungen an Stromversorgung und Luftstrom. Das Datenblatt des Adapters und die Serverkonfiguration müssen jedes Feld stützen.

ConnectX-8: el nombre del adaptador no basta para inferir 800 Gbps ConnectX-8 es una familia de adaptadores, no una especificación única que se pueda resumir como “800 Gbps con PCI...
Imagen generada con IA por BytePreview · AI generated editorial image

Die Switch-Kapazität ist nicht die Geschwindigkeit jedes Ports

Eine Zahl wie 51,2 Tb/s bezieht sich in der Regel auf die aggregierte Switching-Kapazität, nicht auf die Geschwindigkeit eines Ports oder die nützliche Kapazität, die jeder Server sehen wird. Eine sekundäre Quelle schreibt dieses Maximum Spectrum-4 zu, aber das offizielle Material für die Ethernet-Plattform identifiziert diese Zahl nicht neben einem konkreten Switchmodell. Daher präsentieren wir sie hier nicht als bestätigte Spezifikation der gesamten Familie noch als Beweis, dass Spectrum-4 ein 800-Gb/s-Switch ist.

Um einen Switch zu verifizieren, muss sein exaktes Produktdatenblatt konsultiert werden: Portgeschwindigkeit und -anzahl, Switching-Kapazität, Redundanzarchitektur, Transceiver-Optionen, Verbrauch und Konfigurationsgrenzen. Es ist auch wichtig zu bestimmen, ob der 800-Gb/s-Link nativ ist, durch Aggregation von Ports erhalten wird oder von einer konkreten Variante abhängt. Der aggregierte Durchsatz des Chassis und die Geschwindigkeit eines Links beschreiben verschiedene Dinge.

Das Netzdesign muss die Anzahl der Server und Beschleuniger, die Bandbreite zu jedem Knoten, die Anzahl der Hops, die Oversubscription und alternative Routen berücksichtigen. Eine Zwei-Ebenen-Topologie kann eine andere Organisation haben als eine Drei-Ebenen-Topologie; kein Label beweist von selbst, dass das System niedrige Latenz liefern wird. Die Berechnung muss von den Kommunikationsbedürfnissen und den dokumentierten Einschränkungen der gewählten Ausrüstung ausgehen.

Verkabelung, Energie und Betrieb: die Kosten, die die Geschwindigkeit begleiten

Das Erhöhen der Geschwindigkeit kann eine Überprüfung von Optiken, Verkabelung, Steckern und Installationsverfahren erzwingen. Ein auf LinkedIn verbreiteter Kommentar warnt, dass Schmutz auf einer Faseroberfläche einen Hochgeschwindigkeitslink unterbrechen kann. Es ist eine plausible betriebliche Warnung, aber die verfügbare Quelle bestätigt nicht, dass jede Partikel notwendigerweise den Ausfall eines 800-Gb/s-OSFP-Links verursacht. Reinigung und Inspektion von Steckern sind gute Praktiken, während dieses absolute Ergebnis nicht als allgemeine Spezifikation behandelt werden sollte.

Die Kompatibilität von Transceivern und Kabeln muss nach Modell, Reichweite und Fasertyp oder Verkabelungstyp überprüft werden. Die physische Verbindung wird nicht nur daraus abgeleitet, dass zwei Geräte 800 Gb/s ankündigen: Das Modulformat, die Anzahl der Lanes, das Medium, die Entfernung und die unterstützte Kodierung sind wichtig. Auch muss die Polarität bestätigt und die Links dokumentiert werden, damit ein Ersatz oder eine Erweiterung nicht von Annahmen abhängt.

Die im NVIDIA-Handbuch dokumentierte ConnectX-8-NIC ist für Datacenter-Server bestimmt und erfordert angemessene Stromversorgung und Luftstrom; das Handbuch warnt, dass unzureichende Bedingungen ihren Betrieb beeinträchtigen oder sie beschädigen können. Dies ist eine spezifische dokumentierte Produktanforderung, keine universelle Kühlmaßnahme für jede 800-Gb/s-Installation. Bevor Sie kaufen, integrieren Sie Verbrauch, Belüftung, Platz, Wartung und Support in die Gesamtkostenberechnung.

Es gibt keine vergleichbaren Preise oder vollständige Verbrauchsdaten im Quellenpaket, daher kann die Gesamtbetriebskosten hier nicht quantifiziert noch erklärt werden, dass 800 Gb/s billiger oder effizienter ist. Schließen Sie Energie, Kühlung, Optiken, Installation und Betrieb in die Bewertung ein, und fordern Sie Werte an, die den betrachteten Modellen und Konfigurationen entsprechen.

Praktische Liste zur Bewertung eines KI-Netzes

Der solideste Weg, Spezifikationen von Werbung zu trennen, ist zu verlangen, dass jede wichtige Behauptung mit einer Referenz, einer Betriebsbedingung und einer Validierungsmethode verknüpft ist. Dies ermöglicht es, einen Ethernet-Vorschlag mit einer anderen Option zu vergleichen, ohne aggregierte Zahlen, maximale Kapazitäten und Anwendungsresultate als äquivalent zu behandeln.

Bevor Sie eine Migration genehmigen, überprüfen Sie die folgenden Punkte mit dem Anbieter und dem Betriebsteam:

  • Last und Ziel: beobachteter Verkehr, Kommunikationsmuster und Leistungsanforderung der Anwendung.
  • Exakter Inventar: Referenzen für Switches, NICs, optische Module, Kabel und Softwareversionen.
  • Geschwindigkeiten: Rate pro Port, aggregierte Kapazität, Messrichtung und erforderliche Links für jeden Server.
  • Protokoll und Stau: Ethernet mit RoCE oder InfiniBand, erforderliche Funktionen und dokumentierte Konfiguration.
  • Kompatibilität: Hersteller-Matrix für Server, Beschleuniger, Adapter, Treiber und Firmware.
  • Physischer Betrieb: Stromversorgung, Luftstrom, Stecker, Reinigung, Polarität und Diagnoseverfahren.
  • Validierung: Test mit repräsentativem Verkehr, vereinbarte Akzeptanzkriterien und Verhalten bei Fehlern.

Die praktische Schlussfolgerung ist nicht, dass alle Datacenter 2026 auf 800 Gb/s migrieren müssen. Es ist, dass die Geschwindigkeit auf ein gemessenes Bedürfnis antworten muss, und dass eine integrierte Plattform wie Spectrum-X Komponente für Komponente und mit transparenten Bedingungen bewertet werden muss. Kaufen Sie eine validierte Architektur für Ihre Last, nicht eine isolierte Zahl oder ein allgemeines Leistungsversprechen.