NVIDIA H200 NVL 141GB
Die NVIDIA H200 NVL ist ein leistungsstarker KI-Beschleuniger für professionelle Rechenzentrums- und Serverumgebungen. Basierend auf der NVIDIA Hopper-Architektur kombiniert sie 141 GB HBM3e-Hochleistungsspeicher mit einer Speicherbandbreite von 4,8 TB/s und ist insbesondere für große KI-Modelle, generative KI, Large Language Models (LLMs) und High-Performance Computing ausgelegt.
Der besonders schnelle HBM3e-Speicher ermöglicht die effiziente Verarbeitung umfangreicher Modelle und Datensätze. Die H200 NVL eignet sich damit für speicherintensive Inferenz-Workloads, wissenschaftliche Berechnungen und anspruchsvolle KI-Infrastrukturen.
Technische Highlights
- GPU-Architektur: NVIDIA Hopper
- Grafikspeicher: 141 GB HBM3e
- Speicherbandbreite: 4,8 TB/s
- FP32-Rechenleistung: 60 TFLOPS
- FP16/BF16 Tensor-Core-Leistung: Bis zu 1.671 TFLOPS mit Sparsity
- FP8 Tensor-Core-Leistung: Bis zu 3.341 TFLOPS mit Sparsity
- Schnittstelle: PCI Express 5.0
- GPU-Verbindung: NVIDIA NVLink, bis zu 900 GB/s pro GPU
- Multi-Instance GPU: Bis zu 7 MIG-Instanzen
- Maximale TDP: Bis zu 600 W, konfigurierbar
- Bauform: PCIe, Dual-Slot
- Kühlung: Passiv, für aktive Server-Luftführung
Hohe Speicherleistung für große KI-Modelle
Mit 141 GB HBM3e-Speicher und 4,8 TB/s Speicherbandbreite bietet die H200 NVL eine leistungsfähige Grundlage für speicherintensive KI-Anwendungen. Besonders bei der Inferenz großer Sprachmodelle, datenintensiven Machine-Learning-Workloads und wissenschaftlichen Simulationen kann die Kombination aus hoher Speicherkapazität und Bandbreite entscheidende Vorteile bieten.
Skalierbare Server-Konfigurationen
Die H200 NVL unterstützt NVIDIA NVLink für leistungsfähige Verbindungen zwischen kompatiblen GPUs. Dadurch lassen sich entsprechende Multi-GPU-Serverkonfigurationen realisieren. Die tatsächliche Unterstützung hängt von der verwendeten Serverplattform, den NVLink-Komponenten und der jeweiligen Systemkonfiguration ab.
Wichtiger Hinweis zur Kühlung und Systemkompatibilität
Die NVIDIA H200 NVL besitzt keine integrierten Lüfter! Der Beschleuniger benötigt ein kompatibles Serversystem mit ausreichend dimensioniertem, aktivem Luftstrom zur Kühlung der GPU.
Ein Betrieb in herkömmlichen Desktop-PCs oder nicht dafür ausgelegten Workstations ist nicht vorgesehen. Vor dem Einbau müssen insbesondere die Serverkompatibilität, die Stromversorgung, die Kühlung und der verfügbare Einbauraum geprüft werden.