NVIDIA Spectrum-X 網路平台是NVIDIA推出的產品,是面向超大規模生成式 AI 的加速乙太網網路平台。
簡介,優勢,套用,
簡介
NVIDIA Spectrum-X 網路平台是一種端到端人工智慧網路架構解決方案,為滿足人工智慧應用程式的性能需求而全新設計,並針對高速網路性能、低延遲和規模進行了最佳化。NVIDIA Spectrum-X網路平台的兩個關鍵元素是NVIDIA Spectrum-4乙太網交換機和NVIDIA BlueField-3 DPU。
優勢
將 RoCE 擴展用於 AI 和自適應路由( AR ),以實現 NVIDIA 集合通信庫( NCCL )的最大性能。
利用性能隔離來確保在多租戶和多作業環境中,一個作業不會影響另一個作業。
確保在出現網路組件故障時,網路架構能夠繼續提供最高性能
與 BlueField-3 DPU 同步,實現最佳 NCCL 和 AI 性能
在各種人工智慧工作負載下保持一致和穩定的性能,這對實現SLA至關重要。
套用
NVIDIA Spectrum-X 網路平台是一種高度通用的技術,可用於各種人工智慧應用程式,可在以下用例中顯著提高 AI 集群的性能和效率:
- GPT 和 BERT 大型語言模型
- 分散式訓練和並行處理
- 自然語言處理(NLP)
- 計算機視覺
- 高性能模擬(NVIDIA Omniverse和NVIDIA OVX)
- 高性能數據分析(Spark)
- 推理應用程式