NF5698G7，生成式AI領域的新一代AI伺服器。
基本介紹
- 外文名：NF5698G7
- 產品類型：AI伺服器
研發歷史,產品設計,主要功能,
研發歷史
2023年7月11日，浪潮信息聯合英特爾發布面向生成式AI領域創新開發的新一代AI伺服器NF5698G7，該AI伺服器支持8顆OAM高速互聯的Gaudi2加速器，具備高性能、高擴展、高能效和開放生態等優點，將為AI客戶提供強大的大模型訓練和推理能力。
產品設計
NF5698G7採用高擴展設計，支持12個PCIe5.0 X16的IO擴展，最大支持4800Gbps節點間互聯頻寬，滿足大模型流水線並行和數據並行的通信需求，可擴展至萬卡AI集群。NF5698G7通過精細化分區、智慧型散熱調控、12V & 54V N+N雙輸入供電等創新設計，實現高功率負載動態匹配和低電源功率損耗，系統功耗降低8%。
NF5698G7基於全球開放計算OCP開放加速器規範 OAM/UBB進行產品設計，支持PyTorch、TensorFlow等主流AI框架和Megatron/DeepSpeed等流行開發工具，為生成式AI提供成熟、高性價比的開放生態產品方案。NF5698G7支持浪潮信息的AI算力資源平台AIStation，通過對計算資源、數據資源、深度學習軟體棧資源進行統一管理，有效提升大模型算力平台的使用效率，助力客戶加速AI大模型開發與部署。
主要功能
浪潮信息NF5698G7在6U空間支持8顆基於開放加速模組OAM高速互聯的Gaudi2 AI加速器，每顆Gaudi2晶片配置96GB HBM高速記憶體，共提供2.1Tbps的P2P互聯頻寬，支持全互聯拓撲，滿足大模型訓練張量並行的通信需求；搭載2顆第四代至強處理器，支持AMX/DSA等AI加速引擎。Gaudi2是英特爾推出的深度學習加速器，以多方位性能與能效比提升，為業界提供了高性能、高性價比的AI算力選項，在MLPerf的GPT-3、ResNet-50、Unet3D、BERT等基準測試中，均取得了優異的性能表現。
