NVIDIA Hopper架構是NVIDIA在2022 年3月推出的GPU 架構。 這一全新架構以美國計算機領域的先驅科學家 Grace Hopper 的名字命名，將取代兩年前推出的 NVIDIA Ampere 架構。
基本介紹
- 中文名：NVIDIA Hopper 架構
- 所屬企業：NVIDIA
- 發布時間：2022年
產品介紹,投產時間,
產品介紹
基於 Hopper 架構的 GPU — NVIDIA H100
該款 GPU 集成了 800 億個電晶體。H100擁有 Transformer 引擎和高度可擴展的 NVIDIA NVLink® 互連技術等突破性功能，可推動AI 語言模型、深度推薦系統、基因組學和複雜數字孿生的發展。
H100利用大規模 AI 模型實現了實時沉浸式套用。H100 將支持聊天機器人使用monolithic Transformer 語言模型 Megatron 530B，吞吐量比上一代產品高出 30 倍，同時滿足實時對話式 AI 所需的次秒級延遲。利用 H100，研究人員和開發者能夠訓練龐大的模型，如包含 3950 億個參數的混合專家模型，訓練速度加速高達9倍，將訓練時間從幾周縮短到幾天。
H100為加速大規模AI和HPC設定了新的標準，帶來了六項創新：
晶片 —— H100 由 800 億個電晶體構建而成，這些電晶體採用了專為 NVIDIA 加速計算需求設計的TSMC 4N工藝，因而能夠提升 AI、HPC、顯存頻寬、互連和通信的速度，並能夠實現近 5TB/s 的外部互聯頻寬。H100 是首款支持 PCIe 5.0 的 GPU，也是首款採用 HBM3 的 GPU，可實現 3TB/s 的顯存頻寬。20個 H100 GPU 便可承托相當於全球網際網路的流量，使其能夠幫助客戶推出先進的推薦系統以及實時運行數據推理的大型語言模型。
Transformer 引擎 —— Transformer已成為自然語言處理的標準模型方案，也是深度學習模型領域最重要的模型之一。H100 加速器的 Transformer 引擎旨在不影響精度的情況下，將這些網路的速度提升至上一代的六倍。
第二代安全多實例 GPU —— MIG技術支持將單個 GPU 分為七個更小且完全獨立的實例，以處理不同類型的作業。與上一代產品相比，在雲環境中 Hopper 架構通過為每個 GPU 實例提供安全的多租戶配置，將 MIG 的部分能力擴展了 7 倍。
機密計算 —— H100是具有機密計算功能的加速器，可保護 AI 模型和正在處理的客戶數據。客戶還可以將機密計算套用於醫療健康和金融服務等隱私敏感型行業的聯邦學習，也可以套用於共享雲基礎設施。
第 4 代 NVIDIA NVLink —— 為加速大型 AI 模型，NVLink 結合全新的外接 NVLink Switch，可將 NVLink 擴展為伺服器間的網際網路，最多可以連線多達 256 個 H100 GPU，相較於上一代採用 NVIDIA HDR Quantum InfiniBand網路，頻寬高出9倍。
DPX 指令 —— 新的 DPX 指令可加速動態規劃，適用於包括路徑最佳化和基因組學在內的一系列算法，與 CPU 和上一代 GPU 相比，其速度提升分別可達 40 倍和 7 倍。Floyd-Warshall 算法與 Smith-Waterman 算法也在其加速之列，前者可以在動態倉庫環境中為自主機器人車隊尋找最優線路，而後者可用於 DNA 和蛋白質分類與摺疊的序列比對。
H100的規格
H100 將提供 SXM 和 PCIe 兩種規格，可滿足各種伺服器設計需求。此外，NVIDIA還會推出融合加速器，耦合 H100 GPU 與 NVIDIA ConnectX®-7 400Gb/s InfiniBand 和乙太網智慧型網卡。
NVIDIA H100 SXM 提供 4 GPU 和 8 GPU 配置的 HGX™ H100 伺服器主機板，可助力企業將套用擴展至一台伺服器和多台伺服器中的多個 GPU。基於 HGX H100 的伺服器可為 AI 訓練和推理以及數據分析和 HPC 套用提供更高的套用性能。
H100 PCIe 通過 NVLink 連線兩塊 GPU，相較於 PCIe 5.0，可提供 7 倍以上的頻寬，為主流企業級伺服器上運行的套用帶來卓越性能。PCIe規格便於集成到現有的數據中心基礎設施中。
H100 CNX 是一款全新的融合加速器。這款加速器將 H100 與 ConnectX-7 智慧型網卡相結合，可為 I/O 密集型套用（如企業級數據中心內的多節點 AI 訓練和邊緣 5G 信號處理）提供強勁性能。
H100 由功能強大的軟體工具提供支持，可助力開發者和企業構建並加速 AI、HPC 等一系列套用。其中包括用於語音、推薦系統和超大規模推理等工作負載的 NVIDIA AI 軟體套件的重大更新。
投產時間
2022年9月，NVIDIA H100 Tensor Core GPU 全面投產，NVIDIA全球技術合作夥伴於 10 月推出首批基於開創性 NVIDIA Hopper架構的產品和服務。NVIDIA DGX H100 系統也已開始接受客戶預定。
AWS、谷歌雲、Microsoft Azure、Oracle Cloud Infrastructure 將從2023開始率先在雲端部署基於 H100 的實例。
