NVIDIA Blackwell 架構

NVIDIA Blackwell 架構是NVIDIA於2024年3月在NVIDIA GTC 大會上發布的架構,是繼兩年前推出的 NVIDIA Hopper架構以來的全新架構。

基本介紹

  • 中文名:NVIDIA Blackwell 架構
  • 所屬公司:NVIDIA
簡介,技術特性,套用,

簡介

NVIDIA Blackwell 架構為生成式 AI 和加速計算帶來突破性的進步。其基於多代 NVIDIA 技術構建,以出眾的性能、效率和規模為生成式 AI 計算新時代揭開新的篇章。全新 Blackwell GPU、NVLink 和可靠性技術賦能萬億參數規模的 AI 模型,使世界各地的機構都能夠在萬億參數的大語言模型(LLM)上構建和運行實時生成式AI,全新 Tensor Core 與 TensorRT- LLM 編譯器將 LLM 推理運行成本和能耗較上一代產品相比最低可降至上一代產品1/25 。

技術特性

憑藉六項變革性的技術,Blackwell 能夠在擁有高達 10 萬億參數的模型上實現 AI 訓練和實時 LLM 推理,這些技術包括:
  • 全球最強大的晶片:Blackwell 架構 GPU 具有 2080 億個電晶體,採用專門定製的雙倍光刻極限尺寸 4NP TSMC 工藝製造,通過 10 TB/s 的片間互聯,將 GPU 裸片連線成一塊統一的 GPU。
  • 第二代 Transformer 引擎:得益於全新微張量縮放支持,以及集成於 NVIDIA TensorRT™-LLM 和 NeMo Megatron 框架中的 NVIDIA 先進動態範圍管理算法,Blackwell 將在新型 4 位浮點 AI 推理能力下實現算力和模型大小翻倍。
  • 第五代 NVLink:為了提升萬億級參數模型和混合專家 AI 模型的性能,最新一代 NVIDIA NVLink® 為每塊 GPU 提供突破性的 1.8TB/s 雙向吞吐量,確保多達 576 塊 GPU 之間的無縫高速通信,滿足了當今最複雜 LLM 的需求。
  • RAS 引擎:採用 Blackwell 架構的 GPU 包含一個用於保障可靠性、可用性和可維護性的專用引擎。此外,Blackwell 架構還增加了多項晶片級功能,能夠利用 AI 預防性維護來運行診斷並預測可靠性相關的問題。這將最大程度地延長系統正常運行時間,提高大規模 AI 部署的彈性,使其能夠連續不間斷運行數周乃至數月,同時降低運營成本。
  • 安全 AI:先進的機密計算功能可以在不影響性能的情況下保護 AI 模型和客戶數據,並且支持全新本地接口加密協定,這對於醫療、金融服務等高度重視隱私問題的行業至關重要。
  • 解壓縮引擎:專用的解壓縮引擎支持LZ4、Snappy 和 Deflate 等壓縮格式,通過加速資料庫查詢提供極其強大的數據分析和數據科學性能。未來幾年,每年需要企業花費數百億美元的數據處理將越來越多地由 GPU 加速。

套用

Blackwell GPU 架構憑藉其所搭載的六項變革性加速計算技術,將助推數據處理、工程模擬、電子設計自動化、計算機輔助藥物設計、量子計算和生成式 AI 等領域實現突破。各大雲提供商、伺服器製造商和頭部 AI 企業紛紛採用,並於2024年晚些時候開始供應採用 Blackwell 架構的產品。

相關詞條

熱門詞條

聯絡我們