深騰7000百萬億次高
用於數據備份及數據的長期保存，提高盤陣空間使用效率
* 使用2套ADIC i2000智慧型帶庫，總不壓縮容量1PB
* 使用LTO4磁帶，不壓縮容量800GB/盤
性能計算機是混合結構的高性能計算集群。
基本介紹
- 中文名：深騰7000
- 刀片節點：配備千兆乙太網卡
- 主要指標：64位高性能處理器
- 宣布：2008年12月4日
簡介,系統組成,主要指標,刀片節點,厚節點,胖節點,可視化節點,網路系統,存儲系統,聯想與中科院合作意義,
簡介
2008年12月4日聯想集團對外宣布，聯想已經成功研製出每秒實際性能超過百萬億次的高性能計算機“深騰7000”，“深騰7000”也由此成為入選該排行榜的第五台聯想“深騰”系列高端超級計算機，它將落戶中國科學院用於搭建格線計算平台。深騰7000全球排名第19位，低於曙光公司的“魔方”(曙光5000A)的第十位。
據介紹，聯想“深騰7000”是世界上規模最大的一個結點無盤啟動的機群系統，成功實現了基於1428個無盤結點的機群系統。同時，它也是世界上第一個實現了對所有硬體部件統一管理和監控功能的機群系統，實現了對機群系統內數千個計算、互連、存儲等硬體部件的統一管理和監控。
“深騰7000”是國內第一個實際性能突破每秒百萬億次的異構機群系統，成功實現了1240個2路薄結點和140個4路厚結點的協同計算，實際Linpack性能突破每秒106.5萬億次，並在國內第一個實現了PB級別的三級結構海量存儲系統的機群系統，成功實現了三級結構海量存儲系統，線上、近線、離線存儲容量超過PB級。
4日中午，聯想集團與中科院網路信息中心簽署了戰略合作協定。聯想深騰7000將落戶中科院，成為國家格線主結點的關鍵設備。聯想與中科院網路信息中心將共同投資，搭建異構體系的公共商用計算平台，為科研、企業用戶提供公共商用計算平台。
系統組成
主要指標
主要指標如下：
系統全部採用。
用於計算的處理器核心共12320個，理論性能為142Tflops(所有節點的總性能為158Tflops)。
系統記憶體總量為66TB，其中計算部分記憶體總量約60TB。
系統內部採用4x DDR infiniband連線，點對點理論頻寬2GB/s（實測MPI點對點頻寬1.51GB），延遲<3μs(實測MPI點對點延遲<1.5μs)。
系統的外部存儲容量約1410TB，包括354TB的全光纖磁碟陣列、1PB容量的磁帶庫、64TB容量的虛擬帶庫。配備了數據遷移系統與數據備份軟體，保障了數據的高效管理、使用與安全。
採用Linux作業系統、LSF HPC7.0作業管理系統。
使用四種高性能檔案系統：Lustre、SNFS、IBM GPFS(厚節點專用)、SGI CXFS(胖節點專用)。
以下是各部分的具體配置與性能指標。
刀片節點
深騰7000共配有1288台IBM HS21SM刀片伺服器，其中計算刀片節點1140個（採用無盤方案），IO節點120個，網路啟動伺服器12個，管理、登錄等服務節點共16個。刀片節點的單機配置如下：
配置2個Intel XeonE5450四核處理器（3.0GHz，L1：32KB+32KB, L2：2x6MB，4條浮點流水線，單核心性能為12Gflops,單CPU性能為48Gflops，TDP為80W)。
記憶體32GB。
配備4x DDR infiniband 網卡（HCA）。
配備千兆乙太網卡。
IO節點、啟動節點等配備4Gbps光纖卡（HBA）。
所有刀片節點總性能為123.6Tflops，總記憶體41.2TB；其中計算刀片的總性能為109Tflops，總記憶體36.5TB。
厚節點
深騰7000系統中的厚節點採用IBM X3950M2伺服器，共38台，總性能28Tflops，總記憶體19TB。其單機配置為:
NUMA結構，節點內採用IBM專用網路連線。
配置16個Intel Xeon 四核處理器（2.93GHz，L1：32KB+32KB，L2 9MB，具體型號不詳，TDP 120W？），共64個CPU核心。
記憶體512GB。
配備4x DDR infiniband 網卡（HCA）,每節點4塊。
配備千兆乙太網卡。
胖節點
深騰7000的胖節點採用SGI Altix4700，使用Intel Itanium2處理器，總性能5Tflops，記憶體總量5TB，具體配置如下：
包括2個計算節點、1個頭節點、2個檔案服務節點。
* 胖節點（計算節點），節點採用NUMA結構，配置94個雙路刀片模組，共188顆處理器，376個CPU核心，共享記憶體約2.5TB，主要用於批處理作業計算。
* 頭節點，由1台胖節點通過邏輯分區實現，用於用戶登錄、編譯與調試程式、提交作業。頭節點配置4個雙路刀片，共16個CPU核心，64GB記憶體
* 檔案服務節點，由1台SGI Altix450通過邏輯分區功能成為2台CXFS檔案系統器使用，用戶不可直接訪問。
共384顆Intel Itanium2雙核處理器。
* 型號9140M, 1.66GHz主頻，666MHz匯流排。
* L1 Cache: 16KB（Data)+16KB(指令)，L2 Cache: 256KB(Data)+1MB(指令)，L3 Cache: 18MB。
* TDP 104W。
系統浮點峰值5Tflops。
記憶體總量5TB。
互連網路。
* 節點內採用NUMALink互連（雙向頻寬6.4GB/s，延遲1us)。
* 節點間採用千兆乙太網互連，用於管理、NFS檔案系統。
* 節點間採用2條20Gbps的Infiniband互連。
可視化節點
深騰7000共配有12台可視化節點，配有高性能圖形顯示卡與商業可視化軟體，用於用戶計算結果的可視化處理。其單機配置如下：
採用3U機架式伺服器。
配置2個Intel XeonE5450四核處理器。
記憶體32GB。
配備4x DDR infiniband 網卡（HCA）。
配備千兆乙太網卡。
配備Nvdia 9800GTS顯示卡。
網路系統
深騰7000的內部網路分為三種：
系統網路：採用4x DDR Infiniband高速網路系統實現節點間通訊，主要用於節點間通訊與高性能檔案系統。
管理網路：使用全千兆高性能乙太網交換機Foundry RX16，用於系統管理、部分檔案系統數據傳輸。
存儲網路：全光纖結構，2台256口(4Gbkps)光纖交換機Brocade Silkworm48000，實現IO節點與磁碟陣列等存儲設備的連線。
存儲系統
深騰7000的存儲系統包括以下幾部分：
磁碟陣列系統，採用光纖/SAS盤陣。
* 2台HDS USPv高性能磁碟陣列，總的裸容量354TB。
* 聚合I/O頻寬≥50GB/s
* 使用光纖方式與主機連線，支持數據鏈路冗餘功能
* 採用冗餘電源供電，電源、風扇、控制器及硬碟等部件
可帶電插拔更換，無需關機
虛擬磁帶庫系統Quantum DX100
* 利用SATA磁碟陣列模擬磁帶庫，提高數據備份的性能
* 裸容量64TB
磁帶庫系統
* 用於數據備份及數據的長期保存，提高盤陣空間使用效率
* 使用2套ADIC i2000智慧型帶庫，總不壓縮容量1PB
* 使用LTO4磁帶，不壓縮容量800GB/盤
* 配有8台磁帶驅動器，聚合I/O吞吐率≥800MB/s（不壓縮方式）
* 磁帶庫採用光纖方式與主機連線，支持數據鏈路冗餘功能
* 電源、磁帶驅動器等部件可熱插拔，更換這些部件不需關機。
磁帶庫內部關鍵部件採用冗餘電源供電。
聯想與中科院合作意義
聯想集團高級副總裁，大中華和俄羅斯區總裁陳紹鵬表示，聯想與中科院網路中心的戰略合作，將使全國數百個科研院所和機構可以用最低的成本共享高性能計算、服務和存儲資源，這種高端計算模式的突破，將進一步提高我國商用計算的能力，在更高層面滿足商用客戶的“CEMS”需求。
“CEMS理念”是聯想首次推出面向商用技術發展的理念，即在公總計算、企業計算和個人計算三大領域，不斷提供品質卓越的產品和服務，滿足用戶對成本、效率、管理和安全的需求。據陳紹鵬介紹，在當前的全球經濟形式下，聯想力圖讓IT效能最大化，讓客戶的每一分投入都有產出。聯想提出了商用技術的核心理念——CEMS，即Cost成本、Efficiency效率、Management管理、Security安全，它不僅代表了客戶對商用技術的根本需求，也是聯想商用技術持續發展的源動力。隨著商用計算的不斷發展，以“CEMS理念”為核心的商用技術將以更最佳化的運營、更卓越的產品為客戶創造更大的價值。
聯想集團副總裁魏江雷表示，“深騰7000”的研製成功是搭建聯想新一代公共商用計算平台的重要一步。
魏江雷同時表示，聯想將通過與政府及中科院網路中心等大型科研機構的戰略合作，引入專業運維服務團隊，共同投資，搭建異構體系的公共商用計算平台，為科研、企業用戶提供低成本，高效能、易管理、高安全的公共商用計算平台。
中科院網路中心主任黃向陽則表示，與聯想集團的戰略合作，是網路中心在信息化大潮中加速發展的一次重要契機，網路中心將通過科研信息化支撐平台的建設和發展，承載服務科研信息化和管理信息化的重任，為國家科技創新能力的提升和社會經濟的創新發展做出積極的探索和有益的貢獻。
此次聯想集團與中科院網路中心的“強強聯合”，是雙方繼百萬億次高效能計算機項目之後，在高性能計算領域合作的進一步深化和延展。業界人士認為，聯想與中科院網路中心的“聯姻”，是我國信息化基礎設施服務領域優勢資源整合、資源利用效率提高的充分體現，是高端計算模式的突破和創新。
深騰 7000 百萬億次機採用混合結構的高性能計算集群架構，由採用 Intel Xeon 處理器的集群部分與採用 Intel Itanium2 處理器的胖節點部分組成，適於不同的套用計算。但要注意的是，這兩部分節點的程式二進制代碼不兼容。集群部分包括認證 伺服器、前端機 、管理節點、登 陸節點、啟動節 點、I/O 節點、備份節點和計算節點。其中，計算節點包括刀片和厚節點，配置如下：
1140 個普通（刀片）節點，每個刀片配置兩顆四核 Xeon 處理器 E5450，
主頻 3.00GHz，32GB 記憶體；
38 個厚節點，IBM X3950M2 伺服器，每個厚節點配置 16 顆四核 Xeon 處
理器 X7350，主頻 2.93GHz，512GB 記憶體；
12 個可視化節點（採用機架式伺服器），2 顆 Intel Xeon E5450，32GB
記憶體，Nvidia 9800GTS 顯示卡；
其它節點配置與計算刀片相同，包括 2 個認 證伺服器、2 個前端機、2
個管理節點、8 個登錄節點、12 個啟動節點、120 個 IO 節點、2 個備份
節點；
作業系統：Red Hat Enterprise Linux Server release 5.1，Linux kernel
2.6.18-53.el5。
胖節點採用 2 套 SGI Altix4700，使用 Intel Itanium2 處理器，可向下兼
容深騰 6800 目標代碼（可直接運行深騰 6800 環境中的部分應用程式，MPI 程式），
其配置如下：
系統組成
包括 2 個計算節點、1 個頭節點、2 個檔案服務節點
◆ 胖節點（計算節點），節點採用 NUMA 結構，配置 94 個雙路刀片
模組，共 188 顆處理器，376 個 CPU 核心，共享記憶體約 2.5TB，
主要用於批處理作業計算；
◆ 頭節點，由 1 台胖節點通過邏輯分區實現，用於用戶登錄、編譯
與調試程式、提交作業。頭節點配置 4 個雙路刀片，共 16 個 CPU
核心，64GB 記憶體。
◆ 檔案服務節點，由 1 台 SGI Altix450 通過邏輯分區功能成為 2
台 CXFS 檔案系統器使用，用戶不可直接訪問。
共 384 顆 Intel Itanium2 雙核處理器
◆ L1 Cache: 16KB（Data)+16KB(指令)，L2 Cache: 256KB(Data)
+1MB(指令)，L3 Cache: 18MB
◆ TDP 104W
系統浮點峰值 5Tflops
記憶體總量 5TB
互連網路
節點內採用 NUMALink 互連（雙向頻寬 6.4GB/s，延遲 1us)； 節點間採用千兆乙太網互連，用於管理、NFS 檔案系統；
計算節點間採用 2 條 20Gbps 的 Infiniband 互連。
作業系統
採用 SUSE Linux 10SP2，核心版本為 2.6.16.60-0.21.default；
其它：
系統網路：節點間採用千兆乙太網與 20Gbps 的 Infiniband 實現互連；
作業管理系統，LSF HPC 7.0。
全局已分享檔案系統
用戶$HOME 目錄：/home_soft/home 採用 SNFS 檔案系統；
軟體安裝目錄：/home_soft/soft 採用 SNFS 檔案系統；
/work：採用 SNFS 檔案系統，是/datastore 目錄的連結；
/luster：用戶工作空間，使用 Lustre 檔案系統；
/datastore/userdata 目錄：用戶重要數據存放空間，採用 SNFS 文
件系統，數據定期向磁帶庫遷移。
/datastore/workspace 目錄：用戶臨時工作目錄，採用 SNFS 檔案
系統。
胖節點專用工作空間(僅胖節點可見)：/workspace 採用 SGI CXFS 共享
檔案系統。
厚節點專用工作空間（僅厚節點可見）：/gpfs1、/gpfs2，採用 IBM GPFS
檔案系統。
