機群系統

機群（cluster）系統是互相連線的多個獨立計算機的集合，這些計算機可以是單機或多處理器系統（PC、工作站或SMP），每個結點都有自己的存儲器、I/O設備和作業系統。機群對用戶和套用來說是一個單一的系統，它可以提供低價高效的高性能環境和快速可靠的服務。

基本介紹

• 中文名：機群系統
• 外文名：cluster
• 性質：系統
• 含義：互相連線的多個獨立計算機

基本體系結構

機群系統一般結構

機群系統包括下列組件：

·高性能的計算結點機（PC、工作站或SMP）。

·具有較強網路功能的微核心作業系統。

·高效的網路/交換機（如千兆位乙太網和Myrinet）。

·網卡（NICs）。

·快速傳輸協定和服務。

·中間件層，其中包括某些支持硬體，如數字存儲通道、硬體分布共享存儲器及SMP技術；套用，如系統管理工具和電子表格；運行系統，如軟體分布共享存儲器和並行檔案系統；資源管理和調度軟體等。

·並行程式設計環境與工具，如編譯器、語言環境、並行虛擬機（PVM）和訊息傳遞接口（MPI）等。

·套用，包括串列和並行應用程式。

組建機群系統的需求和功能

機群組建時應考慮下面的需求和功能：

·較高頻寬的網路，以支持通信需求；

·低延遲的通信機制；

·支持高頻寬的多點傳送通信方式；

·自動恢復網路和結點錯誤的能力；

·標準的低級原語，支持通信、同步和時序；

·異構的遠程過程調用，以隱藏體系結構、協定和系統的不同性；

·實時性能監視器；

·可靠的批處理工作調度程式；

·分布應用程式開發工具；

·支持傳統的高級語言進行異構計算；

·能夠開發工作站機群的應用程式；

·新的系統管理工具；

·發展標準化，以保護軟體投資。

機群系統與其他系統的比較

一個典型機群系統和其他類型系統的對比可參看下表。

基本類型

機群系統可以按照套用或結構進行分類。

1．按套用目標

可分為面向科學計算型或面向關鍵任務套用型：

·高性能機群（high performance cluster）；

·高可用性機群（high availability cluster）。

2．按組成機群的處理機類型

·PC機群；

·工作站機群；

·SMP（對稱多處理器）機群。

3．按處理機作業系統

·Linux機群，如Beowulf；

·Solaris機群，如Berkeley NOW；

·NT機群，如HPVM；

·AIX機群，如IBM SP2；

·數字VMS（虛擬存儲機）機群；

·HP-UX機群；

·微軟Wolfpack機群。

4．按處理機的配置

·同構型機群：所有結點擁有近似的構造和相同的作業系統；

·非同構型機群：所有結點擁有不同的構造和不同的作業系統。

5．按處理機的位置和數量

·組機群，結點數量為2～99，通過SANs（系統級網路），如Myrinet，機群實際上裝入一個機箱中或存在一個範圍之內；

·部門機群，結點數量為幾十或幾百；

·企業機群，結點數量為幾百。

6．按構築機群的方式

·專用機群；

·非專用機群。

極高的性能價格比使專用機群深受歡迎。

專用機群

專用機群一般由一組同構的處理機組成（有時也有異構情況），通常安裝在一個機房內，或者將主機板等安裝在一個機櫃的各機箱中（商業機群常用這種方式），或像圖中那樣簡單地把PC機堆砌在機架上（Piles of PC）。在這種機群中，每個處理機都是專用的、無屬主的，由系統管理員統一管理，用戶可通過前端機進行訪問，用戶無需知道機群的詳情，就像使用MPP機一樣，易於配置和管理，不受外界干擾，通信可靠且延遲小，適合於面向加速比的並行任務和面向吞吐量批處理作業。專用機群具有相對結構和管理簡單、易於擴展等特點，用途極廣。

專用機群的互聯結構

·I/O方式 包括普通用LAN、FDDI、ATM等網路連線和共享磁碟連線兩種方式。

·共享存儲器方式 包括全局共享存儲器方式和分散式共享存儲器方式。分散式存儲器指沒有一個集中的存儲器，由各處理機內一部分存儲器通過軟體機制形成。

1994年夏，美國的研究人員建成了第一個Beowulf機群，它由16個DX4處理機組成。1997年，又推出了16個基於PⅡ的機群，只需花費5萬美元卻具有每秒10億次的浮點運算能力，而購買具有相同能力並行機的投資數卻是它的10倍。 Berkeley的NOW系統也是較早的工作站機群，由上百個Sun Ultra工作站組成，集成到19 英寸機箱中，可使用Myrinet、ATM和終端集中器等多種互聯手段，每個結點自帶512K快取、128M記憶體及2個2.3G硬碟。

此外，各大公司推出的商業專用機群還有很多，如DEC 的VMS機群和TruCluster、惠普的Apollo 9000機群、IBM的Sysplex、Sun的Solaris MC 等。

在國內，曙光公司最新推出了基於NT的天潮系列機群產品，是採用分散式存儲的可擴展機群體系。其結點處理器為Intel PⅡ和PⅢ，通過千兆位乙太網互聯，擴展性好，結點可根據不同的套用，動態地分為多個結點池，如可用兩個結點作為伺服器、四個結點運行資料庫、其他結點用於計算等，結點數量可靈活配置。套用範圍包括：

科學計算 支持PVM和MPI，使用最佳化的BLAS庫；事務處理 線上事務處理（OLTP），如電子商務、證券交易和線上分析處理（OLAP）；並行資料庫 支持Oracle、DB2等分散式資料庫套用；

網路伺服器 運行各種Internet服務。

非專用機群

非專用機群是由分散互聯的處理機或在網上尋找到的空閒處理機組成的機群，這些處理機可能分屬於不同的個人、組織或單位。據資料統計，一般計算機系統平均使用率僅為30%左右，有的空閒率竟達91%，而許多桌面網路工作站和微機的CPU利用率都小於10%，因此，人們自然想到要利用這些閒散的CPU處理能力，這被稱為CPU周期竊取。

通常，網路上計算單元都是擁有者各自孤立地使用其擁有的計算單元，一般處於下列狀態：

·處於空閒或等待狀態，如夜間；

·文檔編輯工作，包括收發E-mail、閱讀文檔和信息等；

·開發工作，包括編輯、編程、編譯、調試等；

·完成某種定時、守候服務和功能；

·運行計算型的程式。

所謂竊取CPU周期就是要竊取上述前四類處理機的CPU 周期給最後一類工作用。顯然，被竊取CPU周期的處理機包括空閒的處理機和CPU負載較輕的處理機兩類。

非專用機群地理上分布於不同的所有者，由異構系統組成，大部分通過乙太網連線，適用於企業級區域網路範圍，技術難度要高於專用機群。工作站的主人與需占用工作站資源運行程式的遠程用戶之間存在著矛盾，前者希望與工作站快速互動，而後者只關心能否利用所有的共享CPU來快速運行程式。機器的所有者必須具有參加機群的動機，這意味著他們相信貢獻他們的資源是有意義的。但是，這些所有者不希望在他們工作時或他們的系統過於飽和時，受到其他干擾，一個解決的策略是允許所有者退出機群。目前，國際上正在形成一種計算資源的買賣市場，以刺激資源擁有者加入網上機群。此外，由於當前網路通信速度和質量的瓶頸所限及由通信競爭造成的網路不確定性的存在，對非專用機群技術提出了更高的要求，如對進程遷移、負載平衡等技術的需求。但此類系統最為貼近普通用戶，可以充分利用網上無窮無盡的資源，而組建投資幾乎可忽略不計。可以預見，隨著網路瓶頸問題的緩解，非專用機群必然是極有發展前途的一種計算形式。

主要套用

格線計算

格線計算或格線集群是一種與集群計算非常相關的技術。格線與傳統集群的主要差別是格線是連線一組相關並不信任的計算機，它的運作更像一個計算公共設施而不是一個獨立的計算機。還有，格線通常比集群支持更多不同類型的計算機集合。

格線計算是針對有許多獨立作業的工作任務作最佳化，在計算過程中作業間無需共享數據。格線主要服務於管理在獨立執行工作的計算機間的作業分配。資源如存儲可以被所有結點共享，但作業的中間結果不會影響在其他格線結點上作業的進展。

高性能計算集群

高性能計算集群採用將計算任務分配到集群的不同計算節點兒提高計算能力，因而主要套用在科學計算領域。比較流行的HPC採用Linux作業系統和其它一些免費軟體來完成並行運算。這一集群配置通常被稱為Beowulf集群。這類集群通常運行特定的程式以發揮HPC cluster的並行能力。這類程式一般套用特定的運行庫, 比如專為科學計算設計的MPI庫。

HPC集群特別適合於在計算中各計算節點之間發生大量數據通訊的計算作業，比如一個節點的中間結果或影響到其它節點計算結果的情況。

負載均衡集群

負載均衡集群運行時，一般通過一個或者多個前端負載均衡器，將工作負載分發到後端的一組伺服器上，從而達到整個系統的高性能和高可用性。這樣的計算機集群有時也被稱為伺服器群（Server Farm）。 一般高可用性集群和負載均衡集群會使用類似的技術，或同時具有高可用性與負載均衡的特點。

Linux虛擬伺服器（LVS）項目在Linux作業系統上提供了最常用的負載均衡軟體。