Node PBS調度管理系統

作業調度管理系統

高性能計算方法的基本原理就是將問題分為若干部分，而相連的每台計算機（稱為節點）均可同時參與問題的解決，從而顯著縮短了解決整個問題所需的計算時間。
通常，解決大型計算問題需要功能強大的計算機系統，而現在，隨著高性能計算的出現，使這一類套用從昂貴的大型外部計算機系統演變為採用商用伺服器產品和軟體的高性能計算機集群。因此，高性能計算系統已經成為解決大型問題計算機系統的發展方向。那么，什麼樣的大型問題最適合使用高性能計算系統呢？一般來說，高性能計算是為了實現下列情況下的計算系統：
▪能夠突破性能極限的計算。
▪單個高端計算機系統不能滿足其需求的計算。
▪需要通過專門的程式最佳化最大限度提高系統的I/O、計算和數據傳送性能的計算。

集群控制系統

我們知道，高性能計算系統實際上是一個計算機集群系統，它需要通過通訊和集群控制軟體將整個系統緊密聯繫在一起。同時，還要負責初始化集群節點、在所需數量的節點上安裝應用程式、並監視集群節點和互連的當前運行狀況。
目前在市場上有多開放原始碼的集群控制系統，也有許多高性能計算的用戶開發自己的控制系統來適應其特殊的套用軟體的需求。故而集群控制系統就必須具備：
一、高性能計算的互聯技術
高性能計算的互聯技術在整個系統中非常重要，因為一般的高性能計算系統都需要講幾十台甚至幾百台的計算機系統互相連線在一起，互聯繫統的性能有時會直接影響整個高性能計算系統的性能。
目前，一般的大型高性能計算系統使用Myrinet系統作為主要的數據互聯繫統，而使用百兆或千兆乙太網進行管理與控制。而在小型的高性能計算系統中，可以用直接使用千兆甚至百兆乙太網作為互聯繫統。
二、計算節點
計算節點是高性能計算系統中的單個計算機系統，是整個高性能計算系統的基礎。基於英特爾架構的伺服器系統是作為高性能計算節點的最佳選擇。應為大多數高性能計算需要多執行緒同時執行，這樣基於英特爾至強處理器的計算節點可以滿足需求。另外，大多數模擬類型程式需要進行大量浮點運算(FLOPS)，因而節點處理器支持大量浮點運算的能力就變得至關重要。當前的英特爾處理器(如英特爾至強?處理器)的處理速度已達到每秒二十億次浮點運算。這意味著由1000枚處理器組成的集群的處理能力可與世界上一些功能最強大的超級計算機相媲美，而成本卻低得多。
數據採掘則不同。根據資料庫的體系結構，這些套用對I/O的潛在要求較高。而分散式駐留記憶體資料庫例外。在該體系結構中，集群中的每個處理器都要參與一部分資料庫處理。當一個查詢請求被提交給資料庫時，它同時被提交給集群中的所有處理器。由於所有處理器都只需處理一小部分資料庫，因而解決查詢的速度要比在傳統體系結構中快得多。

高性能計算系統設計

設計一個高性能計算系統是一件複雜的系統工程，涉及從軟體到硬體的各個層面，而且每一個環節都相互關聯。因此，設計和構建一個高性能計算系統應該使用系統的設計方法，按照一定的步驟來確定整個系統中的各個部分。
這一部分，我們按照系統的設計方法來對高性能計算的各個環節的設計和設備選型給出相應的建議。
判斷套用的特性
對於一個高性能計算的套用，我們可以從如下的幾個方面來確定其類型：
一、套用的粒度
由於高性能計算的套用需要在多個計算節點上同時運行，則在各個節點計算的同時，還需要相互間的通訊。所謂套用的粒度，是指在一個高性能計算套用中計算所花的時間與通訊所花的時間之比。這是高性能計算套用的一個重要的特徵之一。
很顯然，不同的套用其粒度也不一樣。例如一個生成動畫電影的高性能計算套用，用於每幅畫面可以由任何一個計算檢點獨立計算生成，節點間的通訊量非常少，因此，這是一個粒度非常大的套用。反之，對於一個進行汽車模擬碰撞試驗的高性能計算的套用，由於在每個節點上計算的任何部件的運動，都會對其它的部件的狀態有影響，因而節點間的相互通訊會非常多，這類套用就是小粒度的套用。
套用力度的大小將直接影響對計算節點和互聯設備的選擇，從而影響對整個項目的投資。一般來講，粒度大的套用可以使用相對低速互聯技術（如百兆乙太網），從而降低項目的費用。因而，在套用的開發和最佳化過程中，應該儘量加大整個套用的粒度，減少不必要的節點間相互通訊。
二、套用的計算特性
高性能計算的套用的目的是通過計算來解決某個特定的問題，但不同的套用所需要的計算特性也不一樣，一般的高性能計算系統套用的計算特性主要分為入下三種類型：
▪多媒體運算
主要使用整型和雙精度運算。例如用於圖形圖像處理和三維圖像生成的高性能計算系統就屬於多媒體運算系統。在這種情況下，計算節點的多媒體計算功能非常重要。比如英特爾至強處理器所帶的SSE和SSE2指令就非常適合這種套用。
▪科學計算
主要使用浮點運算功能，這也是目前高性能計算系統的最主要套用領域。像天氣預報和石油勘探等高性能計算系統都屬於這一類。
▪資料庫套用
主要使用邏輯計算和I/O操作。現在的資料庫集群系統和格線資料庫系統就屬於這類套用。它需要計算節點有很強的I/O處理能力，同時，整個高性能計算系統也應該具有足夠的外接存儲空間。
在設計高性能計算系統的過程中，根據不同的計算類型來確定相應的計算節點和系統配置，從而使系統可以滿足套用的需求同時達到最佳的系統性價比。
三、套用的時效性
一個大型問題之所以需要用高性能計算系統來解決，可能主要是因為如下兩種情況：一是因為問題無法在單個節點上計算完成；另一個是因為在一個節點上無法在規定的時間內完成。這裡就關係到套用的時效性了。一般來講，套用的時效性就是指一個高性能計算的套用需要在多長的時間內計算完成。它是確定高性能計算系統規模的重要參數之一。
我們知道，天氣預報系統的計算就是一個時效性很強的高性能計算套用，因為在得到測量的數據後，我們必須在最快的時間內計算出相應的結果，以便相關人員及時發出當天的天氣預報。
對於一個時效性很強的套用，在設計高性能計算系統時，一定要以滿足套用的計算速度為第一目標，一定要使高性能計算系統在規定的時間內完成計算。否則，該系統就沒有意義。而對於一個時效性不強的套用，可以考慮通過延長計算時間來減少節點和互聯繫統的配置，但也要考慮到可以容忍的時間限度和系統的可靠性等因素。特別是隨著時間的延長，整個系統中某個節點出現故障的機率會增加。
四、確定系統規模
確定高性能計算系統的規模是一個複雜的過程，一般來講，主要從以下幾個方面來考慮：
▪特定的目標：
有些高性能計算系統在設計之初就確定了系統規模，在具體設計時，可以根據系統的配置情況來計算是否達到要求。
▪套用的要求：
如上一節所講的那樣，從套用的粒度、套用的計算特點和套用對實效性的要求來確定套用的規模。
▪系統投資：
從某些方面來講，系統的投資與系統的規模成正比，也就是說系統投資決定系統規模。但為了達到最佳的投資回報比可以根據系統套用的計算特點來選擇合適的計算節點和互聯設備，從而在投資不變的情況下獲得最佳性能。
現在，我們通常使用每秒的浮點運算次數來表示一個高性能計算系統的性能。通常，這個性能標準可以用LinpackHPC的基準測試來獲得。由於在系統設計的過程中，我們根本無法測試整個系統。那么，如何來估算一個高性能計算系統的性能就顯得十分重要。
從理論上講，一個高性能的計算系統的性能在理想的狀況下為系統中所有的處理器的計算能力的總和。例如一個高性能計算系統使用雙路的英特爾至強處理器為節點。而單個至強處理器的Linpack值達約達到2Gflops，即每秒20億次浮點運算。則一個有256個雙路英特爾至強處理器的高性能計算系統的理論性能可以達到256X2X2=1024GFlops，也就是每秒一萬億次浮點運算。如果使用四路英特爾Itanium2系統為計算節點，由於每個Itanium2處理器的Linpack值達約達到3.2Gflops，即每秒32億次浮點運算，則在理想的情況下，80個節點就可以達到每秒一萬億次浮點運算的性能。
80*4*3.2=1024GFlops
當然，以上的情況是在理想的狀況下達到的。在具體實施時，需要根據互聯設備的性能、應用程式的特點來集體考慮。

Node PBS調度管理系統

基本介紹

作業調度管理系統

集群控制系統

高性能計算系統設計

NodePBS調度管理系統

算法：

原則：

目標：

功能：

使用步驟：

特點：

結語

相關詞條

熱門詞條