本書圍繞數據中心IT基礎資源最佳化調度管理關鍵問題，介紹了雲計算的發展背景和挑戰性問題、主要服務提供商的數據中心解決方案和國內外研究現狀，對資源最佳化調度管理領域內的主要挑戰性問題進行了深入分析和探索，特別是實時負載均衡調度、能耗敏感調度、計算資源最大化利潤調度、雲工作流和數據中心模擬系統設計套用等關鍵內容，希望為讀者深入了解相關知識和有興趣的研究人員提供一些借鑑。
基本介紹
- 書名：數據中心資源最佳化調度:理論與實踐
- 出版社：電子工業出版社
- 頁數：285頁
- 開本：16
- 品牌：電子工業出版社
- 作者：田文洪 趙勇
- 出版日期：2014年3月1日
- 語種：簡體中文
- ISBN：7121223376
基本介紹,內容簡介,作者簡介,圖書目錄,序言,
基本介紹
內容簡介
《數據中心資源最佳化調度:理論與實踐》可作為相關領域研究人員的參考資料，也可作為高年級本科生和低年級研究生教材。
作者簡介
田文洪, 電子科技大學計算機學院副教授，研究方向主要集中在雲計算網路動態設計和資源管理調度、物聯網管理系統等領域，擅長以簡潔創新的方式解決複雜網路問題，特別是在雲計算、高性能資源調度管理、綠色節能調度方面他積累了豐富的經驗，具有很深的造詣, 基本達到國際先進水平。
圖書目錄
第1章雲計算概述1
1.1雲計算發展背景2
1.2雲計算是集大成者4
1.2.1並行計算5
1.2.2格線計算6
1.2.3效用計算6
1.2.4普適計算7
1.2.5SaaS8
1.2.6虛擬化技術8
1.3雲計算的驅動因素9
1.3.1雲計算發展現狀和趨勢11
1.3.2雲計算套用初步分類14
1.4雲計算產業鏈中的不同角色16
1.5雲計算的主要特徵和技術挑戰17
1.5.1雲計算的主要特徵17
1.5.2挑戰性問題18
1.6小結19
思考題19
參考文獻20
第2章數據中心21
2.1數據中心概述22
2.1.1數據中心簡介22
2.1.2數據中心的需求和挑戰24
2.2雲計算數據中心資源調度需求分析25
2.2.1技術需求25
2.2.2技術目標26
2.3雲計算數據中心資源調度研究進展26
2.4雲計算數據中心資源調度方案分析27
2.4.1Google解決方案27
2.4.2Amazon解決方案28
2.4.3IBM解決方案30
2.4.4HP解決方案32
2.4.5VMware解決方案33
2.4.6其他廠家解決方案35
2.5雲計算數據中心資源調度標準進展37
2.6雲資源管理調度關鍵技術及研究熱點38
2.7小結41
思考題41
參考文獻42
第3章大數據處理45
3.1大數據的發展背景及定義46
3.2大數據問題49
3.2.1速度方面的問題50
3.2.2種類及架構問題51
3.2.3體量及靈活性問題51
3.2.4成本問題52
3.2.5價值挖掘問題53
3.2.6存儲及安全問題53
3.2.7互聯互通與數據共享問題55
3.3大數據與雲計算的辯證關係56
3.4大數據技術57
3.4.1基礎架構支持59
3.4.2數據採集61
3.4.3數據存儲62
3.4.4數據計算66
3.4.5數據展現與互動74
3.5小結76
思考題77
參考文獻77
第4章雲資源監控管理80
4.1雲數據中心監控系統概述81
4.1.1研究背景81
4.1.2雲數據中心資源監控的方式83
4.1.3虛擬機監控簡介83
4.2雲數據中心監控系統的相關研究86
4.2.1雲數據中心監控系統的功能需求分析86
4.2.2實現雲監控系統的關鍵技術89
4.3雲數據中心計算資源監控系統的設計與實現93
4.3.1雲數據中心計算資源監控系統的設計93
4.3.2雲數據中心計算資源監控系統的實現98
4.4雲數據中心監控系統數據分析104
4.4.1用戶請求展示105
4.4.2用排隊論分析用戶請求106
4.4.3雲數據中心的功耗計算106
4.5雲資源監控系統的性能分析與評價110
4.6小結116
思考題117
參考文獻117
第5章實時負載均衡調度120
5.1引言121
5.2相關工作121
5.2.1示例說明122
5.2.2問題描述和模型建立123
5.2.3負載均衡調度算法的度量指標125
5.3OLRSA算法127
5.4算法性能比較130
5.4.1模擬設定130
5.4.2模擬仿真的結果和分析131
5.5小結136
思考題137
參考文獻137
第6章計算資源節能調度概述139
6.1數據中心節能研究背景140
6.1.1國內外研究背景介紹142
6.1.2國內外主要參考文獻143
6.2數據中心能耗模型145
6.2.1數據中心調度系統145
6.2.2數據中心能耗評估146
6.2.3伺服器能耗模型148
6.3節能問題描述與建模149
6.3.1前置條件149
6.3.2主要節能調度算法分類151
6.4離線調度算法152
6.4.1同構且請求容量為單位容量152
6.4.2同構且請求容量為任意容量153
6.5線上調度算法154
6.6隨機調度算法154
6.6.1M/M/1排隊模型154
6.6.2M/M/k排隊模型155
6.7節能調度算法評估155
6.7.1理論分析證明155
6.7.2模擬對比分析156
6.8小結164
思考題165
參考文獻166
第7章離線和線上節能調度算法169
7.1離線節能調度算法170
7.1.1MFFDE算法分析170
7.1.2MFFDE算法的近似度證明171
7.2線上節能調度算法174
7.2.1BFF算法分析與近似度證明174
7.2.2BFF算法性能評估179
7.3MinTBT問題及節能調度算法在數據中心節能中的套用183
7.4小結184
思考題184
參考文獻184
第8章Hadoop集群節能調度管理186
8.1Hadoop介紹187
8.1.1Hadoop簡介188
8.1.2Hadoop框架189
8.1.3Hadoop運行流程191
8.2新型動態負反饋調度算法192
8.2.1Hadoop集群動態管理設計特點192
8.2.2負載模型設計193
8.2.3DANF算法設計與實現194
8.2.4動態調度模組算法偽代碼196
8.3節能調度系統設計197
8.3.1系統總體架構197
8.3.2模組詳細設計198
8.4系統測試和分析201
8.4.1測試環境201
8.4.2程式功能性測試201
8.4.3性能測試202
8.5Hadoop其他節能方式206
8.6小結207
思考題207
參考文獻207
第9章計算資源的利潤最大化問題209
9.1計算資源作為服務的利潤最大化210
9.1.1雲計算與數據中心210
9.1.2數據中心的發展213
9.2傳統的最大化利潤解決方法214
9.2.1經典的0—1背包問題214
9.2.2動態規劃法214
9.2.3貪婪算法215
9.2.4回溯法215
9.3區間調度問題介紹216
9.4帶權區間調度217
9.4.1傳統的帶權區間調度問題217
9.4.2WIS中的可相互兼容區間218
9.4.3帶權區間調度問題218
9.5考慮容量共享的帶權區間調度220
9.5.1考慮容量共享的帶權區間調度問題220
9.5.2WISWCS問題中可相互共享兼容的區間220
9.5.3WISWCS問題中的容量分割220
9.5.4WISWCS問題中的權值與容量成比例221
9.5.5最大化利潤的公式222
9.5.6一種考慮容量共享的準確調度算法223
9.5.7用SAWIS算法找出最佳子集224
9.6可共享容量調度問題的套用226
9.6.1雲計算中的虛擬機調度226
9.6.2通信鏈路共享226
9.6.3性能評估227
9.7相關工作228
9.8小結228
思考題229
參考文獻229
第10章雲工作流套用230
10.1科學計算雲平台研究背景231
10.2工作流和雲平台集成的相關研究工作233
10.3科學計算雲平台的結構化方案234
10.3.1需求234
10.3.2架構236
10.3.3集成選項237
10.3.4實現細節240
10.4科學計算雲平台集群配置和產品部署244
10.4.1MODIS圖片處理工作流244
10.4.2產品部署248
10.5小結250
思考題250
參考文獻250
第11章數據中心調度模擬系統255
11.1引言256
11.2CloudSched的架構和主要特點257
11.2.1數據中心的建模260
11.2.2虛擬機分配的建模260
11.2.3用戶請求建模261
11.3不同調度算法的性能度量262
11.3.1多維度負載均衡的度量指標262
11.3.2節能算法的度量指標264
11.3.3最大化資源利用率的度量指標265
11.3.4置信區間的度量265
11.4CloudSched的設計與實現266
11.4.1數據中心的調度過程266
11.4.2調度算法——以LIF算法為例266
11.5性能評估269
11.5.1負載均衡比較270
11.5.2節能效果比較271
11.6小結273
參考文獻273
第12章總結與展望276
12.1動態多層次分散式資源監控277
12.2動態綜合調度策略和算法研發278
12.3多數據中心（多調度域）的調度策略和算法動態可選擇280
12.4監控、調度和部署等功能融合282
12.5綠色節能數據中心的綜合解決方案283
12.6從基礎資源調度拓展到套用任務調度284
1.1雲計算發展背景2
1.2雲計算是集大成者4
1.2.1並行計算5
1.2.2格線計算6
1.2.3效用計算6
1.2.4普適計算7
1.2.5SaaS8
1.2.6虛擬化技術8
1.3雲計算的驅動因素9
1.3.1雲計算發展現狀和趨勢11
1.3.2雲計算套用初步分類14
1.4雲計算產業鏈中的不同角色16
1.5雲計算的主要特徵和技術挑戰17
1.5.1雲計算的主要特徵17
1.5.2挑戰性問題18
1.6小結19
思考題19
參考文獻20
第2章數據中心21
2.1數據中心概述22
2.1.1數據中心簡介22
2.1.2數據中心的需求和挑戰24
2.2雲計算數據中心資源調度需求分析25
2.2.1技術需求25
2.2.2技術目標26
2.3雲計算數據中心資源調度研究進展26
2.4雲計算數據中心資源調度方案分析27
2.4.1Google解決方案27
2.4.2Amazon解決方案28
2.4.3IBM解決方案30
2.4.4HP解決方案32
2.4.5VMware解決方案33
2.4.6其他廠家解決方案35
2.5雲計算數據中心資源調度標準進展37
2.6雲資源管理調度關鍵技術及研究熱點38
2.7小結41
思考題41
參考文獻42
第3章大數據處理45
3.1大數據的發展背景及定義46
3.2大數據問題49
3.2.1速度方面的問題50
3.2.2種類及架構問題51
3.2.3體量及靈活性問題51
3.2.4成本問題52
3.2.5價值挖掘問題53
3.2.6存儲及安全問題53
3.2.7互聯互通與數據共享問題55
3.3大數據與雲計算的辯證關係56
3.4大數據技術57
3.4.1基礎架構支持59
3.4.2數據採集61
3.4.3數據存儲62
3.4.4數據計算66
3.4.5數據展現與互動74
3.5小結76
思考題77
參考文獻77
第4章雲資源監控管理80
4.1雲數據中心監控系統概述81
4.1.1研究背景81
4.1.2雲數據中心資源監控的方式83
4.1.3虛擬機監控簡介83
4.2雲數據中心監控系統的相關研究86
4.2.1雲數據中心監控系統的功能需求分析86
4.2.2實現雲監控系統的關鍵技術89
4.3雲數據中心計算資源監控系統的設計與實現93
4.3.1雲數據中心計算資源監控系統的設計93
4.3.2雲數據中心計算資源監控系統的實現98
4.4雲數據中心監控系統數據分析104
4.4.1用戶請求展示105
4.4.2用排隊論分析用戶請求106
4.4.3雲數據中心的功耗計算106
4.5雲資源監控系統的性能分析與評價110
4.6小結116
思考題117
參考文獻117
第5章實時負載均衡調度120
5.1引言121
5.2相關工作121
5.2.1示例說明122
5.2.2問題描述和模型建立123
5.2.3負載均衡調度算法的度量指標125
5.3OLRSA算法127
5.4算法性能比較130
5.4.1模擬設定130
5.4.2模擬仿真的結果和分析131
5.5小結136
思考題137
參考文獻137
第6章計算資源節能調度概述139
6.1數據中心節能研究背景140
6.1.1國內外研究背景介紹142
6.1.2國內外主要參考文獻143
6.2數據中心能耗模型145
6.2.1數據中心調度系統145
6.2.2數據中心能耗評估146
6.2.3伺服器能耗模型148
6.3節能問題描述與建模149
6.3.1前置條件149
6.3.2主要節能調度算法分類151
6.4離線調度算法152
6.4.1同構且請求容量為單位容量152
6.4.2同構且請求容量為任意容量153
6.5線上調度算法154
6.6隨機調度算法154
6.6.1M/M/1排隊模型154
6.6.2M/M/k排隊模型155
6.7節能調度算法評估155
6.7.1理論分析證明155
6.7.2模擬對比分析156
6.8小結164
思考題165
參考文獻166
第7章離線和線上節能調度算法169
7.1離線節能調度算法170
7.1.1MFFDE算法分析170
7.1.2MFFDE算法的近似度證明171
7.2線上節能調度算法174
7.2.1BFF算法分析與近似度證明174
7.2.2BFF算法性能評估179
7.3MinTBT問題及節能調度算法在數據中心節能中的套用183
7.4小結184
思考題184
參考文獻184
第8章Hadoop集群節能調度管理186
8.1Hadoop介紹187
8.1.1Hadoop簡介188
8.1.2Hadoop框架189
8.1.3Hadoop運行流程191
8.2新型動態負反饋調度算法192
8.2.1Hadoop集群動態管理設計特點192
8.2.2負載模型設計193
8.2.3DANF算法設計與實現194
8.2.4動態調度模組算法偽代碼196
8.3節能調度系統設計197
8.3.1系統總體架構197
8.3.2模組詳細設計198
8.4系統測試和分析201
8.4.1測試環境201
8.4.2程式功能性測試201
8.4.3性能測試202
8.5Hadoop其他節能方式206
8.6小結207
思考題207
參考文獻207
第9章計算資源的利潤最大化問題209
9.1計算資源作為服務的利潤最大化210
9.1.1雲計算與數據中心210
9.1.2數據中心的發展213
9.2傳統的最大化利潤解決方法214
9.2.1經典的0—1背包問題214
9.2.2動態規劃法214
9.2.3貪婪算法215
9.2.4回溯法215
9.3區間調度問題介紹216
9.4帶權區間調度217
9.4.1傳統的帶權區間調度問題217
9.4.2WIS中的可相互兼容區間218
9.4.3帶權區間調度問題218
9.5考慮容量共享的帶權區間調度220
9.5.1考慮容量共享的帶權區間調度問題220
9.5.2WISWCS問題中可相互共享兼容的區間220
9.5.3WISWCS問題中的容量分割220
9.5.4WISWCS問題中的權值與容量成比例221
9.5.5最大化利潤的公式222
9.5.6一種考慮容量共享的準確調度算法223
9.5.7用SAWIS算法找出最佳子集224
9.6可共享容量調度問題的套用226
9.6.1雲計算中的虛擬機調度226
9.6.2通信鏈路共享226
9.6.3性能評估227
9.7相關工作228
9.8小結228
思考題229
參考文獻229
第10章雲工作流套用230
10.1科學計算雲平台研究背景231
10.2工作流和雲平台集成的相關研究工作233
10.3科學計算雲平台的結構化方案234
10.3.1需求234
10.3.2架構236
10.3.3集成選項237
10.3.4實現細節240
10.4科學計算雲平台集群配置和產品部署244
10.4.1MODIS圖片處理工作流244
10.4.2產品部署248
10.5小結250
思考題250
參考文獻250
第11章數據中心調度模擬系統255
11.1引言256
11.2CloudSched的架構和主要特點257
11.2.1數據中心的建模260
11.2.2虛擬機分配的建模260
11.2.3用戶請求建模261
11.3不同調度算法的性能度量262
11.3.1多維度負載均衡的度量指標262
11.3.2節能算法的度量指標264
11.3.3最大化資源利用率的度量指標265
11.3.4置信區間的度量265
11.4CloudSched的設計與實現266
11.4.1數據中心的調度過程266
11.4.2調度算法——以LIF算法為例266
11.5性能評估269
11.5.1負載均衡比較270
11.5.2節能效果比較271
11.6小結273
參考文獻273
第12章總結與展望276
12.1動態多層次分散式資源監控277
12.2動態綜合調度策略和算法研發278
12.3多數據中心（多調度域）的調度策略和算法動態可選擇280
12.4監控、調度和部署等功能融合282
12.5綠色節能數據中心的綜合解決方案283
12.6從基礎資源調度拓展到套用任務調度284
序言
前 言
“經過精細規劃的最佳化理論設計的實踐比隨意性或一般性實施在性能、節能以及提高運營利潤等方面可體現高出多個量級的效果，並不斷接近或達到最最佳化結果。”
雲計算是一種計算模型和服務模式，它將計算任務分布在大量計算機構成的不同數據中心，使各種套用系統能夠根據需要獲取計算能力、存儲空間和信息服務。提供資源的網路或數據中心被稱為“雲”。業界研究者將雲計算列為水、電、氣、油之外的第五種公用資源（The Fifth Utility）。繼個人計算機變革、網際網路變革之後，雲計算被看做第三次IT浪潮，是世界和中國戰略性新興產業的重要組成部分，它將帶來生活、生產方式和商業模式的深刻改變，已成為當前全社會關注的熱點。
雲計算目前已經廣泛套用於網路搜尋、科學計算、虛擬環境、能源和生物信息等領域的日常業務和創新性探索。IDC預測，未來4年中國雲計算將產生1.1萬億元的市場。賽迪顧問2010年年底的《中國雲計算產業發展白皮書》預測未來3年，雲計算套用將以政府、電信、教育、醫療、金融、石油石化和電力等行業為重點，在中國市場逐步被越來越多的企業和機構採用，市場規模也將從2009年的92.23億元增長到2012年的606.78億元，年均複合增長率達87.4%。該報告預計中國雲計算產業發展將分為準備階段（2007—2010年）、起飛階段（2011—2015年）和成熟階段（2015年以後）。
不少研究預言“將來的核心競爭在數據中心”。數據中心是容納計算設備資源的集中之地，同時負責對計算設備的能源提供和空調維護等。數據中心可以單獨建設，也可以置於其他建築之內，還可以是分布在不同地理位置的多個系統。雲資源匯聚在一起，通過多租戶模式服務多個消費者。在物理上，資源以分散式的共享方式存在，但最終在邏輯上以單一整體的形式呈現給用戶。資源種類很多，分類角度也不一樣，本書所涉及的資源主要包括以下幾類。
物理伺服器：構成數據中心的物理計算設備，每個物理伺服器可以提供多個虛擬機，每個物理伺服器可以由多個CPU、記憶體、硬碟、網卡等構成。
物理集群：由多個物理伺服器、必要的網路和存儲設施構成的物理伺服器組。
虛擬機：通過虛擬化軟體在物理伺服器上生成的虛擬計算平台，可以由多個虛擬化CPU、硬碟、網卡等構成。
虛擬集群：由多個虛擬機、必要的網路和存儲設施構成的虛擬機組。
共享存儲：為數據中心的計算資源提供大容量存儲，可以被所有設備和用戶共享。
以上數據中心資源在本書中統稱為基礎資源，簡稱雲資源。
雲資源最佳化管理調度技術是雲計算套用的核心，是雲計算得以大規模套用和提高系統性能、兼顧節能減排及運營成本等方面的關鍵技術。先進的動態資源調度管理，對於提高學校、政府、研究機構和企業計算資源的利用效率，節約能源，提高資源共享和降低運營成本都具有極大意義，值得深入系統地學習和研究。
資源管理調度是將資源從資源提供方分配給用戶的一個過程。對於資源過載（需求大於系統容量），以及需求與容量隨著時間的推移而動態變化的事實，通過最佳化資源調度管理，可以動態地重新分配資源，以便更高效地使用可用資源。業界一般將調度分為作業級調度和設施級調度。作業級調度是指針對具體的運行程式，系統將作業具體分配到哪些資源上運行的問題。例如，一些獨立的需要較多計算資源和較長運行時間的程式，或者高性能並行處理程式，這些程式往往需要較大規模的高性能計算資源（如雲計算）才能很快完成。設施級調度主要指將底層資源作為一種基礎設施服務（Infrastructure as a Service，IaaS）提供給用戶，用戶依據實際情況使用這些資源。例如，數據中心的物理伺服器（含CPU、記憶體、網路頻寬等）、虛擬機（含虛擬化的CPU、記憶體、網路頻寬等）及虛擬集群都屬於底層基礎資源。
本書側重於設施級（也稱套用級）調度，同時兼顧作業級調度（如MapReduce多任務），並介紹資源動態最佳化管理與調度。如果把數據中心作為一個整體與人體比較，資源最佳化管理調度類似人的大腦，是最為核心的功能之一，具有極大的理論意義和實用價值。另外，資源監控類似人的眼睛，資源部署類似人的四肢。目前的數據中心管理與調度大多僅實現了簡單的初級功能，還有很多問題亟須深入系統解決。針對基礎資源最佳化管理調度，主要回答以下三大基本問題。
最佳化目標問題：將所需的虛擬機（或虛擬集群）配置在某個數據中心物理伺服器（或物理集群）的具體最佳化函式（目標）是什麼？如何建立高效的數學理論最佳化模型？這涉及巨觀的管理策略制定。
最佳化分配問題：具體在哪個數據中心的哪個物理伺服器上（或物理集群）分配所需的虛擬機（或虛擬集群）以實現最佳化目標？滿足的具體前提和限制條件有哪些？針對不同的最佳化目標，業界最佳化實踐方案有哪些？
實踐性能問題：針對理論最佳化目標與模型，業界最佳化管理調度方案的性能對比效果如何？如何選擇適合不同目標的具體方法？
“沒有理論的實踐是盲目的，沒有實踐的理論是蒼白的。”從最佳化和長遠的角度來看，雲計算的建設需要堅實的理論與實踐經驗的結合，我們發現經過精細規劃的最佳化理論設計的實踐比隨意性或一般性實施在性能、節能以及提高運營利潤等方面可體現高出多個量級的效果，並不斷接近或達到最最佳化結果。經過多年的數據中心建設的實踐和理論探索，我們在本書中提出並總結相關領域的最佳化理論模型和實踐方法，在解決基本問題的同時，實現動態調度而不是靜態預先完全設定相關參數，兼顧資源（CPU、存儲、網路等）的性能、熱耗、利用率等特性，本書稱為資源的動態綜合調度技術問題。
數據中心需要處理物理和虛擬資源的動態結合的最佳化管理調度這一新問題，以實現高性能、節能減排及降低投資等目標。當前數據中心的資源調度不少仍然沿襲傳統方法，較為簡單化，難以滿足以上目標的精細化和動態變化的要求。數據中心調度面臨的挑戰性問題包括：在考慮配置動態可調虛擬機的分配和遷移以及物理機綜合性能，同時兼顧CPU、存儲、網路等資源因素而非單一因素的情況下,如何解決用戶需求不一致和資源規格不一致造成的系統性能不平衡、能耗效率低下及成本過高等問題。
本書圍繞以上關鍵問題展開，介紹了主要雲服務提供商的相關解決方案和國內外研究現狀，以及對以上挑戰性問題的理論與實踐探索，希望為讀者深入了解相關知識內容和有興趣的研究人員提供一些借鑑。
本書各章之間的關係緊密圍繞雲資源最佳化管理調度展開，如下圖所示。本書主要內容包括雲計算概述（第1章）、數據中心（第2章）、大數據處理（第3章）、雲資源監控管理（第4章）、實時負載均衡調度（第5章）、計算資源節能調度概述（第6章）、離線和線上節能調度算法（第7章）、Hadoop集群節能調度管理（第8章）、計算資源的利潤最大化問題（第9章）、雲工作流套用（第10章）、數據中心調度模擬系統（第11章），以及總結與展望（第12章）。本書可作為高年級本科生和研究生教材，也可作為相關專業研究人員的參考資料。
本書是編者對以上內容大量理論知識與實踐經驗的積累結果，因時間倉促，書中難免存在不妥之處，歡迎讀者指正，請發郵件至[email protected]。
編 者
2013年11月
“經過精細規劃的最佳化理論設計的實踐比隨意性或一般性實施在性能、節能以及提高運營利潤等方面可體現高出多個量級的效果，並不斷接近或達到最最佳化結果。”
雲計算是一種計算模型和服務模式，它將計算任務分布在大量計算機構成的不同數據中心，使各種套用系統能夠根據需要獲取計算能力、存儲空間和信息服務。提供資源的網路或數據中心被稱為“雲”。業界研究者將雲計算列為水、電、氣、油之外的第五種公用資源（The Fifth Utility）。繼個人計算機變革、網際網路變革之後，雲計算被看做第三次IT浪潮，是世界和中國戰略性新興產業的重要組成部分，它將帶來生活、生產方式和商業模式的深刻改變，已成為當前全社會關注的熱點。
雲計算目前已經廣泛套用於網路搜尋、科學計算、虛擬環境、能源和生物信息等領域的日常業務和創新性探索。IDC預測，未來4年中國雲計算將產生1.1萬億元的市場。賽迪顧問2010年年底的《中國雲計算產業發展白皮書》預測未來3年，雲計算套用將以政府、電信、教育、醫療、金融、石油石化和電力等行業為重點，在中國市場逐步被越來越多的企業和機構採用，市場規模也將從2009年的92.23億元增長到2012年的606.78億元，年均複合增長率達87.4%。該報告預計中國雲計算產業發展將分為準備階段（2007—2010年）、起飛階段（2011—2015年）和成熟階段（2015年以後）。
不少研究預言“將來的核心競爭在數據中心”。數據中心是容納計算設備資源的集中之地，同時負責對計算設備的能源提供和空調維護等。數據中心可以單獨建設，也可以置於其他建築之內，還可以是分布在不同地理位置的多個系統。雲資源匯聚在一起，通過多租戶模式服務多個消費者。在物理上，資源以分散式的共享方式存在，但最終在邏輯上以單一整體的形式呈現給用戶。資源種類很多，分類角度也不一樣，本書所涉及的資源主要包括以下幾類。
物理伺服器：構成數據中心的物理計算設備，每個物理伺服器可以提供多個虛擬機，每個物理伺服器可以由多個CPU、記憶體、硬碟、網卡等構成。
物理集群：由多個物理伺服器、必要的網路和存儲設施構成的物理伺服器組。
虛擬機：通過虛擬化軟體在物理伺服器上生成的虛擬計算平台，可以由多個虛擬化CPU、硬碟、網卡等構成。
虛擬集群：由多個虛擬機、必要的網路和存儲設施構成的虛擬機組。
共享存儲：為數據中心的計算資源提供大容量存儲，可以被所有設備和用戶共享。
以上數據中心資源在本書中統稱為基礎資源，簡稱雲資源。
雲資源最佳化管理調度技術是雲計算套用的核心，是雲計算得以大規模套用和提高系統性能、兼顧節能減排及運營成本等方面的關鍵技術。先進的動態資源調度管理，對於提高學校、政府、研究機構和企業計算資源的利用效率，節約能源，提高資源共享和降低運營成本都具有極大意義，值得深入系統地學習和研究。
資源管理調度是將資源從資源提供方分配給用戶的一個過程。對於資源過載（需求大於系統容量），以及需求與容量隨著時間的推移而動態變化的事實，通過最佳化資源調度管理，可以動態地重新分配資源，以便更高效地使用可用資源。業界一般將調度分為作業級調度和設施級調度。作業級調度是指針對具體的運行程式，系統將作業具體分配到哪些資源上運行的問題。例如，一些獨立的需要較多計算資源和較長運行時間的程式，或者高性能並行處理程式，這些程式往往需要較大規模的高性能計算資源（如雲計算）才能很快完成。設施級調度主要指將底層資源作為一種基礎設施服務（Infrastructure as a Service，IaaS）提供給用戶，用戶依據實際情況使用這些資源。例如，數據中心的物理伺服器（含CPU、記憶體、網路頻寬等）、虛擬機（含虛擬化的CPU、記憶體、網路頻寬等）及虛擬集群都屬於底層基礎資源。
本書側重於設施級（也稱套用級）調度，同時兼顧作業級調度（如MapReduce多任務），並介紹資源動態最佳化管理與調度。如果把數據中心作為一個整體與人體比較，資源最佳化管理調度類似人的大腦，是最為核心的功能之一，具有極大的理論意義和實用價值。另外，資源監控類似人的眼睛，資源部署類似人的四肢。目前的數據中心管理與調度大多僅實現了簡單的初級功能，還有很多問題亟須深入系統解決。針對基礎資源最佳化管理調度，主要回答以下三大基本問題。
最佳化目標問題：將所需的虛擬機（或虛擬集群）配置在某個數據中心物理伺服器（或物理集群）的具體最佳化函式（目標）是什麼？如何建立高效的數學理論最佳化模型？這涉及巨觀的管理策略制定。
最佳化分配問題：具體在哪個數據中心的哪個物理伺服器上（或物理集群）分配所需的虛擬機（或虛擬集群）以實現最佳化目標？滿足的具體前提和限制條件有哪些？針對不同的最佳化目標，業界最佳化實踐方案有哪些？
實踐性能問題：針對理論最佳化目標與模型，業界最佳化管理調度方案的性能對比效果如何？如何選擇適合不同目標的具體方法？
“沒有理論的實踐是盲目的，沒有實踐的理論是蒼白的。”從最佳化和長遠的角度來看，雲計算的建設需要堅實的理論與實踐經驗的結合，我們發現經過精細規劃的最佳化理論設計的實踐比隨意性或一般性實施在性能、節能以及提高運營利潤等方面可體現高出多個量級的效果，並不斷接近或達到最最佳化結果。經過多年的數據中心建設的實踐和理論探索，我們在本書中提出並總結相關領域的最佳化理論模型和實踐方法，在解決基本問題的同時，實現動態調度而不是靜態預先完全設定相關參數，兼顧資源（CPU、存儲、網路等）的性能、熱耗、利用率等特性，本書稱為資源的動態綜合調度技術問題。
數據中心需要處理物理和虛擬資源的動態結合的最佳化管理調度這一新問題，以實現高性能、節能減排及降低投資等目標。當前數據中心的資源調度不少仍然沿襲傳統方法，較為簡單化，難以滿足以上目標的精細化和動態變化的要求。數據中心調度面臨的挑戰性問題包括：在考慮配置動態可調虛擬機的分配和遷移以及物理機綜合性能，同時兼顧CPU、存儲、網路等資源因素而非單一因素的情況下,如何解決用戶需求不一致和資源規格不一致造成的系統性能不平衡、能耗效率低下及成本過高等問題。
本書圍繞以上關鍵問題展開，介紹了主要雲服務提供商的相關解決方案和國內外研究現狀，以及對以上挑戰性問題的理論與實踐探索，希望為讀者深入了解相關知識內容和有興趣的研究人員提供一些借鑑。
本書各章之間的關係緊密圍繞雲資源最佳化管理調度展開，如下圖所示。本書主要內容包括雲計算概述（第1章）、數據中心（第2章）、大數據處理（第3章）、雲資源監控管理（第4章）、實時負載均衡調度（第5章）、計算資源節能調度概述（第6章）、離線和線上節能調度算法（第7章）、Hadoop集群節能調度管理（第8章）、計算資源的利潤最大化問題（第9章）、雲工作流套用（第10章）、數據中心調度模擬系統（第11章），以及總結與展望（第12章）。本書可作為高年級本科生和研究生教材，也可作為相關專業研究人員的參考資料。
本書是編者對以上內容大量理論知識與實踐經驗的積累結果，因時間倉促，書中難免存在不妥之處，歡迎讀者指正，請發郵件至[email protected]。
編 者
2013年11月
