《雲計算與大數據技術套用》是2019年機械工業出版社出版的圖書，作者是安俊秀 、靳宇昌 。
基本介紹
- 書名：雲計算與大數據技術套用
- 作者：安俊秀 靳宇昌 等
- ISBN：978-7-111-63028-9
- 定價：45
- 出版社：機械工業出版社
- 出版時間：2019-07-24
- 裝幀：平裝
- 開本：16開
內容簡介,目錄,
內容簡介
本書全面介紹了雲計算與大數據的基礎知識和主要技術。全書共11章，主要內容包括雲計算概述、大數據技術概述、虛擬化技術、數據中心、並行計算與集群技術、雲存儲技術、OpenStack、Hadoop、Spark、Storm以及雲計算仿真，本書注重實用，實驗豐富，理論緊密聯繫實際，使讀者可以系統全面地了解雲計算與大數據技術。 本書可作為高等院校雲計算、大數據相關課程的教材，也可以作為計算機相關專業的專業課或選修課教材，同時也可以作為從事雲計算與大數據技術相關工作的人員的參考用書。
目錄
前言
第1章 雲計算概述1
1.1 什麼是雲計算1
1.1.1 雲計算的定義1
1.1.2 雲計算的概念模型2
1.1.3 雲計算的特點3
1.2 雲計算技術發展背景3
1.3 典型的雲計算基礎架構7
1.4 雲計算的主要服務模式9
1.4.1 基礎設施即服務IaaS9
1.4.2 平台即服務PaaS10
1.4.3 軟體即服務SaaS11
1.4.4 三種服務模式之間的關係12
1.5 雲計算的主要部署模式13
1.6 雲計算是商業模式的創新14
1.7 典型的雲計算產品15
1.7.1 Amazon的AWS15
1.7.2 Windows Azure Platform16
1.7.3 IBM藍雲解決方案17
1.7.4 阿里雲18
1.8 雲計算技術的新發展20
1.9 我國的雲計算產業現狀23
1.9.1 政府推動雲計算產業發展23
1.9.2 我國雲計算產業高速發展24
習題25
第2章 大數據技術概述26
2.1 大數據技術的產生26
2.1.1 大數據的基本概念26
2.1.2 大數據產生的原因26
2.1.3 大數據概念的提出28
2.1.4 第四範式——大數據對科學研究產生的影響30
2.1.5 雲計算與大數據的關係31
2.2 大數據的4V特徵31
2.3 大數據的主要套用及行業推動力量32
2.3.1 大數據的主要套用32
2.3.2 企業推動大數據行業發展32
2.3.3 我國政府推動大數據行業發展33
2.4 大數據的關鍵技術34
2.5 典型的大數據計算架構35
習題35
第3章 虛擬化技術36
3.1 虛擬化技術簡介36
3.1.1 虛擬化技術的概念36
3.1.2 虛擬化技術的分類38
3.1.3 虛擬化技術的優勢和劣勢42
3.1.4 虛擬化技術與雲計算43
3.2 虛擬化技術原理43
3.2.1 虛擬機技術原理43
3.2.2 CPU虛擬化原理44
3.2.3 記憶體虛擬化原理46
3.2.4 網路虛擬化原理47
3.3 常見的虛擬化技術解決方案47
3.3.1 OpenStack47
3.3.2 KVM48
3.3.3 Hyper-V49
3.3.4 VMware49
3.3.5 Xen50
3.3.6 Docker51
3.4 常見虛擬化技術的套用實踐52
3.4.1 虛擬化環境的搭建53
3.4.2 克隆虛擬機54
3.4.3 虛擬機做快照56
習題59
第4章 數據中心60
4.1 數據中心的概念60
4.1.1 數據中心的定義、作用及分類60
4.1.2 數據中心的發展歷程61
4.1.3 數據中心的組成及建設原則65
4.1.4 雲計算、大數據時代的數據中心發展趨勢66
4.2 數據中心的基本單元——伺服器66
4.3 數據中心選址69
4.4 數據中心的能耗69
4.4.1 數據中心能耗評估70
4.4.2 數據中心的主要節能措施71
習題72
第5章 並行計算與集群技術73
5.1 並行計算概述73
5.1.1 並行計算的概念73
5.1.2 並行計算的層次75
5.1.3 並行計算機的發展75
5.1.4 並行計算與分散式計算77
5.1.5 並行計算與雲計算78
5.2 雲計算基礎架構——集群技術79
5.2.1 集群的基本概念79
5.2.2 集群系統的分類80
5.2.3 集群檔案系統80
5.3 並行計算的分類81
5.3.1 按Flynn分類81
5.3.2 按套用的計算特徵分類82
5.3.3 按結構模型分類83
5.4 並行計算相關技術84
5.4.1 並行計算的關鍵技術84
5.4.2 並行計算的性能估算86
5.5 並行程式設計——MPI編程87
5.5.1 MPI簡介87
5.5.2 一個簡單的MPI程式實現88
5.5.3 MPI訊息90
5.5.4 MPI的訊息傳遞過程90
5.5.5 MPI常用基本函式91
5.5.6 有訊息傳遞的並行程式91
習題93
第6章 雲存儲技術94
6.1 雲存儲概述94
6.1.1 雲存儲的概念94
6.1.2 雲存儲系統的結構95
6.1.3 雲存儲的實現基礎96
6.1.4 雲存儲的特性98
6.2 雲存儲與雲計算99
6.3 雲存儲的套用100
6.3.1 個人級雲存儲的套用100
6.3.2 企業級雲存儲的套用100
6.4 雲存儲發展的關注點101
習題102
第7章 OpenStack——功能強大的IaaS平台103
7.1 OpenStack架構103
7.2 計算服務模組Nova104
7.3 網路服務模組Neutron107
7.3.1 Neutron的主要組件107
7.3.2 Neutron網路109
7.4 塊存儲服務模組Cinder110
7.5 對象存儲服務模組Swift111
7.6 身份認證模組Keystone115
7.7 鏡像模組Glance119
7.8 儀錶盤服務模組Horizon121
7.9 監控計量服務模組Ceilometer122
習題123
第8章 Hadoop——分散式大數據開發平台124
8.1 Hadoop簡介124
8.1.1 Hadoop與分散式開發技術124
8.1.2 Hadoop的體系架構125
8.1.3 Hadoop集群的架構127
8.2 分散式檔案系統HDFS129
8.2.1 分散式檔案系統概述129
8.2.2 HDFS的架構及讀寫流程131
8.3 分散式計算框架MapReduce133
8.3.1 MapReduce編程模型133
8.3.2 MapReduce數據流135
8.3.3 MapReduce任務運行流程136
8.4 列式資料庫HBase138
8.4.1 HBase列資料庫介紹139
8.4.2 理解HBase的表結構139
8.5 搭建Hadoop開發環境142
8.5.1 相關準備工作143
8.5.2 JDK的安裝配置143
8.5.3 下載、解壓Hadoop並配置Hadoop環境變數144
8.5.4 修改Hadoop配置檔案145
8.5.5 將配置好的Hadoop檔案複製到其他結點並格式化146
8.5.6 啟動、停止Hadoop146
8.5.7 運行測試程式WordCount147
習題148
第9章 Spark—基於記憶體的大數據計算框架149
9.1 Spark概述149
9.2 Spark的運行機制150
9.3 Spark的運行模式152
9.3.1 Standalone模式153
9.3.2 Spark Yarn模式153
9.3.3 Spark Mesos模式157
9.4 Spark RDD157
9.4.1 RDD的特點157
9.4.2 RDD的創建158
9.4.3 RDD基本操作160
9.4.4 RDD持久化（快取）162
9.4.5 Spark共享變數163
9.5 Spark生態系統165
9.5.1 Spark SQL165
9.5.2 Spark Streaming166
9.5.3 GraphX169
9.5.4 MLlib172
習題173
第10章 Storm——基於拓撲的流數據實時計算框架174
10.1 Storm簡介174
10.2 Storm原理及其體系架構177
10.2.1 Storm編程模型原理177
10.2.2 Storm體系架構178
10.3 Storm-Yarn簡介180
10.3.1 Storm-Yarn的產生背景180
10.3.2 Storm-Yarn的體系架構180
10.4 搭建Storm開發環境181
10.4.1 Storm安裝說明182
10.4.2 Storm安裝步驟182
10.4.3 Storm設定185
10.4.4 Storm的啟動186
10.4.5 Storm的常用操作命令186
10.5 Storm套用實踐187
10.5.1 使用Maven管理storm-starter187
10.5.2 WordCountTopology原始碼分析190
習題193
第11章 雲計算仿真194
11.1 雲計算仿真系統——CloudSim194
11.1.1 CloudSim基礎194
11.1.2 CloudSim的體系結構195
11.2 CloudSim的模型使用場景197
11.3 CloudSim套用實踐198
11.3.1 準備環境198
11.3.2 數據中心仿真實例199
11.3.3 網路仿真實例204
習題207
參考文獻208
第1章 雲計算概述1
1.1 什麼是雲計算1
1.1.1 雲計算的定義1
1.1.2 雲計算的概念模型2
1.1.3 雲計算的特點3
1.2 雲計算技術發展背景3
1.3 典型的雲計算基礎架構7
1.4 雲計算的主要服務模式9
1.4.1 基礎設施即服務IaaS9
1.4.2 平台即服務PaaS10
1.4.3 軟體即服務SaaS11
1.4.4 三種服務模式之間的關係12
1.5 雲計算的主要部署模式13
1.6 雲計算是商業模式的創新14
1.7 典型的雲計算產品15
1.7.1 Amazon的AWS15
1.7.2 Windows Azure Platform16
1.7.3 IBM藍雲解決方案17
1.7.4 阿里雲18
1.8 雲計算技術的新發展20
1.9 我國的雲計算產業現狀23
1.9.1 政府推動雲計算產業發展23
1.9.2 我國雲計算產業高速發展24
習題25
第2章 大數據技術概述26
2.1 大數據技術的產生26
2.1.1 大數據的基本概念26
2.1.2 大數據產生的原因26
2.1.3 大數據概念的提出28
2.1.4 第四範式——大數據對科學研究產生的影響30
2.1.5 雲計算與大數據的關係31
2.2 大數據的4V特徵31
2.3 大數據的主要套用及行業推動力量32
2.3.1 大數據的主要套用32
2.3.2 企業推動大數據行業發展32
2.3.3 我國政府推動大數據行業發展33
2.4 大數據的關鍵技術34
2.5 典型的大數據計算架構35
習題35
第3章 虛擬化技術36
3.1 虛擬化技術簡介36
3.1.1 虛擬化技術的概念36
3.1.2 虛擬化技術的分類38
3.1.3 虛擬化技術的優勢和劣勢42
3.1.4 虛擬化技術與雲計算43
3.2 虛擬化技術原理43
3.2.1 虛擬機技術原理43
3.2.2 CPU虛擬化原理44
3.2.3 記憶體虛擬化原理46
3.2.4 網路虛擬化原理47
3.3 常見的虛擬化技術解決方案47
3.3.1 OpenStack47
3.3.2 KVM48
3.3.3 Hyper-V49
3.3.4 VMware49
3.3.5 Xen50
3.3.6 Docker51
3.4 常見虛擬化技術的套用實踐52
3.4.1 虛擬化環境的搭建53
3.4.2 克隆虛擬機54
3.4.3 虛擬機做快照56
習題59
第4章 數據中心60
4.1 數據中心的概念60
4.1.1 數據中心的定義、作用及分類60
4.1.2 數據中心的發展歷程61
4.1.3 數據中心的組成及建設原則65
4.1.4 雲計算、大數據時代的數據中心發展趨勢66
4.2 數據中心的基本單元——伺服器66
4.3 數據中心選址69
4.4 數據中心的能耗69
4.4.1 數據中心能耗評估70
4.4.2 數據中心的主要節能措施71
習題72
第5章 並行計算與集群技術73
5.1 並行計算概述73
5.1.1 並行計算的概念73
5.1.2 並行計算的層次75
5.1.3 並行計算機的發展75
5.1.4 並行計算與分散式計算77
5.1.5 並行計算與雲計算78
5.2 雲計算基礎架構——集群技術79
5.2.1 集群的基本概念79
5.2.2 集群系統的分類80
5.2.3 集群檔案系統80
5.3 並行計算的分類81
5.3.1 按Flynn分類81
5.3.2 按套用的計算特徵分類82
5.3.3 按結構模型分類83
5.4 並行計算相關技術84
5.4.1 並行計算的關鍵技術84
5.4.2 並行計算的性能估算86
5.5 並行程式設計——MPI編程87
5.5.1 MPI簡介87
5.5.2 一個簡單的MPI程式實現88
5.5.3 MPI訊息90
5.5.4 MPI的訊息傳遞過程90
5.5.5 MPI常用基本函式91
5.5.6 有訊息傳遞的並行程式91
習題93
第6章 雲存儲技術94
6.1 雲存儲概述94
6.1.1 雲存儲的概念94
6.1.2 雲存儲系統的結構95
6.1.3 雲存儲的實現基礎96
6.1.4 雲存儲的特性98
6.2 雲存儲與雲計算99
6.3 雲存儲的套用100
6.3.1 個人級雲存儲的套用100
6.3.2 企業級雲存儲的套用100
6.4 雲存儲發展的關注點101
習題102
第7章 OpenStack——功能強大的IaaS平台103
7.1 OpenStack架構103
7.2 計算服務模組Nova104
7.3 網路服務模組Neutron107
7.3.1 Neutron的主要組件107
7.3.2 Neutron網路109
7.4 塊存儲服務模組Cinder110
7.5 對象存儲服務模組Swift111
7.6 身份認證模組Keystone115
7.7 鏡像模組Glance119
7.8 儀錶盤服務模組Horizon121
7.9 監控計量服務模組Ceilometer122
習題123
第8章 Hadoop——分散式大數據開發平台124
8.1 Hadoop簡介124
8.1.1 Hadoop與分散式開發技術124
8.1.2 Hadoop的體系架構125
8.1.3 Hadoop集群的架構127
8.2 分散式檔案系統HDFS129
8.2.1 分散式檔案系統概述129
8.2.2 HDFS的架構及讀寫流程131
8.3 分散式計算框架MapReduce133
8.3.1 MapReduce編程模型133
8.3.2 MapReduce數據流135
8.3.3 MapReduce任務運行流程136
8.4 列式資料庫HBase138
8.4.1 HBase列資料庫介紹139
8.4.2 理解HBase的表結構139
8.5 搭建Hadoop開發環境142
8.5.1 相關準備工作143
8.5.2 JDK的安裝配置143
8.5.3 下載、解壓Hadoop並配置Hadoop環境變數144
8.5.4 修改Hadoop配置檔案145
8.5.5 將配置好的Hadoop檔案複製到其他結點並格式化146
8.5.6 啟動、停止Hadoop146
8.5.7 運行測試程式WordCount147
習題148
第9章 Spark—基於記憶體的大數據計算框架149
9.1 Spark概述149
9.2 Spark的運行機制150
9.3 Spark的運行模式152
9.3.1 Standalone模式153
9.3.2 Spark Yarn模式153
9.3.3 Spark Mesos模式157
9.4 Spark RDD157
9.4.1 RDD的特點157
9.4.2 RDD的創建158
9.4.3 RDD基本操作160
9.4.4 RDD持久化（快取）162
9.4.5 Spark共享變數163
9.5 Spark生態系統165
9.5.1 Spark SQL165
9.5.2 Spark Streaming166
9.5.3 GraphX169
9.5.4 MLlib172
習題173
第10章 Storm——基於拓撲的流數據實時計算框架174
10.1 Storm簡介174
10.2 Storm原理及其體系架構177
10.2.1 Storm編程模型原理177
10.2.2 Storm體系架構178
10.3 Storm-Yarn簡介180
10.3.1 Storm-Yarn的產生背景180
10.3.2 Storm-Yarn的體系架構180
10.4 搭建Storm開發環境181
10.4.1 Storm安裝說明182
10.4.2 Storm安裝步驟182
10.4.3 Storm設定185
10.4.4 Storm的啟動186
10.4.5 Storm的常用操作命令186
10.5 Storm套用實踐187
10.5.1 使用Maven管理storm-starter187
10.5.2 WordCountTopology原始碼分析190
習題193
第11章 雲計算仿真194
11.1 雲計算仿真系統——CloudSim194
11.1.1 CloudSim基礎194
11.1.2 CloudSim的體系結構195
11.2 CloudSim的模型使用場景197
11.3 CloudSim套用實踐198
11.3.1 準備環境198
11.3.2 數據中心仿真實例199
11.3.3 網路仿真實例204
習題207
參考文獻208
