《Hadoop雲計算一體機實踐指南》是2013年機械工業出版社出版的圖書,作者是李寧。
全書書分為3篇:理論部分、基礎實踐部分、項目實訓部分,本書可作為電子、通信、自動化、計算機等電類專業Hadoop雲計算教學系統課程實驗教材,也可供Hadoop系統相關工程技術人員參考
基本介紹
- 書名:《Hadoop雲計算一體機實踐指南》
- 作者:李寧
- 類別:圖書>物理>電子自動化>電腦作業系統>多媒體網路同步授時>資料庫系統與套用>專業網站建設>《Hadoop雲計算一體機實踐指南》
- 出版社:機械工業出版社
- 出版時間:2013年9月17日
- 頁數:212 頁
- 定價:39.9 元
- 裝幀:平裝
- ISBN:9787111434962
內容介紹,作品目錄,
全書書分為3篇:第1篇(理論部分)對雲計算、Hadoop及Linux作業系統進行了簡單介紹;第2篇(基礎實踐部分)主要詳細介紹了CentOS系統的安裝和集群的搭建、Hadoop集群的常用命令及管理套用等;第3篇(項目實訓部分)主要以實際項目棕講紋刪欠戒開發為例,從易到難,對源程式進行了詳細解釋。
本書以詳細的實踐操作介紹為特色,可作為電子、通信、自動化、計算機等電類專業Hadoop雲計算教學系統課程實驗教材,也可供Hadoop系統相關工程技術人員參考。
前言
第1篇 理論部分 1
第1章 雲計算理論 2
1.1 雲計算的概念 2
1.2 雲計算發展現狀 2
1.3 格線計算與駝淋戲束雲計算 5
1.4 雲計算的發展環境 7
1.4.1 雲計算與3G移動通信 7
1.4.2 雲計算與物聯網 7
1.4.3 雲計算與移動網際網路 8
1.4.4 雲計算與三網融合 9
1.5 各大IT廠商雲計算平台特點概述 10
1.6 開源雲計算系統概述 21
第2章 Hadoop理論 29
2.1 Hadoop簡介 29
2.2 Hadoop架構 30
2.3 HDFS 30
2.3.1 設計思想 30
2.3.2 Namenode和Datanode的劃分 31
2.3.3 檔案系統操作和namespace的關係 31
2.3.4 數據複製 32
2.3.5 檔案系統元數據的持久化 32
2.3.6 通信協定 33
2.3.7 健壯性 33
2.3.8 數據組織 34
2.3.9 訪問接口 34
2.3.10 空間的回收 35
2.4 分散式數據處理MapReduce 35
第3章 Linux命令操作 38
3.1 Linux作業系統介紹 38
3.1.1 Linux操廈洪府作系統的抹立笑腿產生 38
3.1.2 Linux作業系統的開發模式 38
3.1.3 Linux作業系統的發展 39
3.2 Linux作業系統常用的shell命令 40
3.2.1 基本命令 40
3.2.2 檔案目錄操作命令 41
3.2.3 vi編輯器 43
3.2.4 軟體包安裝命令 44
第2篇 基礎實踐部分 45
第4章 集群搭建 46
4.1 CentOS作業系統的安裝 46
4.1.1 實驗目的 46
4.1.2 實重求驗設備 46
4.1.3 實驗內容 46
4.1.4 實驗步驟 46
4.2 集群搭建 63
4.2.1 實驗目的 63
4.2.2 實驗設備 63
4.2.3 實驗內容 63
4.2.4 實驗步驟 63
4.3 獲取Hadoop安裝包 84
4.3.1 實驗目的 84
4.3.2 實驗設備 84
4.3.3 實驗內容 84
4.3.4 實驗步驟 85
4.4 啟動和關閉Hadoop集群 89
4.4.1 實驗目的 89
4.4.2 實驗設備 89
4.4.3 實驗內容 89
4.4.4 實驗步驟 89
第5章 熟悉Hadoop本地集群 93
5.1 熟悉Hadoop的一些常用命令 93
5.1.1 實驗目的 93
5.1.2 實驗設備 93
5.1.3 實連棵白驗內容 93
5.1.4 實驗步驟 93
5.2 使用distcp進行並行複製 97
5.3 Web 瀏覽 Hadoop 集群 98
5.3.1 實驗目的 98
5.3.2 實驗設備 98
5.3.3 實驗內容 98
5.3.4 實驗步驟 98
5.4 使用Hadoop命令歸檔檔案 99
第6章 Hadoop管理套用 102
6.1 系統檢查和報告 102
6.2 了解HDFS的平衡命令 104
6.3 許可權設定 105
6.4 配額管理 105
6.5 啟用資源回收筒 106
第7章 HDFS實踐 107
7.1 使用HDFS上傳檔案 107
7.1.1 實驗目的 107
7.1.2 實驗設備 107
7.1.3 實驗內容 107
7.1.4 實驗原理 107
7.1.5 實驗步驟 109
7.2 使用HDFS瀏覽檔案和目錄 110
7.2.1 實驗目的 110
7.2.2 實驗設備 110
7.2.3 實驗內容 110
7.2.4 實驗原理 110
7.2.5 實驗步驟 113
7.3 使用HDFS打開、下載和刪除檔案 114
7.3.1 實驗目的 114
7.3.2 實驗設備 114
7.3.3 實驗內容 114
7.3.4 實驗原理 114
7.3.5 實驗步驟 117
第8章 MapReduce實踐 119
8.1 數據去重實驗 119
8.1.1 實驗目的 119
8.1.2 實驗設備 119
8.1.3 實驗內容 119
8.1.4 實驗原理 120
8.1.5 實驗步驟 122
8.2 數據排序實驗 125
8.2.1 實驗目的 125
8.2.2 實驗設備 125
8.2.3 實驗內容 125
8.2.4 實驗原理 125
8.2.5 實驗步驟 128
8.3 平均成績實驗 131
8.3.1 實驗目的 131
8.3.2 實驗設備 131
8.3.3 實驗內容 131
8.3.4 實驗原理 132
8.3.5 實驗步驟 134
8.4 單表關聯實驗 136
8.4.1 實驗目的 136
8.4.2 實驗設備 136
8.4.3 實驗內容 136
8.4.4 實驗原理 137
8.4.5 實驗步驟 142
第3篇 項目實訓部分 147
第9章 個人存儲私有雲綜合實訓 148
9.1 實驗目的 148
9.2 實驗設備 148
9.3 實驗內容 148
9.4 實驗原理 148
9.5 實驗步驟 153
第10章 氣象數據分析雲綜合實訓 161
10.1 實驗目的 161
10.2 實驗設備 161
10.3 實驗內容 161
10.4 實驗原理 161
10.5 實驗步驟 168
第11章 微信人物關係雲綜合實訓 172
11.1 實驗目的 172
11.2 實驗設備 172
11.3 實驗內容 172
11.4 實驗原理 172
11.5 實驗步驟 181
第12章 雲圖書館實例綜合實訓 186
12.1 實驗目的 186
12.2 實驗設備 186
12.3 實驗內容 186
12.4 實驗原理 186
12.5 實驗步驟 198
第13章 物聯網與雲計算(快遞)實例 201
13.1 實驗目的 201
13.2 實驗設備 201
13.3 實驗內容 201
13.4 實驗原理 201
13.5 實驗步驟 207
參考文獻 212
第4章 集群搭建 46
4.1 CentOS作業系統的安裝 46
4.1.1 實驗目的 46
4.1.2 實驗設備 46
4.1.3 實驗內容 46
4.1.4 實驗步驟 46
4.2 集群搭建 63
4.2.1 實驗目的 63
4.2.2 實驗設備 63
4.2.3 實驗內容 63
4.2.4 實驗步驟 63
4.3 獲取Hadoop安裝包 84
4.3.1 實驗目的 84
4.3.2 實驗設備 84
4.3.3 實驗內容 84
4.3.4 實驗步驟 85
4.4 啟動和關閉Hadoop集群 89
4.4.1 實驗目的 89
4.4.2 實驗設備 89
4.4.3 實驗內容 89
4.4.4 實驗步驟 89
第5章 熟悉Hadoop本地集群 93
5.1 熟悉Hadoop的一些常用命令 93
5.1.1 實驗目的 93
5.1.2 實驗設備 93
5.1.3 實驗內容 93
5.1.4 實驗步驟 93
5.2 使用distcp進行並行複製 97
5.3 Web 瀏覽 Hadoop 集群 98
5.3.1 實驗目的 98
5.3.2 實驗設備 98
5.3.3 實驗內容 98
5.3.4 實驗步驟 98
5.4 使用Hadoop命令歸檔檔案 99
第6章 Hadoop管理套用 102
6.1 系統檢查和報告 102
6.2 了解HDFS的平衡命令 104
6.3 許可權設定 105
6.4 配額管理 105
6.5 啟用資源回收筒 106
第7章 HDFS實踐 107
7.1 使用HDFS上傳檔案 107
7.1.1 實驗目的 107
7.1.2 實驗設備 107
7.1.3 實驗內容 107
7.1.4 實驗原理 107
7.1.5 實驗步驟 109
7.2 使用HDFS瀏覽檔案和目錄 110
7.2.1 實驗目的 110
7.2.2 實驗設備 110
7.2.3 實驗內容 110
7.2.4 實驗原理 110
7.2.5 實驗步驟 113
7.3 使用HDFS打開、下載和刪除檔案 114
7.3.1 實驗目的 114
7.3.2 實驗設備 114
7.3.3 實驗內容 114
7.3.4 實驗原理 114
7.3.5 實驗步驟 117
第8章 MapReduce實踐 119
8.1 數據去重實驗 119
8.1.1 實驗目的 119
8.1.2 實驗設備 119
8.1.3 實驗內容 119
8.1.4 實驗原理 120
8.1.5 實驗步驟 122
8.2 數據排序實驗 125
8.2.1 實驗目的 125
8.2.2 實驗設備 125
8.2.3 實驗內容 125
8.2.4 實驗原理 125
8.2.5 實驗步驟 128
8.3 平均成績實驗 131
8.3.1 實驗目的 131
8.3.2 實驗設備 131
8.3.3 實驗內容 131
8.3.4 實驗原理 132
8.3.5 實驗步驟 134
8.4 單表關聯實驗 136
8.4.1 實驗目的 136
8.4.2 實驗設備 136
8.4.3 實驗內容 136
8.4.4 實驗原理 137
8.4.5 實驗步驟 142
第3篇 項目實訓部分 147
第9章 個人存儲私有雲綜合實訓 148
9.1 實驗目的 148
9.2 實驗設備 148
9.3 實驗內容 148
9.4 實驗原理 148
9.5 實驗步驟 153
第10章 氣象數據分析雲綜合實訓 161
10.1 實驗目的 161
10.2 實驗設備 161
10.3 實驗內容 161
10.4 實驗原理 161
10.5 實驗步驟 168
第11章 微信人物關係雲綜合實訓 172
11.1 實驗目的 172
11.2 實驗設備 172
11.3 實驗內容 172
11.4 實驗原理 172
11.5 實驗步驟 181
第12章 雲圖書館實例綜合實訓 186
12.1 實驗目的 186
12.2 實驗設備 186
12.3 實驗內容 186
12.4 實驗原理 186
12.5 實驗步驟 198
第13章 物聯網與雲計算(快遞)實例 201
13.1 實驗目的 201
13.2 實驗設備 201
13.3 實驗內容 201
13.4 實驗原理 201
13.5 實驗步驟 207
參考文獻 212