基本介紹
- 中文名：高可用性的HDFS:Hadoop分散式檔案系統深度實踐
- 出版社：清華大學出版社
- ISBN：9787302282587
- 定價：59 元
- 裝幀：平裝
- 印次：1-1
- 印刷日期：2012-4-28
圖書簡介,書籍目錄,
圖書簡介
本書從代碼入手並結合情景分析、案例解說對HDFS的元數據以及主流的HDFSHA解決方案的運行機制進行了深入剖析，力求使讀者在解決問題時做到心中有數，不僅知其然還知其所以然。
本書可操作性強，所有案例都經過驗證並附有詳細的步驟說明和視頻教程，無論是對雲計算的初學者，還是想進一步深入學習雲計算技術的研發人員，或是雲計算的研究人員都有很好的參考價值。
本書光碟包含本書部分操作的視頻教程以及所有原始碼、腳本等開發檔案。
本書讀者主要為雲計算相關領域的研發人員、雲計算系統管理維護人員，也適合作為高校研究生和高年級本科生的專業課輔助教材。
本書專注於Hadoop分散式檔案系統（HDFS）的主流HA解決方案，內容包括：HDFS元數據解析、Hadoop元數據備份方案、HadoopBackupNode方案、AvatarNode解決方案以及最新的HA解決方案CloudreaHANameNode等。其中有關BackupNode方案及AvatarNode?槳傅哪諶菔潛臼櫓氐悖?繞涫嵌訟vatarNode方案從運行機制到異常處理方案的步驟進行了詳盡介紹，同時還總結了各種異常情況下AvatarNode的各種處理方案。
書籍目錄
目錄
第1章HDFSHA及解決方案 1
1.1HDFS系統架構 2
1.2HA定義 3
1.3HDFSHA原因分析及應對措施 4
1.3.1可靠性 4
1.3.2可維護性 5
1.4現有HDFSHA解決方案 5
1.4.1Hadoop的元數據備份方案 6
1.4.2Hadoop的SecondaryNameNode方案 7
1.4.3Hadoop的Checkpointode方案 7
1.4.4Hadoop的BackupNode方案 8
1.4.5DRDB方案 9
1.4.6FaceBook的AvatarNode方案 10
1.5方案優缺點比較 10
第2章HDFS元數據解析 13
2.1概述 14
2.2記憶體元數據結構 14
2.2.1INode 15
2.2.2Block 16
2.2.3BlockInfo和DatanodeDescriptor 17
2.2.4小結 17
2.2.5代碼分析——元數據結構 18
2.3磁碟元數據檔案 24
2.4Format情景分析 27
2.5元數據套用場景分析 45
第3章Hadoop的元數據備份方案 47
3.1運行機制分析 48
3.1.1NameNode啟動載入元數據情景分析 50
3.1.2元數據更新及日誌寫入情景分析 64
3.1.3Checkpoint過程情景分析 73
3.1.4元數據可靠性機制 109
3.1.5元數據一致性機制 110
3.2使用說明 110
第4章Hadoop的BackupNode方案 113
4.1BackupNode概述 114
4.1.1系統架構 115
4.1.2使用原則 115
4.1.3優缺點 116
4.2運行機制分析 116
4.2.1啟動流程 117
4.2.2元數據操作情景分析 141
4.2.3日誌池（journalspool）機制 151
4.2.4故障切換機制 156
4.3實驗方案說明 158
4.4構建實驗環境 158
4.4.1網路拓撲 159
4.4.2系統安裝及配置 160
4.4.3安裝JDK 170
4.4.4虛擬機集群架設 171
4.4.5NameNode安裝及配置 173
4.4.6BackupNode安裝及配置 173
4.4.7DataNode安裝及配置 174
4.4.8Clients安裝及配置 175
4.5異常解決方案 175
4.5.1異常情況分析 175
4.5.2NameNode配置 175
4.5.3BackupNode配置 182
4.5.4DataNode配置 185
4.5.5NameNode宕機切換實驗 189
4.5.6NameNode宕機讀寫測試 196
第5章AvatarNode運行機制 205
5.1方案說明 206
5.1.1系統架構 206
5.1.2思路分析 208
5.1.3性能數據 209
5.2元數據分析 209
5.2.1類FSNamesystem 210
5.2.2類FSDirectory 210
5.2.3AvatarNode的磁碟元數據檔案 211
5.3AvatarNodePrimary啟動過程 211
5.4AvatarNodeStandby啟動過程 217
5.4.1AvatarNode的構造方法 217
5.4.2Standby執行緒的run()方法 218
5.4.3Ingest執行緒的run()方法 220
5.4.4Ingest執行緒的ingestFSEdits()方法 220
5.4.5Standby執行緒的doCheckpoint()方法 221
5.5用戶操作情景分析 223
5.5.1創建目錄情景分析 223
5.5.2創建檔案情景分析 231
5.6AvatarNodeStandby故障切換過程 240
5.7元數據一致性保證機制 242
5.7.1元數據目錄樹信息 242
5.7.2DataNode與Block數據塊映射信息 243
5.8Block更新同步問題 246
5.8.1問題描述 246
5.8.2結論 246
5.8.3源碼分析 246
第6章AvatarNode使用 253
6.1方案說明 254
6.1.1網路拓撲 254
6.1.2作業系統安裝及配置 255
6.2使用Avatar打補丁版本 255
6.2.1Hadoop源碼在線上Build 256
6.2.2Hadoop源碼本地Build 262
6.2.3NFS伺服器構建 264
6.2.4Avatar分發與部署 267
6.2.5Primary（namenode0）節點配置 269
6.2.7DataNode節點配置 276
6.2.8Client節點配置 278
6.2.9創建目錄 279
6.2.10掛載NFS 280
6.2.11啟動Ucarp 280
6.2.12格式化 281
6.2.13系統啟動 281
6.2.14檢查 282
6.2.15NameNode失效切換寫檔案實驗 283
6.2.16NameNode失效切換讀檔案實驗 291
6.3AvatarFaceBook版本的使用 294
6.3.1HadoopFaceBook版本安裝 294
6.3.2節點配置 295
6.3.3啟動HDFS 300
6.3.4NameNode失效切換 302
第7章AvatarNode異常解決方案 305
7.1測試環境 306
7.2Primary失效 306
7.2.1解決方案 306
7.2.2寫操作實驗步驟 307
7.2.3改進寫操作機制 313
7.2.4讀操作實驗步驟 313
7.2.5小結 317
7.3Standby失效 317
7.4NFS失效（數據未損壞） 317
7.4.1解決方案 317
7.4.2寫操作實驗步驟 318
7.4.3讀操作實驗步驟 320
7.4.4小結 322
7.5NFS失效（數據已損壞） 323
7.5.1解決方案 323
7.5.2寫操作實驗步驟 324
7.5.3讀操作實驗步驟 327
7.5.4小結 330
7.6Primary先失效，NFS後失效（數據未損壞） 331
7.6.1解決方案 331
7.6.2寫操作實驗步驟 331
7.6.3讀操作實驗步驟 333
7.6.4小結 334
7.7Primary先失效（數據未損壞），NFS後失效（數據損壞） 335
7.7.1解決方案 335
7.7.2寫操作實驗步驟 335
7.7.3讀操作實驗步驟 338
7.7.4小結 339
7.8NFS先失效（數據未損壞），Primary後失效 340
7.8.1解決方案 340
7.8.2寫操作實驗步驟 340
7.8.3讀操作實驗步驟 342
7.8.4小結 343
7.9NFS先失效（數據損壞），Primary後失效（數據損壞） 344
7.9.1解決方案 344
7.9.2寫操作實驗步驟 344
7.9.3讀操作實驗步驟 346
7.9.4小結 348
7.10實驗結論 348
第8章ClouderaHANameNode使用 349
8.1HANameNode說明 350
8.2CDH4B1版本HDFS集群配置 351
8.2.1虛擬機安裝 351
8.2.2nn1配置 351
8.2.3dn1~dn3配置 355
8.2.4HDFS集群構建 358
8.3HANameNode配置 361
8.3.1nn1配置 361
8.3.2其他節點配置 365
8.4HANameNode使用 367
8.4.1啟動HAHDFS集群 367
8.4.2第1次failover 368
8.4.3模擬寫操作 368
8.4.4模擬ActiveNameNode失效，第2次failover 369
8.3.5模擬新的StandbyNameNode加入 370
8.5小結 371
