《雲計算大數據處理》是2015年人民郵電出版社出版的圖書，作者是劉鵬、於全、楊震宇、陳偉、王磊、張乃甜。
基本介紹
- 書名：雲計算大數據處理
- 作者：劉鵬、於全、楊震宇、陳偉、王磊、張乃甜
- ISBN：978-7-115-37810-1
- 出版社：人民郵電出版社
- 出版時間：2015-08
圖書簡介,目錄,
圖書簡介
《雲計算大數據處理》介紹了基於雲計算的大數據處理技術，重點介紹了一款高效的、實時分析處理海量數據的強有力工具——數據立方。數據立方是針對大數據處理的分散式資料庫，能夠可靠地對大數據進行實時處理，具有即時回響多用戶並發請求的能力。
目錄
第 1章 大數據挑戰
1.1 當前面臨的大數據挑戰
1.1.1 大數據急劇膨脹
1.1.2 大數據智慧型分析
1.1.3 大數據深度挖掘
1.1.4 業務與技術脫節
1.2 大數據催生雲計算
1.2.1 雲計算不是偶然
1.2.2 雲計算帶來挑戰與機遇
1.2.3 雲計算對大數據的意義
1.2.4 雲計算未來展望
1.3 大數據存儲
1.3.1 存儲僅是第 一步
1.3.2 行存儲還是列存儲
1.3.3 PB級大數據存儲
1.3.4 大數據存儲的未來
1.4 大數據處理
1.4.1 大數據處理的瓶頸
1.4.2 大數據處理的需求
1.4.3 大數據處理技術決定未來
1.4.4 大數據處理解決方案
第 2章 當前的大數據處理系統
2.1 開源大數據處理平台
2.1.1 Hadoop
2.1.2 MapReduce
2.2 NoSQL資料庫
2.2.1 Google BigTable 的開源JAVA實現：HBase
2.2.2 純分散式資料庫：Cassandra
2.2.3 NoSQL資料庫的套用場景
2.3 數據倉庫平台
2.3.1 Hive
第3章 數據立方簡介
3.1 數據立方產生背景
3.2 相關技術
3.2.1 雲計算中的大數據處理技術－－MapReduce
3.2.2 並行資料庫技術
3.2.3 雲計算與資料庫相結合的技術
3.3 新一代EB級雲計算資料庫－－數據立方
3.3.1 數據立方的體系架構
3.3.2 數據立方與Hadoop的關係
第4章 數據立方及配套環境的安裝
4.1 安裝流程
4.2 作業系統的安裝
4.2.1 CentOS6.3的安裝
4.2.2 安裝JDK
4.2.3 配置SSH
4.3 HADOOP的安裝
4.3.1 Hadoop的版本
4.3.2 HDFS的配置安裝
4.3.3 MapReduce的配置安裝
4.4 數據立方的配置安裝
4.4.1 安裝mysql-connector
4.4.2 編輯數據立方的配置檔案
4.4.3 數據立方的啟動
4.5 監控工具GANGLIA的安裝
4.5.1安裝依賴
4.5.2 安裝ganglia
4.5.3 配置ganglia
4.6 數據導入工具SQOOP的安裝
4.6.1 安裝前提
4.6.2 安裝步驟
第5章 hello word數據立方快速入門
5.1 智慧交通數據處理實例
5.1.1 智慧交通數據處理實例背景
5.1.2 建表
5.1.3 數據入庫
5.1.4 數據查詢
5.2 編程實現
5.2.1 JAVA開發包
5.2.2 示例
5.3 總結
第6章 數據立方開發
6.1 開發說明
6.2 數據立方SQL規範
6.2.1 數據定義與數據操作語言
6.2.2 數據查詢語言
6.3 數據入庫接口開發
6.3.1 單條多條記錄入庫JAVA開發包
6.3.2 開發說明
6.3.3 示例
6.4 數據查詢接口開發
6.4.1 JAVA開發包
6.4.2 接口介紹
6.4.3 示例
6.5 數據導入工具SQOOP的使用
6.5.1 SQOOP命令
6.5.2 SQOOP命令的使用
第7章 數據立方的維護
7.1 HDFS的維護
7.1.1 HDFS的dfsadmin命令
7.1.2 HDFS的balancer工具
7.2 SHELL的使用
7.2.1數據立方SHELL說明
7.2.2數據定義與數據操作的shell
7.2.3數據查詢的shell
7.3 數據立方的常見問題及其解決方法
7.3.1 啟動時的常見問題
7.4 Sqoop的常見問題及其解決方法
7.4.1 Mysql的用戶問題
7.4.2 Mysql的許可權問題
7.4.3 Mysql的path問題
7.4.4 Mysql的path問題
7.5 數據立方管理系統
第8章 數據立方的可靠性
8.1 Hadoop的可靠性
8.1.1 HDFS中NameNode單點問題
8.1.2 HDFS數據塊副本機制
8.1.3 HDFS心跳機制
8.1.4 HDFS負載均衡
8.1.5 MapReduce容錯
8.2 Hadoop的SecondaryNameNode機制
8.2.1磁碟鏡像與日誌檔案
8.2.2 SecondaryNameNode更新鏡像的流程
8.3 Avatar機制
8.3.1 系統架構
8.3.2 Avatar元數據同步機制
8.3.3 故障切換過程
8.3.4 Avatar運行流程
8.3.5 Avatar故障切換流程
8.4 Avatar實戰
8.4.1 實驗環境
8.4.2 編譯Avatar
8.4.3 Avatar安裝和配置
8.5 數據立方可靠性
8.5.1 數據立方的可靠性
8.5.2 數據立方的工作流程
8.5.3 數據立方的可靠性
第9章 數據統計分析實例--供電信息採集系統
9.1 客戶需求分析
9.1.1 測試過程及數據量描述
9.1.2 測試過程分解及效率統計
9.2 數據表設計
9.3 查詢語句設計與結果展現
9.4 查詢最佳化
9.4.1 存儲方面的最佳化
9.4.2 記憶體方面的最佳化
9.5 性能測試結果
9.5.1 數據下載解壓及標記
9.5.2 數據解析入庫
9.5.3 數據計算流程
9.5.4 數據導入ORACLE資料庫
9.5.5 查詢總時長統計
第 10章 線上數據檢索實例--移動信令分析雲平台
10.1 需求分析
10.2 數據表設計
10.2.1 CDR數據檔案的檢測與索引創建任務調度
10.2.2 從HDFS讀取數據並創建索引
10.2.3 查詢CDR信息
10.3 查詢語句設計與結果展現
10.3.1 CDR檔案檢測和索引創建任務調度程式
10.3.2 讀取CDR數據和索引創建處理
10.3.3 CDR查詢
10.4 查詢最佳化
10.5 性能測試結果
第 11章 實時數據處理實例-地震數據
11.1 需求分析
11.2 數據表分析
11.3 查詢語句設計與結果展現
11.4 查詢最佳化
11.4.1 存儲方面的最佳化
11.4.2 計算方面的最佳化
11.5 性能測試結果
11.5.1 單機模擬集群測試
11.5.2 欄位測試
11.5.3 排序測試
11.5.4 隨機讀取測試
