《雲計算與大數據技術理論及套用》是2019年7月清華大學出版社出版的圖書，作者是林偉偉、彭紹亮。
基本介紹
- 中文名：雲計算與大數據技術理論及套用
- 作者：林偉偉、彭紹亮
- 出版社：清華大學出版社
- 出版時間：2019年7月
- 定價：89 元
- 裝幀：平裝
- ISBN：9787302524458
內容簡介,圖書目錄,
內容簡介
內容新穎先進；內容涉及最新的雲計算與霧計算技術，大數據的新技術平台、新套用案例和生物信息計算示例等；知識系統全面：從傳統的經典分散式計算原理開始，系統地、深入剖析新興的雲計算、霧計算和大數據的技術原理；技術深入易學：通過大量的編程案例和套用開發實踐讓讀者更容易學習和深刻理解相關技術原理、技術開發與套用方法。
圖書目錄
第1章緒論
1.1分散式計算概念
1.1.1定義
1.1.2優缺點
1.1.3經典的分散式計算項目
1.2分散式計算模式
1.2.1單機計算
1.2.2並行計算
1.2.3網路計算
1.2.4對等計算
1.2.5集群計算
1.2.6格線計算
1.2.7雲計算
1.2.8霧計算
1.2.9邊緣計算
1.2.10大數據計算
1.3CAP定理
1.3.1CAP定理歷史
1.3.2CAP定理套用
1.3.3CAP問題的實例
習題
第2章分散式計算編程基礎
2.1進程間通信
2.1.1進程間通信概念
2.1.2IPC原型與示例
2.2Socket編程
2.2.1Socket概述
2.2.2流式Socket編程
2.3RMI編程
2.3.1RMI概述
2.3.2RMI基本分散式套用
2.4P2P編程
習題
第3章雲計算原理與技術
3.1雲計算概述
3.1.1雲計算起源
3.1.2雲計算的概念與定義
3.1.3雲計算與分散式計算
3.1.4雲計算分類
3.2雲計算關鍵技術
3.2.1體系結構
3.2.2數據存儲
3.2.3計算模型
3.2.4資源調度
3.2.5虛擬化
3.3Google雲計算原理
3.3.1GFS
3.3.2MapReduce
3.3.3BigTable
3.3.4Dremel
3.4亞馬遜雲服務
3.4.1亞馬遜雲平台存儲架構
3.4.2EC2、S3、SimpleDB等組件
3.5基於亞馬遜雲的大數據分析案例
3.5.1亞馬遜雲平台存儲架構
3.5.2亞馬遜雲的Web伺服器日誌大數據分析案例
3.6阿里雲
3.6.1飛天開放平台架構
3.6.2開放雲計算服務ECS
3.6.3開放存儲服務OSS和CDN
3.6.4開放結構化數據服務OTS
3.6.5關係型資料庫(RDS)
3.6.6開放數據處理服務(ODPS)
習題
第4章雲計算編程實踐
4.1CloudSim體系結構和API介紹
4.1.1CloudSim體系結構
4.1.2CloudSim 3.0 API介紹
4.2CloudSim環境搭建和使用方法
4.2.1環境配置
4.2.2運行樣例程式
4.3CloudSim擴展編程
4.3.1調度策略的擴展
4.3.2仿真核心代碼
4.3.3平台重編譯
4.4CloudSim的編程實踐
4.4.1CloudSim任務調度編程
4.4.2CloudSim網路編程
4.4.3CloudSim能耗編程
4.5MultiRECloudSim
4.5.1MultiRECloudSim體系結構和原理
4.5.2MultiRECloudSim的API
4.5.3MultiRECloudSim的使用方法
4.6雲環境任務調度編程實踐
4.6.1雲計算的資源管理
4.6.2雲任務調度模擬實驗
習題
第5章雲存儲技術
5.1存儲基礎知識
5.1.1存儲組網形態
5.1.2RAID
5.1.3磁碟熱備
5.1.4快照
5.1.5數據分級存儲概念
5.2雲存儲概念與技術原理
5.2.1分散式存儲
5.2.2存儲虛擬化
5.3對象存儲技術
5.3.1對象存儲架構
5.3.2傳統塊存儲與對象存儲
5.3.3對象
5.3.4對象存儲系統組成
5.4存儲技術趨勢
5.4.1存儲虛擬化
5.4.2固態硬碟
5.4.3重複數據刪除
5.4.4語義化檢索
5.4.5存儲智慧型化
5.4.6混合存儲系統
習題
第6章大數據技術原理與平台
6.1大數據概述
6.1.1大數據產生的背景
6.1.2大數據的定義
6.1.3大數據的4V特徵
6.2大數據存儲平台
6.2.1HDFS
6.2.2HBase
6.2.3Cassandra
6.2.4Redis
6.2.5MongoDB
6.3大數據計算模式
6.3.1MapReduce
6.3.2Spark
6.3.3流式計算
6.4典型大數據分析管理平台
6.4.1Cloudera Impala
6.4.2Hortonworks Data Platform
6.4.3HadoopDB
6.5大數據並行計算編程實踐
6.5.1基於MAPREDUCE程式實例(HDFS)
6.5.2基於MAPREDUCE程式實例(HBase)
6.5.3基於Spark的程式實例
6.5.4基於Impala的查詢實踐
6.6大數據研究與發展方向
6.6.1數據的不確定性與數據質量
6.6.2跨領域的數據處理方法的可移植性
6.6.3數據處理的時效性保證——記憶體計算
6.6.4對於流式數據的實時處理
6.6.5大數據套用
6.6.6大數據發展趨勢
習題
第7章實時醫療大數據分析案例
7.1案例背景與需求概述
7.1.1背景介紹
7.1.2基本需求
7.2設計方案
7.2.1ETL
7.2.2非格式化存儲
7.2.3流處理
7.2.4訓練模型與結果預測
7.3環境準備
7.3.1節點規劃
7.3.2軟體選型
7.4實現方法
7.4.1使用Kettle/Sqoop等ETL工具，將數據導入HDFS
7.4.2基於Spark Streaming開發Kafka連線器組件
7.4.3基於Spark MLlib開發數據挖掘組件
7.5不足與擴展
習題
第8章保險大數據分析案例
8.1案例背景與需求概述
8.1.1背景介紹
8.1.2基本需求
8.2設計方案
8.2.1基於GraphX的並行家譜挖掘算法
8.2.2基於分片技術的隨機森林算法
8.2.3基於記憶體計算的FPGrowth關聯規則挖掘算法
8.3環境準備
8.4實現方法
8.4.1基於GraphX的並行家譜挖掘
8.4.2基於分片技術的隨機森林模型用戶推薦
8.4.3基於FPGrowth關聯規則挖掘算法的回歸檢驗
8.4.4結果可視化
8.5不足與擴展
習題
第9章基於Spark聚類算法的網路流量異常檢測
9.1基本需求與數據說明
9.1.1基本需求
9.1.2數據說明
9.2設計方案
9.2.1聚類問題描述
9.2.2系統整體架構和算法設計
9.2.3數據預處理
9.2.4聚類算法
9.2.5聚類質量評估算法
9.2.6檢測算法
9.3實現方法和程式設計
9.3.1搭建Spark集群實驗平台
9.3.2程式運行說明
9.3.3數據預處理
9.3.4基於R的數據分析和可視化
9.3.5聚類算法
9.3.6聚類質量評估
9.3.7異常檢測
9.4結果展示
9.4.1Spark平台說明與作業提交演示
9.4.2聚類算法及其質量評估
9.4.3有效性分析
9.4.4示例說明
9.5展望
習題
第10章基於Hadoop的宏基因組序列比對計算
10.1相關背景介紹與基本需求
10.1.1相關背景
10.1.2基本需求
10.2設計方案
10.2.1串列程式分析
10.2.2並行程式設計
10.3實現方法
10.3.1自定義Hadoop Streaming Inputformat
10.3.2修改SOAPaligner程式的輸入檔案函式
10.4環境建立和實驗數據說明
10.4.1案例環境
10.4.2實驗數據
10.5結果展示
10.5.1測試方法
10.5.2測試結果和分析
習題
第11章基於細胞反應大數據的生物效應評估計算
11.1相關背景介紹與基本需求
11.1.1相關背景
11.1.2基本需求
11.2設計方案
11.2.1基本思路
11.2.2設計框架
11.3環境建立和實驗數據說明
11.3.1案例環境
11.3.2實驗數據
11.4實現方法
11.4.1算法分析
11.4.2基因譜兩兩比對——富集積分矩陣並行化計算
11.4.3基因譜聚類分析——KMedoids算法並行化
11.5結果展示
11.5.1基因譜兩兩比對——計算富集積分矩陣實驗分析
11.5.2基因譜聚類實驗分析
習題
第12章基於Spark的海量宏基因組聚類問題分析計算
12.1相關背景介紹與基本需求
12.1.1相關背景
12.1.2基本需求
12.2問題分析與設計方案
12.2.1問題分析
12.2.2設計方案
12.3實現方法
12.3.1基於Spark的相似基因對問題的實現
12.3.2利用LSH加速相似基因對算法
12.3.3基因圖的生成
12.3.4圖的基本性質分析
12.3.5基因圖聚類
12.4環境建立和實驗數據說明
12.4.1案例環境
12.4.2實驗數據
12.5結果展示
12.5.1LSH方法精確度分析
12.5.2可擴展性分析和加速效果分析
12.5.3基因圖頂點的度分布和連通性分析
12.5.4基因圖聚類結果分析
12.5.5總結
習題
參考文獻
