《大數據技術及套用教程》是2016年清華大學出版社出版的圖書，作者是李聯寧。
基本介紹
- 書名：大數據技術及套用教程
- 作者：李聯寧
- ISBN：9787302445616
- 定價：49
- 出版社：清華大學出版社
- 出版時間：2016.10.01
內容簡介,圖書目錄,
內容簡介
本書詳細介紹了大數據技術的基礎理論和最新主流前沿技術，全書共分為10章，分別介紹我們目前面臨的數位化信息社會的大數據時代、大數據技術基本概念、雲計算網路、大數據採集與預處理、大數據存儲、計算模式與處理系統、查詢顯示與互動、大數據分析與數據挖掘、隱私與安全、大數據技術發展前景，同時包括行業案例研究(銀行、保險、證券、金融行業)，典型系統與相關大數據分析實例。本書主要作為高等院校計算機專業、信息管理專業、經濟類專業、管理類專業相關本科生和研究生專業基礎課的教材，也可以作為幹部培訓、職業技術教育以及職業培訓機構的雲計算與大數據分析技術的專業訓練教材。對從事雲計算與大數據分析工作的財政金融、政府管理、計算機網路、軟體工程的方面的管理與工程技術人員也有學習參考價值。
圖書目錄
第1章大數據技術基本概念31.1數據3
1.1.1數據的單位4
1.1.2數據與信息的關係4
1.1.3數據的分類4
1.2信息6
1.2.1信息的定義6
1.2.2信息資源7
1.2.3信息的套用意義8
1.3大數據9
1.3.1大數據發展歷史9
1.3.2大數據的定義和特點10
1.4大數據技術的基本概念15
1.4.1傳統數據處理15
1.4.2大數據分析的方法理論16
1.4.3大數據技術17
1.5大數據的社會價值21
1.5.1大數據的社會價值體現21
1.5.2大數據在政府管理方面的套用22
1.5.3大數據在公共服務領域的套用23
1.6大數據的商業套用24
1.6.1商業大數據的類型和價值挖掘方法24
1.6.2全球大數據市場結構26
1.6.3中國大數據市場26
1.6.4大數據給中國帶來的十大商業套用場景27
1.7大數據與商業模式創新32
1.7.1商業模式的創新特點32
1.7.2商業模式創新可以為企業帶來什麼32
1.7.3基於大數據分析的商業模式創新33
1.8如何成為“大數據企業”35
1.8.1駕馭企業外部大數據35
1.8.2成為“大數據企業”36
1.8.3如何挖掘企業大數據的價值37
1.8.4大數據實質上是一種管理思維38
1.9大數據套用案例之:男女嘉賓《非誠勿擾》牽手數據分析39
習題與思考題42
大數據技術及套用教程目錄第二部分大數據技術
第2章基礎架構——雲計算平台472.1大數據處理的基礎架構47
2.2雲計算網路47
2.2.1雲計算簡介48
2.2.2雲計算系統的體系結構50
2.2.3雲計算服務層次55
2.2.4雲計算技術層次57
2.2.5雲計算的核心技術58
2.2.6典型雲計算平台59
2.2.7典型的雲計算系統及套用64
2.2.8大數據平台的套用67
2.3大數據套用案例之:在“北上廣”打拚是怎樣一種體驗69
習題與思考題72第3章大數據採集與預處理74
3.1大數據採集概念74
3.2數據採集來源75
3.3大數據採集方法76
3.3.1大數據數據採集方面新方法76
3.3.2網頁數據採集方法76
3.3.3Web信息數據自動採集79
3.4導入/預處理82
3.4.1大數據導入/預處理的過程82
3.4.2數據清洗84
3.4.3數據採集(ETL)技術86
3.4.4基於大數據的數據預處理88
3.4.5數據處理的基本流程與關鍵技術90
3.5數據集成91
3.5.1數據集成的概念91
3.5.2數據集成面臨問題92
3.6數據變換92
3.6.1異構數據交換綜述93
3.6.2異構數據分析94
3.6.3異構數據交換方式97
3.6.4異構數據交換技術99
3.6.5異構數據交換與集成的研究方向103
3.7大數據套用案例之:網際網路行業哪個職位比較有前途103
習題與思考題107第4章大數據存儲110
4.1傳統數據存儲110
4.1.1傳統數據存儲介質110
4.1.2存儲的模式112
4.2海量數據存儲的需求113
4.3分散式存儲系統117
4.3.1分散式存儲系統117
4.3.2典型系統118
4.4雲存儲120
4.5資料庫123
4.5.1資料庫分類123
4.5.2常規SQL結構化關係資料庫124
4.5.3NoSQL非結構化資料庫124
4.5.4NoSQL技術126
4.5.5大規模並行分析資料庫129
4.6數據倉庫131
4.6.1數據倉庫的概念131
4.6.2數據倉庫技術發展133
4.6.3數據倉庫原理及構成133
4.6.4數據倉庫的基本架構136
4.6.5數據倉庫的數據存儲136
4.6.6數據倉庫的數據套用137
4.6.7元數據管理138
4.7大數據套用案例之:一場霧霾將損失多少GDP138
習題與思考題141
第5章大數據計算模式與處理系統143
5.1數據計算143
5.1.1離線批處理143
5.1.2實時互動計算145
5.1.3海量數據實時計算145
5.1.4流計算146
5.2聚類算法147
5.2.1聚類算法的分類147
5.2.2數據分類與聚類147
5.3數據集成148
5.3.1數據集成概述149
5.3.2數據集成方案155
5.3.3企業數據集成套用形式157
5.3.4企業整體解決方案160
5.4機器學習161
5.4.1機器學習的定義和例子162
5.4.2機器學習的範圍164
5.4.3機器學習的方法165
5.4.4機器學習的套用——大數據170
5.4.5機器學習的子類——深度學習172
5.4.6機器學習的父類——人工智慧174
5.5數據處理語言175
5.5.1數據分析語言R175
5.5.2大數據開發語言Python177
5.6大數據套用案例之:北京的人流在哪兒？用大數據看城市179
習題與思考題183第6章大數據查詢、顯現與互動185
6.1數據的查詢185
6.1.1常規資料庫查詢結構化數據185
6.1.2大數據時代的數據搜尋186
6.1.3資料庫與信息檢索技術的比較188
6.1.4資料庫技術面臨的Web數據管理問題189
6.2網路數據索引與查詢技術192
6.2.1搜尋引擎技術概述192
6.2.2Web搜尋引擎工作原理192
6.3大數據索引與查詢技術200
6.3.1大數據索引和查詢200
6.3.2大數據處理案例:登機牌、閱卷與MapReduce201
6.4相似性搜尋工具206
6.5數據展現與互動209
6.6數據可視化210
6.6.1數據可視化概念210
6.6.2數據可視化定義與方法211
6.6.3數據可視化分析216
6.6.4個性化精準推薦217
6.6.5預測和預警217
6.6.6決策分析219
6.7知識圖譜220
6.7.1知識圖譜的概念221
6.7.2知識圖譜的表示221
6.7.3知識圖譜的存儲222
6.7.4知識圖譜的套用223
6.8大數據套用案例之:數據告訴你，上海的房子都被
誰買走了229
習題與思考題233第7章大數據分析與數據挖掘235
7.1大數據的分析及套用235
7.1.1數據處理和分析的發展235
7.1.2大數據分析面對的數據類型236
7.1.3大數據分析與處理方法237
7.1.4數據分析的步驟237
7.1.5大數據分析套用240
7.2數據挖掘技術242
7.2.1數據挖掘的定義242
7.2.2數據挖掘的常用方法244
7.2.3數據挖掘的功能245
7.2.4數據挖掘技術246
7.2.5數據挖掘的流程248
7.2.6數據挖掘的套用250
7.2.7“大數據自動挖掘”才是大數據的真正意義251
7.3商業智慧型與數據分析252
7.3.1商業智慧型技術輔助決策的發展252
7.3.2商業智慧型系統架構253
7.3.3商業智慧型的技術體系253
7.3.4商務智慧型=數據+分析+決策+利益254
7.4電商大數據分析技術257
7.4.1移動網際網路套用數據分析基礎257
7.4.2用戶規模和質量258
7.4.3參與度分析259
7.4.4渠道分析260
7.4.5功能分析261
7.4.6用戶屬性分析262
7.5大數據行銷業務模型263
7.5.1大數據對業務模式的影響263
7.5.2大數據時代的網路化精確行銷264
7.5.3移動互聯和大數據時代的電子商務265
7.5.4大數據行銷的定義與特點266
7.5.5網路行銷大數據實際操作268
7.5.6數據行銷方法論270
7.6基於社會媒體的分析預測技術273
7.6.1基於空間大數據的社會感知273
7.6.2基於社會媒體的預測技術278
7.6.3基於消費意圖挖掘的預測279
7.6.4基於事件抽取的預測282
7.6.5基於因果分析的預測282
7.7大數據套用案例之:如何用大數據看風水？以星巴克和海底撈的
選址為例286
習題與思考題287第8章大數據隱私與安全290
8.1大數據面臨的問題290
8.1.1大數據面臨的安全問題290
8.1.2使用大數據分析安全與隱私的問題295
8.2大數據安全與隱私保護關鍵技術296
8.2.1基於大數據的威脅發現技術296
8.2.2基於大數據的認證技術297
8.2.3基於大數據的數據真實性分析298
8.2.4大數據與“安全即服務”298
8.3大數據安全的防護策略298
8.4大數據套用案例之:電影《爸爸去哪兒》大賣有前兆么？300
習題與思考題305
第三部分大數據分析案例
第9章行業案例研究——銀行、保險、證券、金融行業309
9.1銀行業套用309
9.1.1大數據時代:銀行如何玩轉數據挖掘309
9.1.2工商銀行客戶關係管理案例311
9.1.3銀行風險管理314
9.2保險業套用318
9.2.1保險產業擁抱“大數據時代”或帶來顛覆性變革318
9.2.2保險欺詐識別320
9.3證券期貨套用322
9.3.1安徽使用大數據監管證券期貨322
9.3.2“大數據”分析挖出基金“老鼠倉”的啟示323
9.4金融行業套用324
9.4.1汽車金融公司怎么實現大數據管理324
9.4.2大數據決定網際網路金融未來326
9.4.3移動大數據在網際網路金融反欺詐領域的套用329
9.5大數據套用案例之:大吃一驚！大數據下的中國原來是這樣的331
第四部分大數據技術現狀及發展展望
第10章大數據技術發展前景339
10.1大數據引發新一代信息技術變革浪潮339
10.2大數據採集與預處理技術發展前景341
10.3大數據存儲與管理技術發展前景342
10.4大數據計算模式與系統技術發展前景347
10.5大數據分析與挖掘技術發展前景351
10.6大數據可視化分析技術發展前景353
10.7大數據隱私與安全技術發展前景357
1.1.1數據的單位4
1.1.2數據與信息的關係4
1.1.3數據的分類4
1.2信息6
1.2.1信息的定義6
1.2.2信息資源7
1.2.3信息的套用意義8
1.3大數據9
1.3.1大數據發展歷史9
1.3.2大數據的定義和特點10
1.4大數據技術的基本概念15
1.4.1傳統數據處理15
1.4.2大數據分析的方法理論16
1.4.3大數據技術17
1.5大數據的社會價值21
1.5.1大數據的社會價值體現21
1.5.2大數據在政府管理方面的套用22
1.5.3大數據在公共服務領域的套用23
1.6大數據的商業套用24
1.6.1商業大數據的類型和價值挖掘方法24
1.6.2全球大數據市場結構26
1.6.3中國大數據市場26
1.6.4大數據給中國帶來的十大商業套用場景27
1.7大數據與商業模式創新32
1.7.1商業模式的創新特點32
1.7.2商業模式創新可以為企業帶來什麼32
1.7.3基於大數據分析的商業模式創新33
1.8如何成為“大數據企業”35
1.8.1駕馭企業外部大數據35
1.8.2成為“大數據企業”36
1.8.3如何挖掘企業大數據的價值37
1.8.4大數據實質上是一種管理思維38
1.9大數據套用案例之:男女嘉賓《非誠勿擾》牽手數據分析39
習題與思考題42
大數據技術及套用教程目錄第二部分大數據技術
第2章基礎架構——雲計算平台472.1大數據處理的基礎架構47
2.2雲計算網路47
2.2.1雲計算簡介48
2.2.2雲計算系統的體系結構50
2.2.3雲計算服務層次55
2.2.4雲計算技術層次57
2.2.5雲計算的核心技術58
2.2.6典型雲計算平台59
2.2.7典型的雲計算系統及套用64
2.2.8大數據平台的套用67
2.3大數據套用案例之:在“北上廣”打拚是怎樣一種體驗69
習題與思考題72第3章大數據採集與預處理74
3.1大數據採集概念74
3.2數據採集來源75
3.3大數據採集方法76
3.3.1大數據數據採集方面新方法76
3.3.2網頁數據採集方法76
3.3.3Web信息數據自動採集79
3.4導入/預處理82
3.4.1大數據導入/預處理的過程82
3.4.2數據清洗84
3.4.3數據採集(ETL)技術86
3.4.4基於大數據的數據預處理88
3.4.5數據處理的基本流程與關鍵技術90
3.5數據集成91
3.5.1數據集成的概念91
3.5.2數據集成面臨問題92
3.6數據變換92
3.6.1異構數據交換綜述93
3.6.2異構數據分析94
3.6.3異構數據交換方式97
3.6.4異構數據交換技術99
3.6.5異構數據交換與集成的研究方向103
3.7大數據套用案例之:網際網路行業哪個職位比較有前途103
習題與思考題107第4章大數據存儲110
4.1傳統數據存儲110
4.1.1傳統數據存儲介質110
4.1.2存儲的模式112
4.2海量數據存儲的需求113
4.3分散式存儲系統117
4.3.1分散式存儲系統117
4.3.2典型系統118
4.4雲存儲120
4.5資料庫123
4.5.1資料庫分類123
4.5.2常規SQL結構化關係資料庫124
4.5.3NoSQL非結構化資料庫124
4.5.4NoSQL技術126
4.5.5大規模並行分析資料庫129
4.6數據倉庫131
4.6.1數據倉庫的概念131
4.6.2數據倉庫技術發展133
4.6.3數據倉庫原理及構成133
4.6.4數據倉庫的基本架構136
4.6.5數據倉庫的數據存儲136
4.6.6數據倉庫的數據套用137
4.6.7元數據管理138
4.7大數據套用案例之:一場霧霾將損失多少GDP138
習題與思考題141
第5章大數據計算模式與處理系統143
5.1數據計算143
5.1.1離線批處理143
5.1.2實時互動計算145
5.1.3海量數據實時計算145
5.1.4流計算146
5.2聚類算法147
5.2.1聚類算法的分類147
5.2.2數據分類與聚類147
5.3數據集成148
5.3.1數據集成概述149
5.3.2數據集成方案155
5.3.3企業數據集成套用形式157
5.3.4企業整體解決方案160
5.4機器學習161
5.4.1機器學習的定義和例子162
5.4.2機器學習的範圍164
5.4.3機器學習的方法165
5.4.4機器學習的套用——大數據170
5.4.5機器學習的子類——深度學習172
5.4.6機器學習的父類——人工智慧174
5.5數據處理語言175
5.5.1數據分析語言R175
5.5.2大數據開發語言Python177
5.6大數據套用案例之:北京的人流在哪兒？用大數據看城市179
習題與思考題183第6章大數據查詢、顯現與互動185
6.1數據的查詢185
6.1.1常規資料庫查詢結構化數據185
6.1.2大數據時代的數據搜尋186
6.1.3資料庫與信息檢索技術的比較188
6.1.4資料庫技術面臨的Web數據管理問題189
6.2網路數據索引與查詢技術192
6.2.1搜尋引擎技術概述192
6.2.2Web搜尋引擎工作原理192
6.3大數據索引與查詢技術200
6.3.1大數據索引和查詢200
6.3.2大數據處理案例:登機牌、閱卷與MapReduce201
6.4相似性搜尋工具206
6.5數據展現與互動209
6.6數據可視化210
6.6.1數據可視化概念210
6.6.2數據可視化定義與方法211
6.6.3數據可視化分析216
6.6.4個性化精準推薦217
6.6.5預測和預警217
6.6.6決策分析219
6.7知識圖譜220
6.7.1知識圖譜的概念221
6.7.2知識圖譜的表示221
6.7.3知識圖譜的存儲222
6.7.4知識圖譜的套用223
6.8大數據套用案例之:數據告訴你，上海的房子都被
誰買走了229
習題與思考題233第7章大數據分析與數據挖掘235
7.1大數據的分析及套用235
7.1.1數據處理和分析的發展235
7.1.2大數據分析面對的數據類型236
7.1.3大數據分析與處理方法237
7.1.4數據分析的步驟237
7.1.5大數據分析套用240
7.2數據挖掘技術242
7.2.1數據挖掘的定義242
7.2.2數據挖掘的常用方法244
7.2.3數據挖掘的功能245
7.2.4數據挖掘技術246
7.2.5數據挖掘的流程248
7.2.6數據挖掘的套用250
7.2.7“大數據自動挖掘”才是大數據的真正意義251
7.3商業智慧型與數據分析252
7.3.1商業智慧型技術輔助決策的發展252
7.3.2商業智慧型系統架構253
7.3.3商業智慧型的技術體系253
7.3.4商務智慧型=數據+分析+決策+利益254
7.4電商大數據分析技術257
7.4.1移動網際網路套用數據分析基礎257
7.4.2用戶規模和質量258
7.4.3參與度分析259
7.4.4渠道分析260
7.4.5功能分析261
7.4.6用戶屬性分析262
7.5大數據行銷業務模型263
7.5.1大數據對業務模式的影響263
7.5.2大數據時代的網路化精確行銷264
7.5.3移動互聯和大數據時代的電子商務265
7.5.4大數據行銷的定義與特點266
7.5.5網路行銷大數據實際操作268
7.5.6數據行銷方法論270
7.6基於社會媒體的分析預測技術273
7.6.1基於空間大數據的社會感知273
7.6.2基於社會媒體的預測技術278
7.6.3基於消費意圖挖掘的預測279
7.6.4基於事件抽取的預測282
7.6.5基於因果分析的預測282
7.7大數據套用案例之:如何用大數據看風水？以星巴克和海底撈的
選址為例286
習題與思考題287第8章大數據隱私與安全290
8.1大數據面臨的問題290
8.1.1大數據面臨的安全問題290
8.1.2使用大數據分析安全與隱私的問題295
8.2大數據安全與隱私保護關鍵技術296
8.2.1基於大數據的威脅發現技術296
8.2.2基於大數據的認證技術297
8.2.3基於大數據的數據真實性分析298
8.2.4大數據與“安全即服務”298
8.3大數據安全的防護策略298
8.4大數據套用案例之:電影《爸爸去哪兒》大賣有前兆么？300
習題與思考題305
第三部分大數據分析案例
第9章行業案例研究——銀行、保險、證券、金融行業309
9.1銀行業套用309
9.1.1大數據時代:銀行如何玩轉數據挖掘309
9.1.2工商銀行客戶關係管理案例311
9.1.3銀行風險管理314
9.2保險業套用318
9.2.1保險產業擁抱“大數據時代”或帶來顛覆性變革318
9.2.2保險欺詐識別320
9.3證券期貨套用322
9.3.1安徽使用大數據監管證券期貨322
9.3.2“大數據”分析挖出基金“老鼠倉”的啟示323
9.4金融行業套用324
9.4.1汽車金融公司怎么實現大數據管理324
9.4.2大數據決定網際網路金融未來326
9.4.3移動大數據在網際網路金融反欺詐領域的套用329
9.5大數據套用案例之:大吃一驚！大數據下的中國原來是這樣的331
第四部分大數據技術現狀及發展展望
第10章大數據技術發展前景339
10.1大數據引發新一代信息技術變革浪潮339
10.2大數據採集與預處理技術發展前景341
10.3大數據存儲與管理技術發展前景342
10.4大數據計算模式與系統技術發展前景347
10.5大數據分析與挖掘技術發展前景351
10.6大數據可視化分析技術發展前景353
10.7大數據隱私與安全技術發展前景357
10.8大數據套用案例之:數據解讀城市:北京本地人VS外地人360參考文獻366
