大數據與智慧社會：數據驅動變革、構建未來世界

《大數據與智慧社會：數據驅動變革、構建未來世界》是2017年人民郵電出版社出版的圖書，作者是張克平、陳曙東。

基本介紹

• 書名：大數據與智慧社會：數據驅動變革、構建未來世界 
• 作者：張克平、陳曙東
• 出版社：人民郵電出版社
• ISBN：9787115456243

內容簡介

大數據正在改變人們的生活、社會的運行方式以及各行業的競爭生態，是提升政府治理水平和企業競爭力的核心要素。然而，政府和企業如何才能抓住大數據帶來的寶貴機遇，改善公共服務、激發商業創新？推進大數據套用的進程對現有技術框架、管理機制、評價體系又有哪些新的要求？

　　針對這一系列問題，《大數據與智慧社會》一書做出了系統的回答。《大數據與智慧社會：數據驅動變革、構建未來世界》從全局出發，對大數據的基本內涵進行了系統描述，概括了大數據的前世今生，揭示了其哲學本質；以技術為主線，深刻剖析了大數據的技術框架，預測了大數據的技術發展趨勢；理論與實踐相結合，形成大數據系統評價標準；選取大數據在生活、政務、交通、醫療、金融領域落地套用的實戰案例，進行深入分析和解讀，以期為我國的政府治理、經濟發展、企業創新提供有效的指導和幫助。

　　《大數據與智慧社會：數據驅動變革、構建未來世界》適合政府決策者、企業管理者、IT實施者（CTO、CDO、技術人員等）以及高等院校相關專業的師生閱讀。

作者簡介

張克平

　　江蘇省無錫市信息化和無線電管理局局長、北京郵電大學兼職教授、清華大學客座教授、2016中國智慧城市百城會首任執行會長，長期致力於無錫物聯網和智慧城市建設並取得突出成績，曾先後榮獲“2009年中國創意策劃領袖人物”“2010年中國物聯網十大人物”“2011年中國城市信息化領軍人物”“2011-2012年度推動中國雲計算產業發展突出貢獻人物”“2016中國智慧城市建設領軍人物”等稱號，以及“2012年中國物聯網產業傑出貢獻獎”“2013-2015年中國智慧城市推進傑出貢獻獎”等獎項。

陳曙東

　　中科院微電子研究所百人計畫研究員、博士生導師，長期從事分散式計算、數據挖掘領域的套用技術研究，主持了多項國家、省部級、歐盟等科技專項，發表學術論文40餘篇，擁有專利與軟體著作權20多項，入選國家、北京市大數據與雲計算領域專家庫。

目錄

第1章 大數據概述 1

1．1 什麼是大數據 2

1．1．1 大數據的定義和特徵 2

1．1．2 大數據的發展歷程 6

1．1．3 大數據的來源 11

1．2 大數據的哲學本質 12

1．2．1 大數據與世界觀 13

1．2．2 大數據與認識論 14

1．2．3 大數據與方法論 15

1．2．4 大數據與價值觀 18

1．3 大數據技術框架 19

1．3．1 大數據處理系統綜述 19

1．3．2 大數據平台基礎 20

1．3．3 大數據存儲系統 22

1．3．4 大數據計算模型 23

1．4 大數據發展趨勢 26

1．4．1 大數據的技術發展趨勢 26

1．4．2 大數據的套用發展趨勢 30

第2章 大數據的雲計算基礎 33

2．1 虛擬化技術 34

2．1．1 虛擬化的概念 34

2．1．2 虛擬化技術分類 35

2．1．3 虛擬化解決方案 36

2．1．4 虛擬化技術與大數據 39

2．2 OpenStack 技術 40

2．2．1 OpenStack 概述 40

2．2．2 OpenStack 歷史 41

2．2．3 OpenStack 系統架構 41

2．2．4 OpenStack 的優勢和劣勢 44

2．2．5 虛擬化與OpenStack 技術比較 46

2．3 IaaS 平台建設 47

2．3．1 IaaS 平台介紹 47

2．3．2 IaaS 雲平台的種類 49

2．3．3 IaaS 平台設計 51

2．3．4 IaaS 平台解決方案 53

2．3．5 IaaS 平台搭建 55

第3章 Hadoop 基礎組件 57

3．1 Hadoop 概述 58

3．1．1 Hadoop 簡介 58

3．1．2 Hadoop 系統架構 59

3．1．3 Hadoop 的優勢與不足 60

3．1．4 Hadoop 的適用場景 63

3．1．5 Hadoop 的商業模式 64

3．2 Hadoop 分散式檔案系統HDFS 65

3．2．1 HDFS 的設計目標 65

3．2．2 HDFS 的基本架構 67

3．2．3 HDFS 的特點 68

3．2．4 HDFS 的優勢與缺點 70

3．3 Hadoop 分散式計算框架MapReduce 72

3．3．1 MapReduce 簡介 72

3．3．2 MapReduce 的運行流程 73

3．3．3 MapReduce 與DataFlow 比較 75

3．4 Hadoop 統一資源管理框架YARN 76

3．4．1 YARN 架構簡介 76

3．4．2 YARN 架構框架 77

3．4．3 YARN 與舊MapReduce 框架對比 79

3．4．4 YARN 與Mesos 框架對比 79

3．5 Hadoop 分散式集群管理系統ZooKeeper 81

3．5．1 ZooKeeper 簡介 81

3．5．2 ZooKeeper 總體架構 82

3．5．3 ZooKeeper 的運行模式 84

3．5．4 ZooKeeper 的設計要點 85

3．5．5 ZooKeeper 的使用 87

第4章 Hadoop 其他常用組件 89

4．1 Hadoop 數據倉庫工具Hive 90

4．1．1 Hive 簡介 90

4．1．2 Hive 架構設計 91

4．1．3 Hive 部署模式 92

4．1．4 Hive 與關係型資料庫比較 94

4．2 Hadoop 分散式資料庫HBase 97

4．2．1 HBase 簡介 97

4．2．2 HBase 體系架構 97

4．2．3 HBase 性能分析 99

4．2．4 HBase 容錯機制 101

4．3 Hadoop 實時流式處理引擎Storm-YARN 102

4．3．1 流式處理概述 102

4．3．2 Storm 簡介 103

4．3．3 Storm 架構 105

4．3．4 Storm 與Spark Streaming 比較 106

4．4 Hadoop 互動式查詢引擎 Impala 108

4．4．1 Impala 簡介 108

4．4．2 Impala 架構分析 109

4．4．3 Impala 與Hive 比較 110

第5章 Spark 記憶體計算框架 113

5．1 記憶體計算與Spark 114

5．1．1 記憶體計算概念 114

5．1．2 記憶體計算分類 116

5．1．3 Spark 與記憶體數據處理系統 118

5．2 Spark 概述 119

5．2．1 Spark 架構 119

5．2．2 Spark 的RDD 模型 121

5．2．3 Spark 與Hadoop 的性能對比 121

5．3 Spark 核心組件介紹 122

5．3．1 Spark SQL 122

5．3．2 Spark MLlib 123

5．3．3 Spark GraphX 123

5．3．4 Spark Streaming 124

5．4 Spark 集群管理 125

5．4．1 Spark 部署方式 125

5．4．2 Spark 資源調度 126

5．4．3 Spark 任務調度 127

第6章 大數據可視化技術 129

6．1 數據可視化的基本概念 131

6．2 數據可視化的發展趨勢 132

6．3 數據可視化套用與設計 135

第7章 數據挖掘技術 139

7．1 什麼是數據挖掘 140

7．2 數據挖掘的流程 142

7．3 數據挖掘典型算法 143

7．4 數據挖掘與大數據 151

第8章 大數據系統評價標準 153

8．1 大數據系統評價概述 154

8．1．1 資訊時代的“雲大物移” 154

8．1．2 大數據項目失敗的常見原因 155

8．2 評價指標選取原則 157

8．3 大數據系統評價標準 159

8．3．1 通用評價要素 159

8．3．2 專有評價要素 160

8．4 大數據系統定位 161

8．4．1 與企業戰略相匹配 161

8．4．2 與企業架構相匹配 162

8．4．3 與企業需求相匹配 162

8．5 大數據價值評估模型 164

8．6 大數據質量評價 165

8．6．1 數據流程視角 165

8．6．2 數據技術視角 167

8．6．3 數據管理視角 168

8．7 大數據安全評價 169

第9章 大數據在生活中的套用 173

9．1 食：食品安全 174

案例：阿里巴巴大數據協助食品安全風險控制 175

9．2 住：智慧型家居 176

案例：無錫市智慧型家居 177

9．3 行：智慧型交通 177

案例：深圳市智慧型綜合交通運行指揮中心 180

9．4 游：智慧旅遊 180

案例：無錫市智慧旅遊立體化行銷體系 181

9．5 購：電商行銷 183

案例：京東大數據行銷 185

第10章 大數據在政務領域的套用 187

10．1 條塊分割拖累政務發展 188

10．2 數據統籌助力決策參考 190

案例：佛山市南海區數據統籌 192

10．3 服務整合創新社會管理 193

案例：無錫市智慧城管系統 194

10．4 資源整合強化公共服務 196

案例：無錫市政務服務平台 197

10．5 數據公開輔助政府監督 200

案例：上海市利用大數據實現市場監管 201

第11章 大數據在交通領域的套用 203

11．1 頻繁擁堵造就城市頑疾 204

11．2 客流分析改進公交線路設計 205

案例：北京市大數據路線最佳化 206

11．3 多源數據輔助交通調查 206

案例：上海市綜合交通特徵分析 208

11．4 整合信息最佳化資源配置 210

案例：無錫市智慧交通信息工程 211

11．5 智慧型數據釋難最後一公里 213

案例：共享腳踏車便捷出行 214

第12章 大數據在醫療領域的套用 215

12．1 醫療數據挖掘行業價值 217

案例：無錫市智慧健康工程 218

12．2 海量數據助推遠程醫療 221

案例：中日醫院基於大數據讓遠程醫療、分級診療深入臨床一線 222

12．3 移動醫療緩解資源緊缺 223

案例：春雨掌上醫生 224

12．4 健康數據實現精準醫療 226

案例：微軟亞洲研究院利用大數據推動癌症精準醫療 226

第13章 大數據在金融領域的套用 229

13．1 交易數據飽含金融商機 231

13．2 智慧型分析防範金融欺詐 232

案例：天下無賊反信息詐欺聯盟 235

13．3 徵信預測改善金融風控 236

案例：ZestFinance 公司 237

13．4 “網際網路+”催生金融產品 239

案例：螞蟻金服 239