大數據通識教程（微課版）數字文明與數字治理

《大數據通識教程（微課版）數字文明與數字治理》是2024年人民郵電出版社出版的圖書。

基本介紹

• 中文名：大數據通識教程（微課版）數字文明與數字治理
• 出版時間：2024年2月1日
• 出版社：人民郵電出版社
• ISBN：9787115619112
• 開本：16 開

內容簡介

“文明”是人類經過教化後達到的一種狀態，代表著社會的進步。自人類社會發端以來，人類文明就進入了一個漫長的演進過程。從原始文明、農業文明、工業文明到數字文明，每一次新文明的誕生都代表著文明形態的重塑和社會的變更。數字文明是一種基於大數據、雲計算、物聯網、區塊鏈等新一代技術，以高科技為主要特徵的文明，其核心是網路化、信息化與智慧型化的深度融合。它在提高生產力水平、豐富物質供給的同時，也塑造了一個全新的人類文明形態。 “大數據導論”是一門知識性和套用性都很強的課程。本書針對各專業大學生的大數據通識教育需求，系統、全面地介紹關於大數據技術及其套用的基礎知識和技能，包括走進數字文明、數位化轉型與數字經濟、大數據思維變革、大數據商業規則、大數據促進醫療與健康、大數據與城市大腦、大數據可視化、大數據預測分析、大數據處理與存儲、大數據與雲計算、大數據與人工智慧、大數據安全與法律、數據科學與職業技能以及大數據的未來等內容，具有較強的可讀性和實用性。

圖書目錄

【導讀案例】“數字文明”到底是個什麼文明？ 1

1．1　數字勞動推動數字文明　4

1．2　大數據時代　5

1．2．1　天文學——信息爆炸的起源　6

1．2．2　爆發式增長的數據量　7

1．2．3　大數據的定義　9

1．2．4　用3V描述大數據特徵　9

1．2．5　廣義的大數據　11

1．3　大數據結構類型　12

1．4　大數據的發展　13

1．4．1　硬體性價比提高與軟體技術進步　13

1．4．2　雲計算的普及　14

1．4．3　大數據作為BI的進化形式　14

1．4．4　從交易數據到互動數據　15

【習題】　16

【導讀案例】數字文明如何作答四問？　19

2．1　什麼是數位化　21

2．1．1　數位化的概念　21

2．1．2　從歷史發展看數位化　23

2．1．3　從技術層面看數位化　25

2．1．4　數位化的意義　26

2．2　數位化轉型　26

2．2．1　購物流程的變化　27

2．2．2　信息化與數位化　27

2．2．3　數位化企業解決方案　28

2．3　數字孿生　29

2．3．1　數字孿生的原理　29

2．3．2　數據孿生基本組成　30

2．3．3　數字孿生的研究　31

2．3．4　數字孿生與數字生產線　31

2．4　數字經濟　34

2．4．1　數字經濟的概念　34

2．4．2　數字經濟的要素　35

2．4．3　數字經濟的研究　36

【習題】　37

【導讀案例】購物網站的推薦系統　40

3．1　大數據思維　43

3．2　轉變之一：樣本=總體　44

3．2．1　小數據時代的隨機採樣　45

3．2．2　全數據模式：樣本=總體　47

3．3　轉變之二：接受數據的混雜性　48

3．3．1　允許不精確　48

3．3．2　大數據簡單算法與小數據複雜算法　50

3．3．3　紛繁的數據越多越好　51

3．3．4　混雜性是標準途徑　52

3．4　轉變之三：數據的相關關係　53

3．4．1　關聯物，預測的關鍵　53

3．4．2　“是什麼”，而不是“為什麼”　55

3．4．3　通過因果關係了解世界　56

3．4．4　通過相關關係了解世界　57

【習題】　58

【導讀案例】準確預測地震　59

4．1　大數據的跨界年度　60

4．1．1　商業動機和驅動力　61

4．1．2　企業的大數據行動　62

4．1．3　數據驅動的企業文化　63

4．2　將信息變成競爭優勢　65

4．2．1　數據價格下降而需求上升　66

4．2．2　大數據應用程式興起　66

4．2．3　企業構建大數據戰略　67

4．3　大數據行銷　68

4．3．1　像媒體公司一樣思考　68

4．3．2　面對新的機遇與挑戰　69

4．3．3　自動化行銷　70

4．3．4　創建高容量和高價值內容　71

4．3．5　用投資回報率評價行銷效果　71

4．4　內容創作與眾包　72

【習題】　73

【導讀案例】大數據變革公共衛生　76

5．1　大數據與循證醫學　78

5．2　大數據帶來的醫療新突破　80

5．2．1　量化自我，關注個人健康　80

5．2．2　可穿戴的個人健康設備　81

5．2．3　大數據時代的醫療信息　83

5．2．4　CellMiner，對抗癌症的新工具　84

5．3　醫療信息數位化　86

5．4　搜尋：超級大數據的最佳夥伴　88

5．5　數據決策的崛起　89

5．5．1　數據輔助診斷　90

5．5．2　你考慮過……了嗎　90

5．5．3　大數據分析使數據決策崛起　92

【習題】　92

【導讀案例】城市大腦是這樣煉成的　95

6．1　智慧交通駛入快車道　98

6．1．1　導航和感知更精準　99

6．1．2　機場管理更精細　99

6．1．3　數字航道動態監測　100

6．1．4　創新驅動賦能增效　101

6．2　城市大腦建設　102

6．2．1　對城市大腦的認識　102

6．2．2　城市大腦產生根源和背景　103

6．2．3　城市大腦的未來目標　104

6．2．4　城市大腦的重要性　105

6．3　大數據——智慧城市的“核心”　105

6．3．1　城市大腦與數據可視化　106

6．3．2　城市大腦與數據共享　106

6．3．3　大數據驅動城市大腦　106

6．4　城市大數據治理　107

6．4．1　數據治理內容　107

6．4．2　數據治理類型　108

6．4．3　元數據管理　110

6．4．4　數據治理方案　111

6．4．5　數據治理模型　112

6．4．6　數據治理工具　113

【習題】　113

【導讀案例】南丁格爾“極區圖”　116

7．1　數據與可視化　118

7．1．1　數據的可變性　118

7．1．2　數據的不確定性　120

7．1．3　數據的背景信息　120

7．1．4　打造最好的可視化效果　122

7．2　數據與圖形　122

7．2．1　數據與走勢　123

7．2．2　視覺信息的科學解釋　124

7．3　視覺分析　125

7．3．1　熱點圖　125

7．3．2　時間序列圖　126

7．3．3　網路圖　126

7．3．4　空間數據製圖　127

7．4　實時可視化　128

7．5　數據可視化的運用　128

【作　業】　130

【導讀案例】葡萄酒的品質　133

8．1　什麼是預測分析　137

8．1　1 預測分析的作用　138

8．1．2　數據具有內在預測性　140

8．1．3　定量分析與定性分析　140

8．2　統計分析　141

8．2．1　A/B測試　141

8．2．2　相關性分析　142

8．2．3　回歸性分析　143

8．3　數據挖掘　144

8．4　大數據分析生命周期　145

8．4．1　商業案例評估　145

8．4．2　數據標識　146

8．4．3　數據獲取與過濾　147

8．4．4　數據提取　147

8．4．5　數據驗證與清理　148

8．4．6　數據聚合與表示　149

8．4．7　數據分析　150

8．4．8　數據可視化　150

8．4．9　分析結果的使用　151

【習題】　151

【導讀案例】什麼是開源？　154

9．1　開源技術商業支援　156

9．2　Hadoop基礎　157

9．2．1　Hadoop的由來　157

9．2．2　Hadoop的優勢　158

9．3　分散式處理　159

9．3．1　分散式系統　159

9．3．2　分散式檔案系統　160

9．3．3　並行與分散式數據處理　160

9．3．4　分散式存儲　161

9．4　NoSQL資料庫　161

9．4．1　主要特徵　162

9．4．2　鍵-值存儲　164

9．4．3　文檔存儲　165

9．4．4　列簇存儲　166

9．4．5　圖存儲　167

9．4．6　與RDBMS的主要區別　168

9．5　NewSQL資料庫　169

【習題】　170

【導讀案例】數字經濟時代雲發展趨勢　173

10．1　與數位化相關的技術　175

10．2　雲計算概述　177

10．2．1　雲計算定義　177

10．2．2　雲基礎設施　179

10．3　計算虛擬化　180

10．4　網路虛擬化　181

10．4．1　網卡虛擬化　181

10．4．2　虛擬交換機　182

10．4．3　接入層虛擬化　182

10．4．4　覆蓋網路虛擬化　183

10．4．5　軟體定義網路（SDN）　183

10．5　存儲虛擬化　184

10．6　雲計算服務形式　185

10．6．1　雲計算的服務層次　185

10．6．2　大數據與雲相輔相成　186

10．6．3　雲的挑戰　187

10．7　大數據與雲計算　187

【習題】　188

【導讀案例】大數據與人工智慧的關係　191

11．1　人工智慧概述　192

11．2　機器學習基礎　193

11．2．1　機器學習的定義　194

11．2．2　基本結構　195

11．2．3　研究領域　196

11．3　機器學習分類　196

11．3．1　基於學習策略分類　196

11．3．2　基於知識表示形式分類　197

11．3．3　按套用領域分類　198

11．3．4　按學習形式分類　198

11．4　神經網路與深度學習　201

11．4．1　人工神經網路的特徵　201

11．4．2　深度學習的意義　202

11．4．3　深度學習的方法　203

11．4．4　深度學習的實現　205

11．5　機器學習與深度學習　207

【習題】　208

【導讀案例】中國《個人信息保護法》施行　211

12．1　大數據的安全問題　213

12．1．1　採集匯聚安全　213

12．1．2　存儲處理安全　214

12．1．3　共享使用安全　215

12．2　大數據的管理維度　216

12．3　大數據的安全體系　216

12．3．1　安全技術體系　217

12．3．2　大數據安全治理　218

12．3．3　大數據安全測評　218

12．3．4　大數據安全運維　218

12．3．5　以數據為中心的安全要素　219

12．4　大數據倫理與法規　220

12．4．1　大數據的倫理問題　220

12．4．2　大數據的倫理規則　221

12．4．3　數據安全法施行　222

【習題】　223

【導讀案例】得數據者得天下　226

13．1　計算思維　229

13．1．1　計算思維的概念　229

13．1．2　計算思維的作用　230

13．1．3　計算思維的特點　232

13．2　數據工程師的社會責任　233

13．2．1　職業化和道德責任　233

13．2．2　ACM職業道德責任　234

13．2．3　軟體工程師道德基礎　235

13．3　數據科學與職業技能　236

13．3．1　數據科學重要技能　236

13．3．2　重要數據科學技能　237

13．3．3　技能因職業角色而異　238

13．3．4　大數據生態系統關鍵角色　240

【習題】　241

【導讀案例】加快建立完善數據產權制度　244

14．1　連線開放數據　245

14．1．1　LOD運動　246

14．1．2　利用開放數據的創業型公司　247

14．2　大數據資產的崛起　248

14．2．1　數據市場的興起　248

14．2．2　不同的商業模式　248

14．2．3　將原創數據變為增值數據　249

14．2．4　大數據催生新的應用程式　249

14．2．5　在大數據“空白”中提取最大價值　250

14．3　大數據發展趨勢　250

14．3．1　信息領域的突破性發展　251

14．3．2　未來發展趨勢的專家預測　252

14．4　大數據技術展望　254

14．4．1　數據管理仍然很難　254

14．4．2　數據孤島繼續激增　254

14．4．3　流媒體分析的突破　255

14．4．4　技術發展帶來技能轉變　255

14．4．5　“快速數據”和“可運算元據”　256

14．4．6　預測分析將數據轉化為預測　256

【習題】　257

【導讀案例】“數字文明”到底是個什麼文明？　1

1．1　數字勞動推動數字文明　4

1．2　大數據時代　5

1．2．1　天文學——信息爆炸的起源　6

1．2．2　爆發式增長的數據量　7

1．2．3　大數據的定義　9

1．2．4　用3V描述大數據特徵　9

1．2．5　廣義的大數據　11

1．3　大數據結構類型　12

1．4　大數據的發展　13

1．4．1　硬體性價比提高與軟體技術進步　13

1．4．2　雲計算的普及　14

1．4．3　大數據作為BI的進化形式　14

1．4．4　從交易數據到互動數據　15

【習題】　16

【導讀案例】數字文明如何作答四問？　19

2．1　什麼是數位化　21

2．1．1　數位化的概念　21

2．1．2　從歷史發展看數位化　23

2．1．3　從技術層面看數位化　25

2．1．4　數位化的意義　26

2．2　數位化轉型　26

2．2．1　購物流程的變化　27

2．2．2　信息化與數位化　27

2．2．3　數位化企業解決方案　28

2．3　數字孿生　29

2．3．1　數字孿生的原理　29

2．3．2　數據孿生基本組成　30

2．3．3　數字孿生的研究　31

2．3．4　數字孿生與數字生產線　31

2．4　數字經濟　34

2．4．1　數字經濟的概念　34

2．4．2　數字經濟的要素　35

2．4．3　數字經濟的研究　36

【習題】　37

【導讀案例】購物網站的推薦系統　40

3．1　大數據思維　43

3．2　轉變之一：樣本=總體　44

3．2．1　小數據時代的隨機採樣　45

3．2．2　全數據模式：樣本=總體　47

3．3　轉變之二：接受數據的混雜性　48

3．3．1　允許不精確　48

3．3．2　大數據簡單算法與小數據複雜算法　50

3．3．3　紛繁的數據越多越好　51

3．3．4　混雜性是標準途徑　52

3．4　轉變之三：數據的相關關係　53

3．4．1　關聯物，預測的關鍵　53

3．4．2　“是什麼”，而不是“為什麼”　55

3．4．3　通過因果關係了解世界　56

3．4．4　通過相關關係了解世界　57

【習題】　58

【導讀案例】準確預測地震　59

4．1　大數據的跨界年度　60

4．1．1　商業動機和驅動力　61

4．1．2　企業的大數據行動　62

4．1．3　數據驅動的企業文化　63

4．2　將信息變成競爭優勢　65

4．2．1　數據價格下降而需求上升　66

4．2．2　大數據應用程式興起　66

4．2．3　企業構建大數據戰略　67

4．3　大數據行銷　68

4．3．1　像媒體公司一樣思考　68

4．3．2　面對新的機遇與挑戰　69

4．3．3　自動化行銷　70

4．3．4　創建高容量和高價值內容　71

4．3．5　用投資回報率評價行銷效果　71

4．4　內容創作與眾包　72

【習題】　73

【導讀案例】大數據變革公共衛生　76

5．1　大數據與循證醫學　78

5．2　大數據帶來的醫療新突破　80

5．2．1　量化自我，關注個人健康　80

5．2．2　可穿戴的個人健康設備　81

5．2．3　大數據時代的醫療信息　83

5．2．4　CellMiner，對抗癌症的新工具　84

5．3　醫療信息數位化　86

5．4　搜尋：超級大數據的最佳夥伴　88

5．5　數據決策的崛起　89

5．5．1　數據輔助診斷　90

5．5．2　你考慮過……了嗎　90

5．5．3　大數據分析使數據決策崛起　92

【習題】　92

【導讀案例】城市大腦是這樣煉成的　95

6．1　智慧交通駛入快車道　98

6．1．1　導航和感知更精準　99

6．1．2　機場管理更精細　99

6．1．3　數字航道動態監測　100

6．1．4　創新驅動賦能增效　101

6．2　城市大腦建設　102

6．2．1　對城市大腦的認識　102

6．2．2　城市大腦產生根源和背景　103

6．2．3　城市大腦的未來目標　104

6．2．4　城市大腦的重要性　105

6．3　大數據——智慧城市的“核心”　105

6．3．1　城市大腦與數據可視化　106

6．3．2　城市大腦與數據共享　106

6．3．3　大數據驅動城市大腦　106

6．4　城市大數據治理　107

6．4．1　數據治理內容　107

6．4．2　數據治理類型　108

6．4．3　元數據管理　110

6．4．4　數據治理方案　111

6．4．5　數據治理模型　112

6．4．6　數據治理工具　113

【習題】　113

【導讀案例】南丁格爾“極區圖”　116

7．1　數據與可視化　118

7．1．1　數據的可變性　118

7．1．2　數據的不確定性　120

7．1．3　數據的背景信息　120

7．1．4　打造最好的可視化效果　122

7．2　數據與圖形　122

7．2．1　數據與走勢　123

7．2．2　視覺信息的科學解釋　124

7．3　視覺分析　125

7．3．1　熱點圖　125

7．3．2　時間序列圖　126

7．3．3　網路圖　126

7．3．4　空間數據製圖　127

7．4　實時可視化　128

7．5　數據可視化的運用　128

【作　業】　130

【導讀案例】葡萄酒的品質　133

8．1　什麼是預測分析　137

8．1　1 預測分析的作用　138

8．1．2　數據具有內在預測性　140

8．1．3　定量分析與定性分析　140

8．2　統計分析　141

8．2．1　A/B測試　141

8．2．2　相關性分析　142

8．2．3　回歸性分析　143

8．3　數據挖掘　144

8．4　大數據分析生命周期　145

8．4．1　商業案例評估　145

8．4．2　數據標識　146

8．4．3　數據獲取與過濾　147

8．4．4　數據提取　147

8．4．5　數據驗證與清理　148

8．4．6　數據聚合與表示　149

8．4．7　數據分析　150

8．4．8　數據可視化　150

8．4．9　分析結果的使用　151

【習題】　151

【導讀案例】什麼是開源？　154

9．1　開源技術商業支援　156

9．2　Hadoop基礎　157

9．2．1　Hadoop的由來　157

9．2．2　Hadoop的優勢　158

9．3　分散式處理　159

9．3．1　分散式系統　159

9．3．2　分散式檔案系統　160

9．3．3　並行與分散式數據處理　160

9．3．4　分散式存儲　161

9．4　NoSQL資料庫　161

9．4．1　主要特徵　162

9．4．2　鍵-值存儲　164

9．4．3　文檔存儲　165

9．4．4　列簇存儲　166

9．4．5　圖存儲　167

9．4．6　與RDBMS的主要區別　168

9．5　NewSQL資料庫　169

【習題】　170

【導讀案例】數字經濟時代雲發展趨勢　173

10．1　與數位化相關的技術　175

10．2　雲計算概述　177

10．2．1　雲計算定義　177

10．2．2　雲基礎設施　179

10．3　計算虛擬化　180

10．4　網路虛擬化　181

10．4．1　網卡虛擬化　181

10．4．2　虛擬交換機　182

10．4．3　接入層虛擬化　182

10．4．4　覆蓋網路虛擬化　183

10．4．5　軟體定義網路（SDN）　183

10．5　存儲虛擬化　184

10．6　雲計算服務形式　185

10．6．1　雲計算的服務層次　185

10．6．2　大數據與雲相輔相成　186

10．6．3　雲的挑戰　187

10．7　大數據與雲計算　187

【習題】　188

【導讀案例】大數據與人工智慧的關係　191

11．1　人工智慧概述　192

11．2　機器學習基礎　193

11．2．1　機器學習的定義　194

11．2．2　基本結構　195

11．2．3　研究領域　196

11．3　機器學習分類　196

11．3．1　基於學習策略分類　196

11．3．2　基於知識表示形式分類　197

11．3．3　按套用領域分類　198

11．3．4　按學習形式分類　198

11．4　神經網路與深度學習　201

11．4．1　人工神經網路的特徵　201

11．4．2　深度學習的意義　202

11．4．3　深度學習的方法　203

11．4．4　深度學習的實現　205

11．5　機器學習與深度學習　207

【習題】　208

【導讀案例】中國《個人信息保護法》施行　211

12．1　大數據的安全問題　213

12．1．1　採集匯聚安全　213

12．1．2　存儲處理安全　214

12．1．3　共享使用安全　215

12．2　大數據的管理維度　216

12．3　大數據的安全體系　216

12．3．1　安全技術體系　217

12．3．2　大數據安全治理　218

12．3．3　大數據安全測評　218

12．3．4　大數據安全運維　218

12．3．5　以數據為中心的安全要素　219

12．4　大數據倫理與法規　220

12．4．1　大數據的倫理問題　220

12．4．2　大數據的倫理規則　221

12．4．3　數據安全法施行　222

【習題】　223

【導讀案例】得數據者得天下　226

13．1　計算思維　229

13．1．1　計算思維的概念　229

13．1．2　計算思維的作用　230

13．1．3　計算思維的特點　232

13．2　數據工程師的社會責任　233

13．2．1　職業化和道德責任　233

13．2．2　ACM職業道德責任　234

13．2．3　軟體工程師道德基礎　235

13．3　數據科學與職業技能　236

13．3．1　數據科學重要技能　236

13．3．2　重要數據科學技能　237

13．3．3　技能因職業角色而異　238

13．3．4　大數據生態系統關鍵角色　240

【習題】　241

【導讀案例】加快建立完善數據產權制度　244

14．1　連線開放數據　245

14．1．1　LOD運動　246

14．1．2　利用開放數據的創業型公司　247

14．2　大數據資產的崛起　248

14．2．1　數據市場的興起　248

14．2．2　不同的商業模式　248

14．2．3　將原創數據變為增值數據　249

14．2．4　大數據催生新的應用程式　249

14．2．5　在大數據“空白”中提取最大價值　250

14．3　大數據發展趨勢　250

14．3．1　信息領域的突破性發展　251

14．3．2　未來發展趨勢的專家預測　252

14．4　大數據技術展望　254

14．4．1　數據管理仍然很難　254

14．4．2　數據孤島繼續激增　254

14．4．3　流媒體分析的突破　255

14．4．4　技術發展帶來技能轉變　255

14．4．5　“快速數據”和“可運算元據”　256

14．4．6　預測分析將數據轉化為預測　256

【習題】　257