大數據·數據管理與數據工程

《大數據·數據管理與數據工程》是2017年7月清華大學出版社出版的圖書，作者是趙眸光、趙勇。

基本介紹

• 中文名：大數據·數據管理與數據工程
• 作者：趙眸光、趙勇
• 出版社：清華大學出版社
• 出版時間：2017年7月
• 定價：59 元
• ISBN：9787302469285

內容簡介

大數據是雲計算、物聯網、移動網際網路、智慧城市等新技術、新模式發展的必然產物，必將對物聯網產業產生深遠的影響。大數據套用也將對社會的組織結構、經濟運行機制、國家的治理模式、企業的決策架構、商業的業務策略以及個人的生活、工作和思維方式等產生深遠的影響。

本書由兩大部分組成，第一部分介紹大數據管理理論框架和生態系統，包括大數據概述； 大數據戰略和商業模式變革； 大數據平台的架構體系； 大數據的數據整合、交換與交易； 大數據管理和治理； 最後提出大數據創新方法論。第二部分介紹數據科學和數據工程，包括數據科學理論和工具； 醫療健康大數據解決方案、環保行業大數據解決方案、移動社交行業大數據解決方案、金融大數據解決方案、中國製造大數據解決方案和大數據工程保障體系建設。

大數據是綜合性較高的交叉學科，本書全面、系統地闡述了大數據管理和技術、大數據科學和工程，具有很強的理論指導性和實踐意義。本書可以供企業管理者、數據科學研究工作者、首席信息官等作為參考資料，也可以作為企業管理、計算機、軟體工程等相關專業學生的教材使用。

圖書目錄

第一部分大數據管理理論框架與生態系統

第1章大數據概述

1.1大數據時代

1.2什麼是大數據

1.2.1大數據定義

1.2.2大數據特徵

1.2.3大數據結構類型

1.2.4數據、信息、知識與智慧型的關係

1.3大數據發展史

1.3.1數據管理髮展歷程

1.3.2大數據的演變及回顧

1.4大數據的度量和價值

1.4.1大數據的度量

1.4.2大數據的價值

1.5大數據生態系統

1.5.1大數據生態系統全貌

1.5.2大數據生態系統框架

1.6大數據套用研究方向

1.6.1大數據管理與技術

1.6.2大數據科學與工程

1.7大數據的挑戰

1.7.1大數據管理方面帶來的挑戰

1.7.2大數據技術方面帶來的挑戰

1.7.3大數據工程方面帶來的挑戰

第2章大數據戰略與商業模式變革

2.1大數據戰略

2.1.1國外大數據戰略視角

2.1.2國內大數據戰略視角

2.2大數據商業模式和商業機會

2.2.1基於大數據的商業模式創新

2.2.2大數據對企業管理決策的影響

2.2.3基於大數據驅動的商業機會

2.3大數據市場的行業套用需求

2.3.1移動網際網路和社交網路

2.3.2政府公共管理

2.3.3教育科研行業

2.3.4金融行業

2.3.5醫療健康業

2.3.6中國製造2025

2.3.7智慧型交通領域

第3章大數據平台的架構體系

3.1大數據基礎設施

3.1.1虛擬化

3.1.2雲計算

3.1.3數據中心

3.2數據採集

3.2.1系統日誌採集方法

3.2.2網路數據採集方法： 對非結構化數據的採集

3.2.3其他數據採集方法

3.3數據存儲

3.3.1結構化數據存儲

3.3.2非結構化數據存儲

3.4數據處理

3.4.1離線批處理

3.4.2實時互動計算

3.4.3流計算

3.5數據互動展示

3.5.1數據可視化基礎

3.5.2數據可視化模式

3.5.3數據可視化工具

3.6大數據套用

3.7運營管理

3.8安全管理

第4章大數據的數據整合、交換與交易

4.1大數據平台整合

4.1.1HDFS分散式檔案系統

4.1.2MapReduce分散式計算框架

4.1.3HBase分散式資料庫

4.1.4互動式數據查詢分析

4.1.5數據收集、轉換工具

4.1.6其他大數據平台

4.2大數據與存儲架構的整合

4.2.1傳統存儲架構

4.2.2集群存儲的發展

4.2.3基於HDFS的集群存儲

4.2.4固態硬碟對記憶體計算的支持

4.3大數據與網路架構的發展

4.4大數據與虛擬化技術的整合

4.5Hadoop環境下的數據整合

4.5.1Hadoop計算環境下的數據整合問題

4.5.2資料庫整合工具Sqoop

4.5.3Hadoop平台內部數據整合工具HCatalog

4.6大數據數據交換

4.6.1數據集成技術

4.6.2數據交換體系套用框架

4.6.3數據交換關鍵技術

4.7大數據交易

4.7.1大數據交易產業鏈

4.7.2大數據交易業務模式分析

4.7.3大數據交易發展趨勢

第5章大數據管理和治理

5.1建立數據驅動的管理體系和架構

5.1.1建立數據管理組織和團隊

5.1.2建立數據管理規章和制度

5.2大數據治理體系

5.2.1數據標準管理

5.2.2數據質量管理

5.2.3元數據管理

5.2.4主數據管理

5.2.5數據資產的全生命周期管理

5.3大數據技術管理體系

5.3.1數據類型和結構

5.3.2數據存儲管理

5.3.3數據倉庫和商業智慧型

5.3.4數據計算和處理

5.3.5數據展示與互動

5.4大數據事務管理

5.4.1事務的基本屬性

5.4.2大數據事務管理機制

5.5大數據流程管理

5.6大數據易用性管理

5.7數據的安全管理

第6章大數據創新方法論

6.1大數據的爆發

6.2大數據創新理論

6.2.1大數據的巨觀性和微觀性

6.2.2大數據的生產要素性

6.2.3大數據的基因特性

6.2.4大數據的催化劑特性

6.2.5大數據的活性和流動性

6.2.6大數據的黑洞效應和核聚變效應

6.3大數據創新方法論

6.4信息演變趨勢

6.5大數據創新實踐閉環

6.6中國創新創業大數據版圖

6.6.1大數據時代的數據管理

6.6.2大眾創業萬眾創新的浪潮

6.6.3中國創新創業大數據版圖的推出

6.6.4雙創版圖中的大數據管理挑戰

6.6.5雙創版圖中大數據技術的集中運用

6.6.6雙創大數據版圖的意義

第二部分數據科學和數據工程

第7章數據科學理論與工具

7.1數據科學理論基礎

7.1.1數據科學概念

7.1.2數據科學預測預警分析

7.1.3商業智慧型與數據科學

7.2數據科學研究的重要角色

7.2.1數據科學家

7.2.2數據科學與工程相關角色

7.3大數據生命周期管理方法論

7.3.1數據分析模型概述

7.3.2數據分析模型流程框架

7.3.3數據分析模型創新案例

7.3.4數據分析工具

7.4數據倉庫理論

7.4.1數據倉庫的主要特徵

7.4.2數據倉庫建模

7.4.3數據倉庫設計

7.4.4數據倉庫建設方法論

7.4.5數據倉庫相關技術

7.4.6DW、OLAP與DM的關係

7.5數據挖掘高級理論

7.5.1聚類分析

7.5.2關聯分析

7.5.3回歸和分類分析

7.5.4時序模型

7.5.5結構最佳化

7.5.6深度機器學習

7.6大數據語義分析知識發現

7.6.1大數據知識發現過程

7.6.2大數據知識發現技術框架

7.6.3大數據知識發現專家系統

7.6.4企業大數據知識管理框架

7.7大數據分析處理平台

7.7.1結構化大數據處理架構

7.7.2非結構化大數據處理架構

7.7.3主流大數據分析平台

第8章醫療健康大數據解決方案

8.1醫療信息化

8.1.1美國醫療信息化發展情況

8.1.2我國醫療信息化發展趨勢

8.1.3醫療健康大數據挑戰和機遇

8.2醫療健康大數據綜述

8.2.1醫療健康大數據類型

8.2.2臨床服務數據

8.2.3公共衛生調查和監測數據

8.2.4醫學研究性數據

8.2.5個人健康數據

8.3醫療健康大數據總體架構

8.3.1建設原則

8.3.2建設目標

8.3.3醫療健康大數據業務架構

8.3.4醫療健康大數據技術架構

8.3.5醫療健康大數據網路架構

8.4醫療健康數據中心解決方案

8.4.1醫療數據中心架構設計方案

8.4.2集中存儲解決方案

8.4.3PACS數據存儲方案

8.4.4容災備份解決方案

8.5醫療健康大數據分析

8.5.1醫療實體對象建模分析

8.5.2醫療個人健康檔案建模分析

8.5.3相關數據特徵對比分析

8.5.4臨床信息學大數據分析

8.5.5醫學文獻研究知識發現

8.6醫療健康大數據展望

第9章環保行業大數據解決方案

9.1環保物聯網

9.1.1物聯網概念

9.1.2物聯網基本架構

9.1.3環保物聯網數據

9.2環保電力脫硫

9.2.1火電脫硫的重要性

9.2.2火電脫硫系統工作原理

9.2.3火電脫硫相關數據

9.2.4脫硫性能最佳化目標

9.3火電行業脫硫大數據分析

9.3.1主要理論和方法

9.3.2最最佳化脫硫可調參數

9.3.3最小化脫硫系統成本

9.4空氣品質大數據分析評價體系

9.4.1基於熵權的模糊綜合評價方法的原理

9.4.2綜合評價指標選擇與數據來源

9.4.3環境質量綜合評價結果及分析

第10章移動社交大數據解決方案

10.1移動社交網路發展情況

10.1.1移動社交網路發展現狀

10.1.2移動社交網路發展方向

10.2社交網路基礎理論和商業模式

10.2.1社交網路相關理論

10.2.2社交化商業模式

10.3移動社交網路數據處理架構

10.3.1移動社交網路服務架構模型

10.3.2Facebook套用案例

10.4移動社交網路大數據分析

10.4.1社交網路平台行為影響分析模型

10.4.2社交網路單平台內影響力分析

10.4.3社交網路多平台影響力分析

第11章金融大數據解決方案

11.1金融信息化

11.1.1全球金融信息化發展歷程

11.1.2我國金融信息化發展趨勢

11.2金融大數據綜述

11.2.1金融大數據的特徵

11.2.2金融大數據的機遇和挑戰

11.3金融大數據平台總體架構

11.3.1建設原則和目標

11.3.2金融大數據業務架構

11.3.3金融大數據技術架構

11.3.4金融大數據網路架構

11.4金融大數據分析

11.4.1銀行風險管理狀況分析

11.4.2金融大數據風險管理雲平台

11.4.3大數據徵信

11.4.4大數據反欺詐

11.4.5大數據精準行銷

11.5金融大數據帶來的產業變革

第12章中國製造大數據解決方案

12.1全球工業信息化發展歷程和現狀

12.1.1美國工業信息化發展歷程和現狀

12.1.2日本工業信息化發展歷程和現狀

12.1.3德國工業信息化發展歷程和現狀

12.1.4我國工業信息化發展歷程和現狀

12.1.5我國《中國製造2025》的發展戰略

12.2工業信息化技術集成和協同發展方向

12.2.1集成和協同的空間跨度

12.2.2集成和協同的時間跨度

12.2.3集成和協同的重點和對象

12.2.4主要的集成和協同技術

12.3中國製造信息化套用系統

12.3.1工業設計自動化系統

12.3.2製造控制自動化系統

12.3.3製造執行系統

12.3.4柔性製造系統

12.3.5工業網際網路與CPS系統

12.3.6ERP信息系統

12.4工業大數據架構體系

12.4.1網際網路催生工業大數據

12.4.2工業大數據內涵特徵

12.4.3工業大數據業務架構

12.4.4工業大數據技術架構

12.4.5工業大數據安全架構

12.5智慧型化協同製造體系架構

12.5.1智慧型化協同製造發展需求

12.5.2智慧型化協同製造總體架構

12.5.3智慧型化協同製造設計思想

12.5.4智慧型化協同製造套用場景

12.6智慧型化協同製造服務生命周期過程

12.6.1製造資源服務集成與發現

12.6.2製造服務資源訪問策略

12.6.3製造服務資源的最佳化與智慧型調度

12.6.4智慧型化協同製造研究與自學習機制

12.7工業大數據展望

第13章大數據工程保障體系建設

13.1法律體系建設

13.2標準體系建設

13.3建立標準化大數據治理體系

13.4加強大數據行業套用研究

13.5加強元數據的研究和套用

13.6加強大數據核心技術研究

13.7促進大數據交易市場的規範化發展

13.8推動大數據標準化進程

參考文獻