《大數據和大分析》是2015年人民郵電出版社出版的圖書，作者是段雲峰。
基本介紹
- 書名：大數據和大分析
- 作者：段雲峰
- ISBN：978-7-115-40259-2
- 頁數：300頁
- 出版社：人民郵電出版社
- 出版時間：2015-10
基本信息,圖書簡介,目錄,
基本信息
圖書簡介
本書首先參闡述大數據出現的背景，解釋數據資產、數據驅動等基本概念，剖析數據分析的重要性，介紹了大分析的內容和範圍、關鍵點等；其次，闡述了大數據建設的基本內容和有關套用領域等，涉及收集、存儲、標準、技術選擇等內容，重點介紹了數據質量、安全管理等數據管控的內容；結尾，給出了大數據建設配套的人才、管理結構等方面的內容和經驗，分享如何引入網際網路思維，開闢新視野的理念。
目錄
第1章 背景 //1
1.1 大數據的引出和影響 //3
1.1.1 “大數據，大商機” //3
1.1.2 “數據資產”的引出 //6
1.1.3 數據量龐大 //9
1.1.4 數據結構複雜 //10
1.1.5 數據價值有待挖掘 //11
1.1.6 “數據驅動”的變革 //12
1.1.7 網際網路發展中的“數聯網” //15
1.2 為何需要大分析 //16
1.2.1 數據價值評估 //16
1.2.2 “數據資產”變現問題 //18
1.2.3 大分析的技術基礎 //20
1.2.4 大分析面臨的問題 //26
1.3 大分析的套用案例 //29
1.3.1 新的“啤酒和尿布” //29
1.3.2 KPI信息地圖 //30
1.3.3 “大數據、超細分、微行銷” //32
1.4 小結 //34
第2章 大數據基礎 //35
2.1 大數據的基本理念 //36
2.1.1 概念和定義探索 //36
2.1.2 大數據的技術基礎 //37
2.1.3 沒有大分析，大數據就是大垃圾 //38
2.1.4 大數據如何借鑑“數據倉庫”的經驗 //38
2.1.5 企業級數據中心 //41
2.2 大數據與數據倉庫的關係 //42
2.2.1 大數據擴展數據倉庫理論架構 //42
2.2.2 大數據繼承數據倉庫數據管理的經驗 //43
2.2.3 大數據開啟了非結構化數據的處理 //43
2.2.4 大數據要借鑑數據倉庫的生態圈 //43
2.2.5 大數據應繼承數據分析技術 //44
2.2.6 與資料庫的關係 //44
2.2.7 數據倉庫借鑑大數據的行銷模式 //44
2.3 大數據的基本特點 //45
2.3.1 “4V”特點 //45
2.3.2 大分析角度的大數據特徵 //45
2.4 大數據的價值和意義 //46
2.4.1 圍繞客戶信息，提供全方位服務 //46
2.4.2 構築“虛擬團隊”，提升團隊管理水平 //46
2.4.3 讓“智慧城市”“智慧型交通”等變為可能 //47
2.4.4 構築“理性社會”終於成為可能 //47
2.4.5 中國前所未有的一次“彎道超車”機遇 //47
2.5 大數據的問題和挑戰 //48
2.5.1 數據質量問題越發突出 //48
2.5.2 數據分析技術尚缺實質突破 //48
2.5.3 大數據套用水平需要逐步演進、逐步深化 //48
2.5.4 大數據技術架構面臨突破 //49
2.5.5 數據理念與國外仍然相距甚遠 //49
2.5.6 大數據是一項系統工程 //49
2.6 小結 //50
第3章 大數據的管理 //51
3.1 數據如何收集 //52
3.1.1 能獲取哪些數據 //52
3.1.2 基於數據價值，決定數據的收集、存放策略 //53
3.1.3 沒有套用時，是否收集數據 //53
3.2 數據的標準 //53
3.2.1 數據接口 //53
3.2.2 數據模型 //55
3.3 大數據的ETL過程 //57
3.4 大數據如何存儲 //58
3.4.1 資料庫/數據倉庫 //58
3.4.2 分散式檔案系統（HDFS） //59
3.4.3 混搭模式 //63
3.4.4 Hive /Hbase等 //63
3.4.5 MPP //65
3.5 數據如何估值和計費 //65
3.5.1 什麼數據最好賣 //66
3.5.2 市場價格 //66
3.5.3 數據的開放 //67
3.6 大數據的“數據資產”管理 //67
3.7 數據如何保障安全 //68
3.8 小結 //71
第4章 大數據的技術架構 //73
4.1 大數據處理架構 //74
4.1.1 大數據處理層級和域 //75
4.1.2 哪些計算適合併行 //78
4.2 為何是混搭架構 //78
4.2.1 大數據混搭架構的利弊分析 //79
4.2.2 架構是否去IOE //80
4.2.3 大數據混搭架構實例 //80
4.3 數據集市的模式 //83
4.3.1 數據沙盒模式 //85
4.3.2 貼近角色的平台及套用 //85
4.3.3 檔案集市 //89
4.4 數據管控模組 //89
4.4.1 元數據 //89
4.4.2 數據質量 //91
4.5 大數據的“爬蟲”技術 //93
4.5.1 定製爬蟲Nutch //94
4.5.2 分詞技術—庖丁分詞 //94
4.5.3 索引及全文檢索—Splunk //95
4.5.4 上網數據解析流程 //97
4.6 大數據安全管理框架 //99
4.6.1 安全管控技術架構 //99
4.6.2 管理制度建設 //101
4.6.3 去隱私化技術舉例 //103
4.7 小結 //108
第5章 大數據的數據質量管控 //111
5.1 數據質量概念 //113
5.1.1 基本概念 //113
5.1.2 大數據就不考慮質量了嗎 //117
5.2 元數據 //118
5.2.1 數據的數據 //118
5.2.2 元數據的CWM標準 //120
5.2.3 元數據分類 //122
5.3 數據質量管控 //123
5.3.1 數據質量管控目標 //123
5.3.2 數據質量子系統架構 //124
5.4 如何建立數據質量管理制度 //129
5.4.1 數據質量分工管理流程 //129
5.4.2 及時監控和告警 //136
5.5 數據質量管控產品的客戶體驗 //139
5.5.1 降低技術門檻 //139
5.5.2 產品的手機App化 //140
5.6 小結 //141
第6章 大數據如何帶來大分析 //143
6.1 沒有套用的數據是垃圾數據 //145
6.1.1 套用的廣度 //145
6.1.2 套用的深度 //145
6.1.3 套用的實時性/融合性 //146
6.2 大分析（BA）的概念 //147
6.2.1 “大分析”的發展變化 //147
6.2.2 大分析的“民眾路線” //150
6.3 大分析（BA）的產品開發 //151
6.3.1 基於數據分析，解決實際問題 //152
6.3.2 BA產品和分析工具產品的區隔 //154
6.3.3 自助分析 //158
6.3.4 導航式分析 //161
6.4 套用推廣問題 //170
6.4.1 市場的“冬天”就是大分析的“春天” //170
6.4.2 為何需要套用推廣 //170
6.4.3 如何證明分析的獨特價值 //171
6.4.4 如何解決員工實際的問題 //172
6.4.5 電信和網際網路行業套用推廣對比 //172
6.4.6 不同的企業用不同的推廣方法 //172
6.5 大分析的“閉環”問題 //173
6.5.1 分析和執行的閉環執行 //173
6.5.2 行銷流程的設計—行銷管理平台 //173
6.6 小結 //176
第7章 大分析套用案例 //179
7.1 大分析的套用階段 //180
7.2 非結構化數據的分析 //181
7.2.1 客戶投訴內容分析 //181
7.2.2 網際網路輿情監控分析 //183
7.3 客戶分析 //184
7.3.1 客戶生命周期 //184
7.3.2 客戶內容屬性 //197
7.3.3 客戶行為屬性 //203
7.3.4 客戶新業務分析 //218
7.3.5 客戶滿意度分析 //220
7.3.6 客戶流失分析 //223
7.4 產品分析 //234
7.4.1 建設背景和目的 //235
7.4.2 整體流程 //235
7.4.3 建設中涉及的模型 //235
7.5 內容行銷分析 //240
7.5.1 手機視頻產品行銷觸發 //240
7.5.2 手機視頻內容分析 //240
7.5.3 目標客戶篩選和細分 //240
7.5.4 方案設計 //241
7.5.5 行銷腳本設計 //242
7.5.6 行銷方式選擇 //243
7.5.7 行銷方式使用效果 //243
7.5.8 效益評估 //244
7.6 格線化管理分析 //245
7.7 社會渠道欺詐分析 //247
7.7.1 概述 //247
7.7.2 模型方法 //248
7.7.3 模型定義 //250
7.7.4 業務套用 //255
7.7.5 最佳化方法 //256
第8章 大數據中的網際網路思維 //257
8.1 網際網路思維介紹 //258
8.1.1 九大特徵 //258
8.1.2 大數據為何需要網際網路思維 //260
8.1.3 大數據如何藉助網際網路思維 //260
8.2 BA產品定義 //260
8.3 BA產品的客戶體驗 //263
8.3.1 客戶是誰 //263
8.3.2 客戶的體驗是什麼 //264
8.3.3 提升客戶體驗的展示形式 //266
8.3.4 提升客戶體驗的解決問題能力 //270
8.4 BA產品疊代開發 //280
8.4.1 如何構建共享方式 //280
8.4.2 提供API接口 //282
8.4.3 提供類似App Store開發環境 //284
8.5 BA產品的“客戶
