Python大數據分析

《Python大數據分析》是2023年北京航空航天大學出版社出版的圖書。

基本介紹

• 中文名：Python大數據分析
• 出版時間：2023年4月1日
• 出版社：北京航空航天大學出版社
• ISBN：9787512440715

內容簡介

這本書先介紹了如何使用Ppandas在Python中進行數據操作，教您熟悉統計分析和繪圖技術。還將通過多個實踐測試，讓您學會使用Dask分析分布在多台計算機上的數據。接著還將為您介紹如何在記憶體無法容納全部數據時，為繪圖聚合數據。本書還將帶領您探索Hadoop(HDFS和YARN)，它可幫助您處理更大的數據集。此外，這本書還介紹了Spark相關知識，並解釋了它如何與其他工具進行互動。

Python大數據分析是為Python開發人員、數據分析師和數據科學家設計的，他們需要親自動手控制數據並將其轉化為有影響力的見解。書中關於統計度量和關係資料庫的基本知識將幫助您理解在本書中的各種概念。

圖書目錄

第1章Python數據科學堆疊1

1.1概述1

1.2Python庫和軟體包2

1.2.1IPython：一個功能強大的互動式shell2

1.2.2Jupyter Notebook4

1.2.3使用IPython還是Jupyter8

1.2.4Numpy9

1.2.5Scipy10

1.2.6Matplotlib10

1.2.7Pandas11

1.3使用Pandas11

1.3.1讀取數據12

1.3.2數據操作13

1.4數據類型轉換21

1.5聚合和分組24

1.6從Pandas導出數據26

1.7Pandas可視化29

1.8總結31

第2章統計數據可視化33

2.1概述33

2.2可視化圖表34

2.3圖表的組件36

2.4Seaborn40

2.5圖的類型41

2.5.1折線圖(Line graph)42

2.5.2散點圖(Scatter plot)45

2.5.3直方圖(Histogram)48

2.5.4箱線圖(Boxplot)51

2.6Pandas DataFrame54

2.7修改圖的組件57

2.7.1配置軸對象的標題和標籤57

2.7.2修改線條顏色和樣式60

2.7.3修改圖的大小60

2.8導出圖像63

2.9總結67

第3章使用大數據框架69

3.1概述69

3.2Hadoop70

3.2.1使用HDFS操控數據71

3.3Spark數據處理平台73

3.3.1Spark SOL以及Pandas DataFrame75

3.4Parquet檔案80

3.4.1編寫Parquet檔案81

3.4.2使用Parquet和Partitions提高分析性能82

3.5處理非結構化數據84

3.6總結87

第4章Spark DataFrame89

4.1概述89

4.2使用Spark DataFrame使用方法90

4.3從Spark DataFrame中寫入輸出94

4.4探索和了解Spark DataFrame更多特點95

4.5使用Spark DataFrame對數據進行相關操作98

4.6Spark DataFrame繪製圖形106

4.7總結112

第5章處理缺失值以及相關性分析114

5.1概述114

5.2設定Jupyter Notebook115

5.3缺失值116

5.4處理Spark DataFrame中的缺失值119

5.5相關性121

5.6總結126

第6章進行探索性數據分析127

6.1概述127

6.2定義商業問題128

6.2.1問題識別129

6.2.2需求收集130

6.2.3數據管道和工作流130

6.2.4識別可測量的指標130

6.2.5文檔和展示131

6.3將商業問題轉化為可測量的度量標準和進行探索性數據分析（Exploratory Data Analysis, EDA）131

6.3.1數據採集132

6.3.2數據生成分析132

6.3.3KPI可視化133

6.3.4特徵重要性133

6.4數據科學項目生命周期的結構化方法145

6.4.1第一階段：理解和定義業務問題146

6.4.2第二階段：數據訪問與發現146

6.4.3第三階段：數據工程和預處理147

6.4.4第四階段：模型開發148

6.5總結149

第7章大數據分析中的再現性150

7.1概述150

7.2Jupyter Notebooks的再現性151

7.2.1業務問題介紹152

7.2.2記錄方法和工作流程152

7.2.3數據管道153

7.2.4相關性153

7.2.5使用原始碼版本控制153

7.2.6模組化過程154

7.3以可複製的方式收集數據154

7.3.1標記單元格和代碼單元格中的功能155

7.3.2解釋標記語言中的業務問題156

7.3.3提供數據源的詳細介紹157

7.3.4解釋標記中的數據屬性157

7.4進行編碼實踐和標準編寫162

7.4.1環境檔案162

7.4.2編寫帶有注釋的可讀代碼162

7.4.3工作流程的有效分割163

7.4.4工作流文檔163

7.5避免重複167

7.5.1使用函式和循環最佳化代碼168

7.5.2為代碼/算法重用開發庫/包169

7.6總結170

第8章創建完整的分析報告171

8.1概述171

8.2Spark可從不同的數據源讀取數據172

8.3在Spark DataFrame上進行SQL操作173

8.4生成統計測量值181

8.5總結185

附錄187