《大數據測試技術：數據採集、分析與測試實踐》是2019年4月人民郵電出版社出版的圖書，作者是劉攀。
基本介紹
- 中文名：大數據測試技術：數據採集、分析與測試實踐
- 作者：劉攀
- 出版社：人民郵電出版社
- 出版時間：2019年4月
- 定價：49.8 元
- 開本：16 開
- 裝幀：平裝
- ISBN：9787115489531
內容簡介,圖書目錄,
內容簡介
本書從工程角度出發，闡述了運用大數據技術進行軟體測試的方法和實現過程。全書共11章，介紹了大數據測試思維、手機聯網數據的收集方法、數據格式的轉換方法、大數據的處理方法、軟體缺陷挖掘技術及實踐項目的套用等。本書第1章介紹了大數據的測試方法和思維方式，隨後每一章都通過案例來講解大數據技術的相關理論及其測試套用。除第1章外，每章最後都提供了思考題來幫助讀者回顧和鞏固本章的學習內容，本書最後還提供了思考題的參考答案。同時，本書對每一個案例進行了詳細圖例展示和講解。
圖書目錄
第 1章 大數據測試的思維 1
1.1 規律是否存在 1
1.2 大數據的背後 3
1.3 大數據測試方法 4
1.4 目的及組織結構 5
第 2章 大數據收集概述 7
2.1 案例介紹 7
2.2 原理及方法 7
2.3 環境配置 8
2.3.1 配置無線網 8
2.3.2 安裝分析軟體 9
2.4 數據採集 10
2.4.1 軟體連線 10
2.4.2 信息顯示 11
2.4.3 數據包的存儲 11
2.5 同步操作 12
2.6 小結 14
【思考題】 14
第3章 網路數據的採集與分析 15
3.1 物理連線及Wireshark軟體的常用操作 15
3.1.1 物理連線 15
3.1.2 Wireshark軟體的打開方式 15
3.1.3 構建網路 17
3.1.4 Wireshark軟體功能介紹 18
3.2 數據包的採集 18
3.2.1 數據的收集 18
3.2.2 數據的存儲和打開 20
3.3 數據包的自動抓取 22
3.3.1 背景介紹 22
3.3.2 腳本錄製 23
3.3.3 腳本執行 24
3.4 數據包分析 25
3.4.1 數據包的分析方法 25
3.4.2 數據獲取 25
3.4.3 數據包的數量 28
3.4.4 數據分析 28
3.5 小結 32
【思考題】 32
第4章 數據格式轉換及Python編程 34
4.1 原理及方法 34
4.1.1 pyshark介紹 34
4.1.2 FileCapture和LiveCapture 35
4.1.3 Python基礎語法 37
4.2 Python安裝及配置 37
4.2.1 Python安裝 37
4.2.2 配置 38
4.2.3 pyshark包下載 39
4.2.4 pyshark包安裝 40
4.2.5 安裝支撐檔案 41
4.3 Python基礎學習 42
4.3.1 Python的命令行演示 42
4.3.2 創建並運行.py檔案 42
4.3.3 Python出錯演示 42
4.3.4 Python注釋 43
4.3.5 一行多語句 43
4.3.6 輸出換行 43
4.3.7 縮進 44
4.3.8 Python幫助 44
4.4 Notepad環境 45
4.4.1 Notepad++軟體 45
4.4.2 運行設定 45
4.4.3 多個變數賦值 46
4.4.4 Python的標準數據類型 47
4.4.5 刪除對象的引用 50
4.4.6 Python語言的運算符 50
4.4.7 Python條件語句 52
4.5 Python編程實踐 52
4.5.1 漢諾塔問題 52
4.5.2 奇偶數分離 53
4.5.3 Python中in的套用 54
4.5.4 循環使用else語句編程 54
4.6 Python面向對象 54
4.6.1 面向對象介紹 54
4.6.2 self代表類的對象 55
4.6.3 類的實例化 56
4.6.4 Python內置類屬性 57
4.6.5 Python對象的銷毀（垃圾回收） 57
4.6.6 類的繼承 58
4.6.7 方法重寫 59
4.6.8 運算符重載 60
4.6.9 類屬性與方法 60
4.7 Python的集成開發環境 61
4.7.1 PyCharm軟體 61
4.7.2 Jupyter軟體 67
4.8 pcapng檔案到CSV檔案 78
4.8.1 編寫代碼 78
4.8.2 代碼運行 80
4.8.3 轉換檔案 80
4.9 小結 80
【思考題】 81
第5章 Splunk軟體初探 83
5.1 Splunk簡介 83
5.1.1 Splunk的架構 84
5.1.2 Splunk indexer集群架構 85
5.1.3 Splunk search集群架構 86
5.1.4 SPL語言 86
5.2 Splunk的安裝與配置 90
5.2.1 安裝 90
5.2.2 配置 92
5.3 Splunk數據分析 94
5.3.1 構造SPL語句 94
5.3.2 確定列名 95
5.3.3 Splunk的簡單操作 95
5.4 SPL高級編程 97
5.4.1 自動生成數據 97
5.4.2 構造隨機數 99
5.4.3 數據統計 100
5.4.4 Splunk處理過程 101
5.4.5 報告再編輯 102
5.5 小結 102
【思考題】 102
第6章 Splunk平台實踐 105
6.1 Splunk的基礎命令 105
6.1.1 Search（搜尋）命令 105
6.1.2 SPL的命令分類 107
6.1.3 常用命令詳解 115
6.2 Splunk軟體的自動數據生成 119
6.2.1 生成數據 119
6.2.2 刪除無用數據 121
6.2.3 構造隨機數據 121
6.2.4 創建對數列和指數列 122
6.3 可視化展示 123
6.3.1 可視化圖 123
6.3.2 格式設定 123
6.3.3 保存和導入 123
6.3.4 圖形修改 125
6.4 官方幫助文檔 126
6.4.1 SPL語言 126
6.4.2 命令分析實例 133
6.5 套用分析實例 137
6.5.1 案例 137
6.5.2 案例分析 137
6.5.3 創建記錄 137
6.5.4 增加統計值 138
6.5.5 創建test欄位 138
6.5.6 錯誤解決 139
【思考題】 140
第7章 SPL案例編程 142
7.1 stats命令學習 142
7.2 數據下載和導入 144
7.2.1 數據下載 144
7.2.2 數據導入 145
7.3 問題描述及分析 148
7.3.1 自動生成的SPL語句 148
7.3.2 要求及分析 149
7.3.3 解決方案 150
【思考題】 151
第8章 數據導入及錯誤分析 153
8.1 背景知識介紹 153
8.1.1 時間戳 153
8.1.2 數據 153
8.2 數據選擇 154
8.2.1 導入數據入口 154
8.2.2 數據類型 154
8.3 時間戳錯誤 155
8.3.1 手機聯網數據導入 155
8.3.2 時間戳錯誤 157
8.4 問題分析及解決 157
8.4.1 問題分析 157
8.4.2 問題解決 158
8.5 導入配置 159
8.5.1 源類型設定 159
8.5.2 索引設定 160
8.5.3 導入成功及預覽 161
8.5.4 數據搜尋及分析 162
【思考題】 163
第9章 聯網效率分析 164
9.1 原理及方法 164
9.1.1 效率分析 164
9.1.2 性能測試方法 164
9.2 常用分析命令 164
9.2.1 sort命令 164
9.2.2 timechart命令 165
9.2.3 outlier命令 166
9.2.4 eventstats命令 167
9.3 數據導入和處理 167
9.3.1 數據導入 167
9.3.2 從Wireshark代碼到Splunk代碼 167
9.3.3 欄位調整 169
9.3.4 時間排序 171
9.3.5 數據分組 172
9.4 分析聯網效率 175
9.4.1 創建count欄位 175
9.4.2 數據過濾 176
9.4.3 數據分析 176
【思考題】 180
第 10章 Linux部署 182
10.1 原理及方法 182
10.1.1 虛擬機 182
10.1.2 數據傳輸 183
10.2 軟體安裝及運行 184
10.2.1 在虛擬機中安裝Linux系統 184
10.2.2 在CentOS 7系統中安裝Splunk平台 185
10.2.3 啟動Splunk 186
10.2.4 Splunk的運行演示 187
10.3 網路配置 189
10.3.1 Ubuntu安裝 189
10.3.2 VMware網路設定 190
10.3.3 網路驗證 191
10.3.4 Ubuntu系統的網路配置 192
10.3.5 運行Splunk 193
【思考題】 196
第 11章 大數據測試實踐 197
11.1 監測數據導入 197
11.1.1 運行Splunk 197
11.1.2 Web日誌分析 197
11.1.3 Xftp連線 198
11.1.4 monitor方式 199
11.1.5 monitor數據導入 199
11.1.6 數據分析 203
11.1.7 查看檔案和 204
11.1.8 小結 205
11.2 數據缺陷挖掘 205
11.2.1 方法與思路 205
11.2.2 狀態碼 206
11.2.3 啟動Splunk服務 209
11.2.4 網路聯通驗證 210
11.2.5 運行Splunk 212
11.2.6 返回操作 212
11.2.7 數據挖掘及分析 214
11.2.8 可視化展示 217
11.3 非結構化數據處理 220
11.3.1 非結構化數據 220
11.3.2 正則表達式 221
11.3.3 數據處理 226
【思考題】 240
思考題答案 242
