數據採集與預處理

內容簡介

本書以任務驅動為主線，圍繞企業級套用進行項目任務設計，主要內容包括數據採集與預處理準備、網路爬蟲實踐、日誌數據採集實踐和數據預處理實踐，全面地講述了Scrapy、Flume、Pig、Kettle、Pandas、OpenRefine等技術，以及urllib、Selenium基本庫和BeautifulSoup解析庫的相關知識與套用案例。

本書內容實用，可操作性強，語言精練、通俗易懂，可作為高等院校計算機套用技術、大數據技術與套用、軟體技術、雲計算技術與套用等計算機相關專業的教材，也可作為大數據分析、雲計算套用領域技術人員的參考用書。

圖書目錄

項目1

數據採集與預處理準備　1

學習目標　1

項目描述　1

任務1　認識數據採集技術，熟悉數據採集平台　1

任務描述　1

任務目標　2

知識準備　2

任務實施　10

任務2　認識數據預處理技術　13

任務描述　13

任務目標　13

知識準備　13

任務實施　19

項目2

網路爬蟲實踐　24

學習目標　24

項目描述　24

任務1　使用urllib爬取北京公交線路信息　24

任務描述　24

任務目標　25

知識準備　25

任務實施　48

任務2　使用Selenium爬取淘寶網站信息　58

任務描述　58

任務目標　58

知識準備　58

任務實施　69

任務3　使用Scrapy爬取北京公交信息　75

任務描述　75

任務目標　75

知識準備　75

任務實施　78

任務4　創新與拓展　86

任務描述　86

任務目標　86

項目3

日誌數據採集實踐　87

學習目標　87

項目描述　87

任務1　Flume的安裝和配置　87

任務描述　87

任務目標　88

知識準備　88

任務實施　95

任務2　Flume採集數據上傳到集群　105

任務描述　105

任務目標　106

知識準備　106

任務實施　110

任務3　創新與拓展　118

任務描述　118

任務目標　118

項目4

數據採集與預處理

基本介紹

內容簡介

圖書目錄

相關詞條

熱門詞條