《Python網路爬蟲實戰》是2018年清華大學出版社出版的圖書，作者是胡松濤。
基本介紹
- 中文名：Python網路爬蟲實戰
- 作者：胡松濤
- 出版社：清華大學出版社
- 出版時間：2018年9月
- ISBN：9787302510086
內容簡介,圖書目錄,作者簡介,
內容簡介
本書從Python 3.6.4的安裝開始，詳細講解了Python從簡單程式延伸到Python網路爬蟲的全過程。本書從實戰出發，根據不同的需求選取不同的爬蟲，有針對性地講解了幾種Python網路爬蟲。 本書共10章，涵蓋的內容有Python3.6語言的基本語法、Python常用IDE的使用、Python第三方模組的導入使用、Python爬蟲常用模組、Scrapy爬蟲、Beautiful Soup爬蟲、Mechanize模擬瀏覽器和Selenium模擬瀏覽器、Pyspider爬蟲框架、爬蟲與反爬蟲。本書所有原始碼已上傳網盤供讀者下載。 本書內容豐富，實例典型，實用性強。適合Python網路爬蟲初學者、Python數據分析與挖掘技術初學者，以及高等院校和培訓學校相關專業的師生閱讀。
網路爬蟲，又被稱為網頁蜘蛛、網路機器人，是一種按照一定的規則，自動地抓取網際網路信息的程式或者腳本。很多站點，尤其是搜尋引擎，都使用爬蟲（它主要用於提供訪問頁面的一個副本）提供*的數據，然後，搜尋引擎對得到的頁面進行索引，以便快速訪問。爬蟲也可以用來在Web上自動執行一些任務，例如檢查連結、確認HTML代碼；還可以用來抓取網頁上某種特定類型的信息，例如電子郵件地址（通常用於垃圾郵件）。因此，網路爬蟲技術對網際網路企業具有很大的套用價值。
本書從Python 3.6.4*基礎的部分講起，延伸到Python*流行的套用方向之一網路爬蟲，講解流行的幾種Python爬蟲框架，並給出詳細示例，以幫助讀者學習Python並開發出符合自己要求的網路爬蟲。
圖書目錄
目 錄
第1章 Python環境配置 1
1.1 Python簡介 1
1.1.1 Python的歷史由來 1
1.1.2 Python的現狀 2
1.1.3 Python的套用 2
1.2 Python 3.6.4開發環境配置 4
1.2.1 Windows下安裝Python 4
1.2.2 Windows下安裝配置pip 9
1.2.3 Linux下安裝Python 10
1.2.4 Linux下安裝配置pip 13
1.2.5 永遠的hello world 16
1.3 本章小結 21
第2章 Python基礎 22
2.1 Python變數類型 22
2.1.1 數字 22
2.1.2 字元串 25
2.1.3 列表 29
2.1.4 元組 34
2.1.5 字典 37
2.2 Python語句 41
2.2.1 條件語句——if else 41
2.2.2 有限循環——for 42
2.2.3 無限循環——while 44
2.2.4 中斷循環——continue、break 46
2.2.5 異常處理——try except 48
2.2.6 導入模組——import 52
2.3 函式和類 56
2.3.1 函式 56
2.3.2 類 62
2.4 Python內置函式 68
2.4.1 常用內置函式 68
2.4.2 高級內置函式 69
2.5 Python代碼格式 74
2.5.1 Python代碼縮進 74
2.5.2 Python命名規則 75
2.5.3 Python代碼注釋 76
2.6 Python調試 79
2.6.1 Windows下IDLE調試 79
2.6.2 Linux下pdb調試 82
2.7 本章小結 87
第3章 簡單的Python腳本 88
3.1 九九乘法表 88
3.1.1 Project分析 88
3.1.2 Project實施 88
3.2 斐波那契數列 90
3.2.1 Project分析 90
3.2.2 Project實施 90
3.3 機率計算 91
3.3.1 Project分析 91
3.3.2 Project實施 92
3.4 讀寫檔案 93
3.4.1 Project分析 93
3.4.2 Project實施 94
3.5 類的繼承與重載 96
3.5.1 Project 1分析 96
3.5.2 Project 1實施 98
3.5.3 Project 2分析 100
3.5.4 Project 2實施 101
3.6 多執行緒 107
3.6.1 Project 1分析 107
3.6.2 Project 1實施 109
3.6.3 Project 2分析 112
3.6.4 Project 2實施 115
3.7 本章小結 117
第4章 Python爬蟲常用模組 118
4.1 網路爬蟲技術核心 118
4.1.1 網路爬蟲實現原理 118
4.1.2 爬行策略 119
4.1.3 身份識別 119
4.2 Python 3標準庫之urllib.request模組 120
4.2.1 urllib.request請求返回網頁 120
4.2.2 urllib.request使用代理訪問網頁 122
4.2.3 urllib.request修改header 125
4.3 Python 3標準庫之logging模組 129
4.3.1 簡述logging模組 129
4.3.2 自定義模組myLog 133
4.4 re模組（正則表達式） 135
4.4.1 re模組（正則表達式操作） 136
4.4.2 re模組實戰 137
4.5 其他有用模組 139
4.5.1 sys模組（系統參數獲取） 139
4.5.2 time模組（獲取時間信息） 141
4.6 本章小結 144
第5章 Scrapy爬蟲框架 145
5.1 安裝Scrapy 145
5.1.1 Windows下安裝Scrapy環境 145
5.1.2 Linux下安裝Scrapy 146
5.1.3 vim編輯器 147
5.2 Scrapy選擇器XPath和CSS 148
5.2.1 XPath選擇器 148
5.2.2 CSS選擇器 151
5.2.3 其他選擇器 152
5.3 Scrapy爬蟲實戰一：今日影視 153
5.3.1 創建Scrapy項目 153
5.3.2 Scrapy檔案介紹 155
5.3.3 Scrapy爬蟲編寫 157
5.4 Scrapy爬蟲實戰二：天氣預報 164
5.4.1 項目準備 165
5.4.2 創建編輯Scrapy爬蟲 166
5.4.3 數據存儲到json 173
5.4.4 數據存儲到MySQL 175
5.5 Scrapy爬蟲實戰三：獲取代理 182
5.5.1 項目準備 182
5.5.2 創建編輯Scrapy爬蟲 183
5.5.3 多個Spider 188
5.5.4 處理Spider數據 192
5.6 Scrapy爬蟲實戰四：糗事百科 194
5.6.1 目標分析 195
5.6.2 創建編輯Scrapy爬蟲 195
5.6.3 Scrapy項目中間件——添加headers 196
5.6.4 Scrapy項目中間件——添加proxy 200
5.7 Scrapy爬蟲實戰五：爬蟲攻防 202
5.7.1 創建一般爬蟲 202
5.7.2 封鎖間隔時間破解 206
5.7.3 封鎖Cookies破解 206
5.7.4 封鎖User-Agent破解 207
5.7.5 封鎖IP破解 212
5.8 本章小結 215
第6章 Beautiful Soup爬蟲 216
6.1 安裝Beautiful Soup環境 216
6.1.1 Windows下安裝Beautiful Soup 216
6.1.2 Linux下安裝Beautiful Soup 217
6.1.3 強大的IDE——Eclipse 218
6.2 Beautiful Soup解析器 227
6.2.1 bs4解析器選擇 227
6.2.2 lxml解析器安裝 227
6.2.3 使用bs4過濾器 229
6.3 bs4爬蟲實戰一：獲取百度貼吧內容 234
6.3.1 目標分析 234
6.3.2 項目實施 236
6.3.3 代碼分析 243
6.3.4 Eclipse調試 244
6.4 bs4爬蟲實戰二：獲取雙色球中獎信息 245
6.4.1 目標分析 246
6.4.2 項目實施 248
6.4.3 保存結果到Excel 251
6.4.4 代碼分析 256
6.5 bs4爬蟲實戰三：獲取起點小說信息 257
6.5.1 目標分析 257
6.5.2 項目實施 259
6.5.3 保存結果到MySQL 261
6.5.4 代碼分析 265
6.6 bs4爬蟲實戰四：獲取電影信息 266
6.6.1 目標分析 266
6.6.2 項目實施 267
6.6.3 bs4反爬蟲 270
6.6.4 代碼分析 273
6.7 bs4爬蟲實戰五：獲取音悅台榜單 273
6.7.1 目標分析 273
6.7.2 項目實施 274
6.7.3 代碼分析 279
6.8 本章小結 280
第7章 Mechanize模擬瀏覽器 281
7.1 安裝Mechanize模組 281
7.1.1 Windows下安裝Mechanize 281
7.1.2 Linux下安裝Mechanize 282
7.2 Mechanize 測試 283
7.2.1 Mechanize百度 283
7.2.2 Mechanize光貓F460 286
7.3 Mechanize實站一：獲取Modem信息 290
7.3.1 獲取F460數據 290
7.3.2 代碼分析 293
7.4 Mechanize實戰二：獲取音悅台公告 293
7.4.1 登錄原理 293
7.4.2 獲取Cookie的方法 294
7.4.3 獲取Cookie 298
7.4.4 使用Cookie登錄獲取數據 302
7.5 本章小結 305
第8章 Selenium模擬瀏覽器 306
8.1 安裝Selenium模組 306
8.1.1 Windows下安裝Selenium模組 306
8.1.2 Linux下安裝Selenium模組 307
8.2 瀏覽器選擇 307
8.2.1 Webdriver支持列表 307
8.2.2 Windows下安裝PhantomJS 308
8.2.3 Linux下安裝PhantomJS 310
8.3 Selenium&PhantomJS抓取數據 312
8.3.1 獲取百度搜尋結果 312
8.3.2 獲取搜尋結果 314
8.3.3 獲取有效數據位置 317
8.3.4 從位置中獲取有效數據 319
8.4 Selenium&PhantomJS實戰一：獲取代理 319
8.4.1 準備環境 320
8.4.2 爬蟲代碼 321
8.4.3 代碼解釋 324
8.5 Selenium&PhantomJS實戰二：漫畫爬蟲 324
8.5.1 準備環境 325
8.5.2 爬蟲代碼 326
8.5.3 代碼解釋 329
8.6 本章小結 329
第9章 Pyspider爬蟲框架 330
9.1 安裝Pyspider 330
9.1.1 Windows下安裝Pyspider 330
9.1.2 Linux下安裝Pyspider 331
9.1.3 選擇器pyquery測試 333
9.2 Pyspider實戰一：Youku影視排行 335
9.2.1 創建項目 336
9.2.2 爬蟲編寫 338
9.3 Pyspider實戰二：電影下載 346
9.3.1 項目分析 346
9.3.2 爬蟲編寫 349
9.3.3 爬蟲運行、調試 355
9.3.4 刪除項目 360
9.4 Pyspider實戰三：音悅台MusicTop 363
9.4.1 項目分析 363
9.4.2 爬蟲編寫 364
9.5 本章小結 369
第10章 爬蟲與反爬蟲 370
10.1 防止爬蟲IP被禁 370
10.1.1 反爬蟲在行動 370
10.1.2 爬蟲的應對 373
10.2 在爬蟲中使用Cookies 377
10.2.1 通過Cookies反爬蟲 377
10.2.2 帶Cookies的爬蟲 378
10.2.3 動態載入反爬蟲 381
10.2.4 使用瀏覽器獲取數據 381
10.3 本章小結 381
作者簡介
胡松濤，高級工程師，參與多個Linux開源項目，github知名代碼分享者，活躍於國內著名的多個開源論壇。
