Python網路爬蟲案例實戰

Python網路爬蟲案例實戰

《Python網路爬蟲案例實戰》是清華大學出版社於2021年出版的書籍。

基本介紹

  • 中文名:Python網路爬蟲案例實戰
  • 作者:李曉東
  • 出版社:清華大學出版社
  • 出版時間:2021年1月1日
  • 定價:89 元
  • ISBN:9787302562283
內容簡介,圖書目錄,

內容簡介

《Python網路爬蟲案例實戰》介紹如何利用Python開發網路爬蟲,實用性較強。《Python網路爬蟲案例實戰》以案例項目為驅動,由淺入深地講解爬蟲開發中所需要的知識和技能。從靜態網站到動態網站,從單機爬蟲到分散式爬蟲,既包含基礎知識點希嬸兵,又講解了關鍵問題和重難點問題,包含從入門到進階的所有知識。《Python網路爬蟲案例實戰》主要包括爬蟲網路概述、Web前端、靜態網路抓取、動態網頁抓取、解析網頁、Python並發、資料庫、反爬蟲、亂碼問題、登錄與驗證碼、採集伺服器、基礎爬蟲、App爬取、分散式爬蟲、爬蟲的綜合實戰等內容。 《Python網路爬蟲案例實戰》適合Python初學者,也適合研究Python的廣大科研人員、學者、工程技術人員。

圖書目錄

目錄
第1章爬蟲網路概述
1.1HTTP基本原理
1.1.1URL和URL
1.1.2超文本
1.1.3HTTP和HTTPS
1.1.4HTTP請求過程
1.1.5請求
1.1.6回響
1.2網頁基礎
1.2.1網頁的組成
1.2.2節點樹及節點間的關係
1.2.3選擇器
1.3網路爬蟲合法性
1.3.1Robots協定
1.3.2網路爬蟲的約束
1.4網路爬蟲技術
1.4.1網路爬蟲的概述
1.4.2網路爬蟲原理
1.4.3網路爬蟲系統的工作原理
1.4.4Python爬蟲的架構
1.4.5爬蟲對網際網路進行劃分
1.5爬取策略
1.6爬蟲網路更新策略
1.7會話和Cookie
1.7.1靜態網頁和動態網頁
1.7.2無狀態HTTP
1.7.3常見誤區
1.8代理的基本原理
1.8.1基本原理
1.8.2代理的作用
1.8.3爬蟲代理
1.8.4代理分類
1.8.5常見代理設定
1.9習題
第2章Python平台及Web前端
2.1Python軟體概述
2.2Python的安裝
2.2.1在Linux系統中搭建Python環境
2.2.2在Windows系統中搭建Python環境
2.2.3使用pip安裝第三方庫
2.3Python的入門
2.3.1基本命令
2.3.2數據類型
2.4條件語句與循環語句
2.4.1條件語句
2.4.2循環語句
2.5面向對象編程
2.5.1面向對象技術簡介
2.5.2類定義
2.5.3類對象
2.5.4類的方法
2.5.5繼承
2.6第一個爬蟲實例
2.7Web前端
2.8習題
第3章靜態網頁爬取
3.1Requests的安裝
3.2獲取回響內容
3.3JSON資料庫
3.3.1JSON的使用
3.3.2爬取抽屜網信息
3.4傳遞URL參數
3.5獲取回響內容
3.6獲取網頁編碼
3.7定製請求頭
3.8傳送POST請求
3.9設定逾時
3.10代理訪問
3.11自定義請求頭部
3.12Requests爬蟲實踐
3.12.1狀態碼521網頁的爬取
3.12.2TOP250電影數據
3.13習題
第4章動態網頁爬糊樂承取
4.1動態爬取淘寶網實例
4.2什麼是Ajax
4.2.1Ajax分析
4.2.2Ajax結果提取
4.2.3Ajax爬取今日頭條街拍美圖記歸才
4.3解析真實地址爬取
4.4selenium爬取動態網頁
4.4.1安裝selenium
4.4.2爬取百度表情包
4.5爬取去哪兒網
4.6習題
第5章解析網頁
5.1獲取豆瓣電影
5.2正則表達式解析網頁
5.2.1字元串匹配
5.2.2起始位置匹配字元串
5.2.3所有子串匹配
5.2.4Requests爬取貓眼電影排行
5.3BeautifulSoup解析網頁
5.4PyQuery解析庫
5.4.1使用PyQuery
5.4.2PyQuery爬取煎蛋網商品圖片
5.5lxml解析網頁
5.5.1使用lxml
5.5.2檔案讀取
5.5.3XPath使用
5.5.4爬取LOL百度貼吧圖片
5.6爬取二手房網站數據
5.7習題
第6章並發與Web
6.1並發章欠記葛和並行、同步和異步、阻塞與非阻塞
6.1.1並發和並行
6.1.2同步與異步
6.1.3阻塞與非阻塞
6.2執行緒盼愚棕
6.2.1執行緒模組
6.2.2使用Threading模組創建執行緒
6.2.3執行緒同步
6.2.4執行緒池在Web編程的套用
6.3佇列
6.4進程堡燥兵祝
6.4.1進程與執行緒的歷史
6.4.2進程與執行緒之間的關係
6.4.3進程與進程池
6.5協程
6.5.1協程的生成器的基本行為
6.5.2協程的4個狀態
6.5.3終止協程和異常精雄處理
6.5.4顯式地將異常發給協程
6.5.5yield from獲取協程的返回值
6.5.6協程案例分析
6.6分散式進程案例分析
6.7網路編程
6.7.1TCP編程
6.7.2UDP編程
6.8習題
第7章Python資料庫存儲
7.1幾種保存方法
7.1.1Open函式保存
7.1.2pandas包保存
7.1.3CSV模組保存
7.1.4numpy包保存
7.2JSON檔案存儲
7.2.1對象和數組
7.2.2讀取JSON
7.2.3讀JSON檔案
7.2.4輸出JSON
7.3存儲到MongoDB資料庫
7.3.1MongoDB的特點
7.3.2下載安裝MongoDB
7.3.3配置 MongoDB 服務
7.3.4創建資料庫
7.4爬取虎撲論壇帖子
7.5習題
第8章Python反爬蟲
8.1為什麼會被反爬蟲
8.2反爬蟲的方式有哪些
8.2.1不返回網頁
8.2.2返回數據非目標網頁
8.2.3獲取數據變難
8.3怎樣“反反爬蟲”
8.3.1修改請求頭
8.3.2修改爬蟲訪問周期
8.3.3使用代理
8.4習題
第9章Python中文亂碼問題
9.1什麼是字元編碼
9.2Python的字元編碼
9.3解決中文編碼問題
9.4網頁使用gzip壓縮
9.5Python讀寫檔案中出現亂碼
9.6Matplotlib中文亂碼問題
9.7習題
第10章Python登錄與驗證碼
10.1登錄表單
10.1.1處理登錄表單
10.1.2處理Cookie
10.1.3完整的登錄代碼
10.2驗證碼處理
10.2.1如何使用驗證碼驗證
10.2.2人工方法處理驗證碼
10.2.3OCR處理驗證碼
10.3極驗滑動驗證碼的識別案例
10.4點觸驗證碼的識別案例
10.5習題
第11章Python採集伺服器
11.1使用伺服器採集原因
11.1.1大規模爬蟲的需要
11.1.2防止IP位址被封殺
11.2動態IP撥號伺服器
11.2.1購買撥號伺服器
11.2.2登錄伺服器
11.2.3Python更換IP
11.2.4爬蟲與更換IP功能結合
11.3Tor代理伺服器
11.3.1安裝Tor
11.3.2使用Tor
11.3.3實現自動投票
11.4習題
第12章Python基礎爬蟲
12.1架構及流程
12.2URL管理器
12.3HTML下載器
12.4HTML解析器
12.5數據存儲器
12.6爬蟲調度器實現
12.7習題
第13章Python的App爬取
13.1Charles爬取
13.2Appium爬取
13.2.1Appium安裝
13.2.2Appium的基本使用
13.3API爬取
13.4Appium爬取微信朋友圈
13.5習題
第14章Python分散式爬蟲
14.1主從模式
14.1.1URL管理器
14.1.2數據存儲器
14.1.3控制調度器
14.2爬蟲節點
14.2.1HTML下載器
14.2.2HTML解析器
14.2.3爬蟲調度器
14.3Redis
14.3.1Redis的安裝
14.3.2Redis的配置
14.3.3數據類型
14.4Python與Redis
14.4.1連線方式
14.4.2連線池
14.4.3Redis的基本操作
14.4.4管道
14.4.5發布和訂閱
14.5操作RabbitMQ
14.5.1安裝Erlang
14.5.2安裝RabbitMQ
14.6習題
第15章爬蟲的綜合實戰
15.1Email提醒
15.2爬取mp3資源信息
15.3創建雲起書院爬蟲
15.4使用代理爬取微信公眾號文章
參考文獻
2.5.4類的方法
2.5.5繼承
2.6第一個爬蟲實例
2.7Web前端
2.8習題
第3章靜態網頁爬取
3.1Requests的安裝
3.2獲取回響內容
3.3JSON資料庫
3.3.1JSON的使用
3.3.2爬取抽屜網信息
3.4傳遞URL參數
3.5獲取回響內容
3.6獲取網頁編碼
3.7定製請求頭
3.8傳送POST請求
3.9設定逾時
3.10代理訪問
3.11自定義請求頭部
3.12Requests爬蟲實踐
3.12.1狀態碼521網頁的爬取
3.12.2TOP250電影數據
3.13習題
第4章動態網頁爬取
4.1動態爬取淘寶網實例
4.2什麼是Ajax
4.2.1Ajax分析
4.2.2Ajax結果提取
4.2.3Ajax爬取今日頭條街拍美圖
4.3解析真實地址爬取
4.4selenium爬取動態網頁
4.4.1安裝selenium
4.4.2爬取百度表情包
4.5爬取去哪兒網
4.6習題
第5章解析網頁
5.1獲取豆瓣電影
5.2正則表達式解析網頁
5.2.1字元串匹配
5.2.2起始位置匹配字元串
5.2.3所有子串匹配
5.2.4Requests爬取貓眼電影排行
5.3BeautifulSoup解析網頁
5.4PyQuery解析庫
5.4.1使用PyQuery
5.4.2PyQuery爬取煎蛋網商品圖片
5.5lxml解析網頁
5.5.1使用lxml
5.5.2檔案讀取
5.5.3XPath使用
5.5.4爬取LOL百度貼吧圖片
5.6爬取二手房網站數據
5.7習題
第6章並發與Web
6.1並發和並行、同步和異步、阻塞與非阻塞
6.1.1並發和並行
6.1.2同步與異步
6.1.3阻塞與非阻塞
6.2執行緒
6.2.1執行緒模組
6.2.2使用Threading模組創建執行緒
6.2.3執行緒同步
6.2.4執行緒池在Web編程的套用
6.3佇列
6.4進程
6.4.1進程與執行緒的歷史
6.4.2進程與執行緒之間的關係
6.4.3進程與進程池
6.5協程
6.5.1協程的生成器的基本行為
6.5.2協程的4個狀態
6.5.3終止協程和異常處理
6.5.4顯式地將異常發給協程
6.5.5yield from獲取協程的返回值
6.5.6協程案例分析
6.6分散式進程案例分析
6.7網路編程
6.7.1TCP編程
6.7.2UDP編程
6.8習題
第7章Python資料庫存儲
7.1幾種保存方法
7.1.1Open函式保存
7.1.2pandas包保存
7.1.3CSV模組保存
7.1.4numpy包保存
7.2JSON檔案存儲
7.2.1對象和數組
7.2.2讀取JSON
7.2.3讀JSON檔案
7.2.4輸出JSON
7.3存儲到MongoDB資料庫
7.3.1MongoDB的特點
7.3.2下載安裝MongoDB
7.3.3配置 MongoDB 服務
7.3.4創建資料庫
7.4爬取虎撲論壇帖子
7.5習題
第8章Python反爬蟲
8.1為什麼會被反爬蟲
8.2反爬蟲的方式有哪些
8.2.1不返回網頁
8.2.2返回數據非目標網頁
8.2.3獲取數據變難
8.3怎樣“反反爬蟲”
8.3.1修改請求頭
8.3.2修改爬蟲訪問周期
8.3.3使用代理
8.4習題
第9章Python中文亂碼問題
9.1什麼是字元編碼
9.2Python的字元編碼
9.3解決中文編碼問題
9.4網頁使用gzip壓縮
9.5Python讀寫檔案中出現亂碼
9.6Matplotlib中文亂碼問題
9.7習題
第10章Python登錄與驗證碼
10.1登錄表單
10.1.1處理登錄表單
10.1.2處理Cookie
10.1.3完整的登錄代碼
10.2驗證碼處理
10.2.1如何使用驗證碼驗證
10.2.2人工方法處理驗證碼
10.2.3OCR處理驗證碼
10.3極驗滑動驗證碼的識別案例
10.4點觸驗證碼的識別案例
10.5習題
第11章Python採集伺服器
11.1使用伺服器採集原因
11.1.1大規模爬蟲的需要
11.1.2防止IP位址被封殺
11.2動態IP撥號伺服器
11.2.1購買撥號伺服器
11.2.2登錄伺服器
11.2.3Python更換IP
11.2.4爬蟲與更換IP功能結合
11.3Tor代理伺服器
11.3.1安裝Tor
11.3.2使用Tor
11.3.3實現自動投票
11.4習題
第12章Python基礎爬蟲
12.1架構及流程
12.2URL管理器
12.3HTML下載器
12.4HTML解析器
12.5數據存儲器
12.6爬蟲調度器實現
12.7習題
第13章Python的App爬取
13.1Charles爬取
13.2Appium爬取
13.2.1Appium安裝
13.2.2Appium的基本使用
13.3API爬取
13.4Appium爬取微信朋友圈
13.5習題
第14章Python分散式爬蟲
14.1主從模式
14.1.1URL管理器
14.1.2數據存儲器
14.1.3控制調度器
14.2爬蟲節點
14.2.1HTML下載器
14.2.2HTML解析器
14.2.3爬蟲調度器
14.3Redis
14.3.1Redis的安裝
14.3.2Redis的配置
14.3.3數據類型
14.4Python與Redis
14.4.1連線方式
14.4.2連線池
14.4.3Redis的基本操作
14.4.4管道
14.4.5發布和訂閱
14.5操作RabbitMQ
14.5.1安裝Erlang
14.5.2安裝RabbitMQ
14.6習題
第15章爬蟲的綜合實戰
15.1Email提醒
15.2爬取mp3資源信息
15.3創建雲起書院爬蟲
15.4使用代理爬取微信公眾號文章
參考文獻

相關詞條

熱門詞條

聯絡我們