Python網路爬蟲入門到實戰

《Python網路爬蟲入門到實戰》是2023年機械工業出版社出版的圖書。

基本介紹

• 中文名：Python網路爬蟲入門到實戰
• 出版時間：2023年7月1日
• 出版社：機械工業出版社
• ISBN：9787111730521

內容簡介

本書介紹了Python3網路爬蟲的常見技術。首先介紹了網頁的基礎知識，然後介紹了urllib、Requests請求庫以及XPath、Beautiful Soup等解析庫，接著介紹了selenium對動態網站的爬取和Scrapy爬蟲框架，最後介紹了Linux基礎，便於讀者自主部署編寫好的爬蟲腳本。

本書主要面向對網路爬蟲感興趣的初學者。

圖書目錄

前言

第1章 HTML與CSS基礎/

1.1概述引導/

1.2Hbuilder軟體下載與使用/

1.3HTML基礎/

1.3.1基本架構/

1.3.2標題和段落標籤/

1.3.3文字標籤/

1.3.4圖像標籤/

1.3.5超連結標籤/

1.3.6塊標籤/

1.3.7列表標籤/

1.3.8音頻視頻標籤/

1.3.9表格標籤/

1.3.10表單標籤/

1.3.11框架標籤/

1.4免費網頁部署/

1.5為什麼要使用CSS框架/

1.6選擇器/

1.6.1標籤選擇器/

1.6.2類選擇器/

1.6.3ID選擇器/

1.6.4全局選擇器/

1.6.5屬性選擇器/

1.6.6包含選擇器/

1.6.7選擇器的綜合使用/

1.7CSS和HTML的結合方式/

1.7.1行內樣式/

1.7.2內嵌樣式/

1.7.3連結樣式/

1.7.4導入樣式/

1.7.5優先權/

1.8CSS的常見屬性/

1.8.1字型屬性/

1.8.2文本屬性/

1.8.3尺寸屬性/

1.8.4背景屬性/

1.8.5製作照片牆/

1.9作業習題/

1.9.1HTML作業習題/

1.9.2CSS作業習題/Python網路爬蟲入門到實戰

第2章 urllib、Requests基礎與實戰/

2.1urllib的使用/

2.1.1urlopen網址請求/

2.1.2網頁的保存和異常處理/

2.1.3構造請求對象Requests/

2.1.4添加請求頭/

2.1.5SSL認證/

2.2萬能視頻下載/

2.3Requests中get的使用/

2.3.1Requests基礎：代碼獲取/

2.3.2Requests基礎：構建請求/

2.3.3獲取cookie/

2.3.4添加請求頭/

2.3.5二進制數據獲取/

2.4Requests中post的使用/

2.4.1提交數據表單/

2.4.2添加請求頭/

2.4.3提交json/

2.4.4普通檔案上傳/

2.5Requests進階/

2.5.1URLError和HTTPError/

2.5.2Fiddler的下載與簡單使用/

2.5.3登錄網站/

2.5.4代理設定/

2.6實戰演練/

2.6.1獲取某搜尋的代碼/

2.6.2下載圖片到本地/

2.6.3下載視頻到本地/

2.6.4爬取翻譯網站/目錄

第3章 正則表達式基礎與實戰/

3.1正則表達式的定義/

3.2Python中的正則表達式/

3.3正則表達式函式/

3.3.1findall()函式/

3.3.2search()函式/

3.3.3split()函式/

3.3.4sub()函式/

3.3.5compile函式/

3.4特殊字元的使用/

3.4.1列表符/

3.4.2點符號/

3.4.3開始符和結束符/

3.4.4星號/

3.4.5加號/

3.4.6集合符號/

3.4.7或符號/

3.5特殊序列/

3.5.1匹配指定字元/

3.5.2匹配開頭、結尾和中間/

3.5.3匹配數字與非數字/

3.5.4空格與非空格匹配/

3.5.5數字與字母的匹配/

3.5.6貪婪模式與非貪婪模式/

3.6集合練習/

3.6.1指定的符號匹配/

3.6.2匹配任意範圍內的小寫字母/

3.7匹配對象/

3.8正則實戰：段子爬取/

3.9作業習題/

第4章 XPath基礎與實戰/

4.1開始使用XPath/

4.1.1常見的HTML操作/

4.1.2常見的XML操作/

4.1.3瀏覽器使用XPath調試/

4.1.4谷歌外掛程式的安裝與XPath Helper的使用/

4.1.5瀏覽器複製XPath/

4.2屬性的匹配/

4.2.1根據具體屬性匹配/

4.2.2通過屬性值的欄位匹配/

4.2.3屬性值獲取/

4.3XPath處理HTML常用方法/

4.4實戰學習：房產網站爬取/

4.5多執行緒爬蟲/

4.5.1進程和執行緒/

4.5.2Python中的多執行緒與單執行緒/

4.5.3單執行緒修改為多執行緒/

4.6作業習題/

第5章 Beautiful Soup基礎與實戰/

5.1什麼是Beautiful Soup/

5.2解析器/

5.3解析庫的基本使用/

5.3.1代碼的排版/

5.3.2網頁文檔處理/

5.3.3獲取節點中的文本/

5.3.4根據屬性匹配/

5.4find_all方法搜尋節點/

5.4.1基本使用/

5.4.2通過標籤搜尋/

5.4.3非參數搜尋/

5.4.4CSS搜尋/

5.4.5通過文本搜尋/

5.4.6返回數量限制/

5.5find方法搜尋節點/

5.6CSS選擇器/

5.6.1通過標籤名查找/

5.6.2通過標籤的類名查找/

5.6.3通過標籤的id查找/

5.6.4通過屬性查找/

5.7實戰一：爬取詩詞網站/

5.8實戰二：爬取求職網站/

第6章 selenium自動化測試與實戰/

6.1環境搭建/

6.2單個元素定位/

6.2.1id定位/

6.2.2name定位/

6.2.3class_name定位/

6.2.4link_text定位/

6.2.5tag_name定位/

6.2.6XPath定位/

6.2.7通過CSS定位/

6.2.8使用By類定位/

6.2.9總結/

6.3元素等待/

6.3.1強制等待/

6.3.2顯示等待/

6.3.3隱式等待/

6.4瀏覽器控制/

6.4.1控制瀏覽器大小/

6.4.2控制瀏覽器前進後退與刷新/

6.4.3文本輸入輸出與表單提交/

6.5滑鼠控制/

6.5.1滑鼠事件右鍵/

6.5.2滑鼠雙擊/

6.6鍵盤控制/

6.7多個元素定位/

6.8檔案上傳/

6.9獲取cookie/

6.9.1手動獲取cookie/

6.9.2掃碼自動獲取cookie/

6.10視窗截圖/

6.11策略補充/

6.11.1去除Chrome正受到自動測試軟體的控制/

6.11.2添加代理IP和請求頭/

6.11.3無頭模式/

6.11.4其他一些選項的添加/

6.12字元驗證碼/

6.12.1pytesseract介紹/

6.12.2安裝/

6.12.3中文支持/

6.12.4英文識別/

6.12.5簡單的數字識別/

6.12.6中文識別/

6.12.7ddddocr模組的使用/

6.12.8彩色圖片識別套用/

6.13自動傳送QQ信箱/

6.13.1獲取授權碼/

6.13.2傳送文本和附屬檔案/

第7章 Scrapy框架與實戰/

7.1框架介紹/

7.2Scrapy入門/

7.2.1創建項目檔案/

7.2.2確定目標/

7.2.3定製Item/

7.2.4setting配置修改與使用/

7.2.5數據提取/

7.2.6實戰教學/

7.2.7數據存儲/

7.2.8Item Pipeline管道/

7.2.9Pipelines圖片保存/

7.3實戰一：圖片多頁下載/

7.4實戰二：視頻分析/

7.4.1基本搭建/

7.4.2數據提取/

7.4.3Pipelines保存數據/

7.5實戰三：文字爬取/

7.5.1基本搭建/

7.5.2數據提取/

7.5.3Pipelines保存數據/

7.6Pipelines的多檔案執行/

7.7日誌記錄/

7.7.1logging的語法/

7.7.2簡單使用/

7.8使用選擇器/

7.8.1Scrapy shell基本使用/

7.8.2使用XPath選擇器/

7.8.3CSS選擇器的語法/

7.8.4使用CSS選擇器/

7.8.5嵌套選擇器/

7.8.6正則選擇器/

7.8.7使用相對XPaths/

7.9CrawlSpider的使用/

7.9.1爬取規則/

7.9.2setting配置修改/

7.9.3套用案例一：某寵物網站爬取/

7.9.4套用案例二：某讀書網站爬取/

7.10內置圖片下載器/

7.10.1基本搭建/

7.10.2數據提取/

7.10.3同步下載/

7.10.4異步下載/

7.11存儲到資料庫/

7.11.1同步存儲/

7.11.2異步存儲/

第8章 Linux基礎/

8.1為什麼學習Linux?/

8.2安裝虛擬機/

8.2.1本地安裝虛擬機（推薦）/

8.2.2免費線上Linux伺服器/

8.3檔案管理/

8.3.1查看目錄/

8.3.2創建資料夾/

8.3.3切換目錄/

8.3.4創建檔案/

8.3.5刪除檔案和資料夾/

8.3.6複製檔案/

8.3.7移動檔案/

8.3.8編寫檔案內容/

8.3.9查看檔案內容/

8.3.10搜尋檔案內容/

8.3.11查看檔案許可權/

8.3.12更改許可權/

8.4進程管理/

8.5定時任務/