Python爬蟲與反爬蟲開發從入門到精通

內容簡介

本書從零開始系統地介紹了Python網路爬蟲與反爬蟲的開發與實戰技能，全書共分為4篇，具體內容安排如下。

第1篇：基礎篇（第1～3章）。系統地講解了Python爬蟲與反爬蟲開發環境的搭建、爬蟲與反爬蟲通用基礎知識、Python編程基礎。

第2篇：爬蟲篇（第4～8章）。這部分講解了網路爬蟲的相關知識與技能，主要包括網路爬蟲快速入門、XPath匹配網頁數據、re正則匹配數據、WebSocket數據抓取、Scrapy爬蟲框架套用與開發等。

第3篇：反爬蟲篇（第9～16章）。這部分講解了網路反爬蟲的相關知識與技能，主要包括爬蟲與反爬蟲的區別與認識、反爬—Header信息校驗、反爬—IP限制、反爬—動態渲染頁面、反爬—文本混淆、反爬—特徵識別、反爬—驗證碼識別、反爬—APP數據抓取等。

Contents

第1篇基礎篇

第1章爬蟲與反爬蟲開發環境搭建　/2

1.1　Python 3環境搭建　/3

1.1.1　下載Python 3安裝包　/3

1.1.2　安裝Python　/4

1.1.3　pip包管理工具　/6

1.2　PyCharm的安裝與基本使用　/7

1.2.1　安裝PyCharm　/7

1.2.2　創建Python項目　/8

1.2.3　debug調試代碼　/12

1.2.4　創建venv虛擬環境　/14

1.3　Tesseract-OCR　/16

1.3.1　下載　/16

1.3.2　安裝　/17

1.3.3　配置環境變數　/18

1.4　mitmproxy　/18

1.4.1　下載　/19

1.4.2　安裝　/20

1.4.3　安裝SSL證書　/21

1.5　JDK 1.8　/22

1.5.1　下載JDK　/22

1.5.2　安裝　/22

1.5.3　測試是否安裝成功　/23

本章小結　/24

第2章　爬蟲與反爬蟲通用基礎知識　/25

2.1　網頁基礎　/26

2.1.1　網頁的組成　/26

2.1.2　網頁的類型　/28

2.2　網路傳輸協定　/28

2.2.1　認識HTTP　/29

2.2.2　HTTPS　/29

2.2.3　HTTP與HTTPS請求過程示例　/29

2.3　Session和Cookies　/31

2.3.1　Cookie　/31

2.3.2　Session　/33

2.3.3　Session和Cookie的區別　/33

2.3.4　常見誤區　/33

2.4　Nginx伺服器　/34

基本介紹