網路爬蟲，是一個自動提取網頁的程式，它為搜尋引擎從全球資訊網上下載網頁，是搜尋引擎的重要組成。
但是當網路爬蟲被濫用後，網際網路上就出現太多同質的東西，原創得不到保護。
於是，很多網站開始反網路爬蟲,想方設法保護自己的內容。
他們根據ip訪問頻率，瀏覽網頁速度，賬戶登錄，輸入驗證碼，flash封裝，ajax混淆，js加密，圖片，css混淆等五花八門的技術，來對反網路爬蟲。
防的一方不惜工本，迫使抓的一方在考慮成本效益後放棄
抓的一方不惜工本，防的一方在考慮用戶流失後放棄
參考： 美國高級情報官員透露,美國國家安全局前雇員斯諾登僅僅是利用普通的網路爬蟲軟體(Webcrawler),從國安局網路裡面截取大量的機密檔案與資料.
反網路爬蟲:越來越成為一種新的行業
