爬取（crawling）是2018年公布的計算機科學技術名詞。根據全球資訊網網頁連結，獲取相關全球資訊網資源的手段。
基本介紹
- 中文名：爬取
- 外文名：crawling
- 所屬學科：計算機科學技術
- 公布時間：2018年
定義,出處,
定義
根據全球資訊網網頁連結，獲取相關全球資訊網資源的手段。
出處
《計算機科學技術名詞 》第三版。
爬取
相關詞條
- 爬取
爬取（crawling）是2018年公布的計算機科學技術名詞。根據全球資訊網網頁連結，獲取相關全球資訊網資源的手段。定義根據全球資訊網網頁連結，獲取相關全球資訊網資源的手段。出處《計算機科學技術名詞 》第三版。1...
- 網頁爬取器
網頁爬取器(gatherer)，是指網頁搜尋集子系統中根據url完成一篇見面爬取的進程或者執行緒，通常一個搜尋子系統上會同時啟動多個gatherer並行工作。網頁爬取器軟體有“網路蜘蛛”。基本原理 概念 網路蜘蛛即Web Spider，是一個很形象的名字。把網際網路比喻成一個蜘蛛網，那么Spider就是在網上爬來爬去的蜘蛛。網路蜘蛛是...
- Python數據爬取技術與實戰手冊
第3章 靜態網頁爬取 3.1 Python常用網路庫 61 3.1.1 urllib庫 62 【示例3-1】從眾多代理IP中選取可用的IP 63 【示例3-2】百度搜尋“Python”url演示Parse模組套用 66 3.1.2 綜合實例：批量獲取高清壁紙 68 3.1.3 requests庫 71 【示例3-3】用requests實現豆瓣網站模擬登錄 72 3.1.4 綜合實例：爬...
- 數據科學實戰之網路爬取:Python實踐和示例
《數據科學實戰之網路爬取：Python實踐和示例》是機械工業出版社出版的圖書，作者是〔比〕希普·萬登·布魯克（Seppe vanden Broucke）、〔比〕巴特·巴森斯（Bart Baesens）。內容簡介 本書提供了一個完整的、現代的Web抓取指南，使用Python作為程式語言，專為數據科學的讀者編寫，探討了Web抓取和以及其背後的大量Web...
- 網路爬取與法律規制
《網路爬取與法律規制》是2023年當代中國出版社出版的圖書，作者是趙自軒。內容簡介 該書是民商法手冊系列之一。全書圍繞網路爬取的法律規制，選取國外具有代表性的8篇經典論文，內容涉及網路爬取的普通法實踐、網路爬取的合法性、網路爬取與著作權保護、網路爬取與個人信息保護四個方面，對網路爬取行為的法律性質進行...
- Python網路數據爬取及分析從入門到精通(分析篇)
Python網路數據爬取及分析從入門到精通（分析篇）《Python網路數據爬取及分析從入門到精通（分析篇）》是2018年北京航空航天大學出版社出版的圖書。
- scrapy
Scrapy是一個適用爬取網站數據、提取結構性數據的應用程式框架，它可以套用在廣泛領域：Scrapy 常套用在包括數據挖掘，信息處理或存儲歷史數據等一系列的程式中。通常我們可以很簡單的通過 Scrapy 框架實現一個爬蟲，抓取指定網站的內容或圖片。儘管Scrapy原本是設計用來螢幕抓取（更精確的說，是網路抓取），但它也可以...
- 網路爬蟲
控制器是網路爬蟲的中央控制器，它主要是負責根據系統傳過來的URL連結，分配一執行緒，然後啟動執行緒調用爬蟲爬取網頁的過程。解析器 解析器是負責網路爬蟲的主要部分，其負責的工作主要有：下載網頁的功能，對網頁的文本進行處理，如過濾功能，抽取特殊HTML標籤的功能，分析數據功能。資源庫 主要是用來存儲網頁中下載下來的...
- Scrapy網路爬蟲實戰
《Scrapy網路爬蟲實戰》是清華大學出版社出版的書籍。內容簡介 隨著大數據分析、大數據計算火熱興起，越來越多的企業發布了數據分析崗位，而數據分析的基礎則是海量的數據。Python中的Scrapy框架就是為了抓取數據而設計的。作者介紹 東郭大貓，常年從事數據相關的工作，擅長用Python進行數據的爬取、分析和存儲。使用Python超過...
- Python3網路爬蟲寶典
書中首先回顧了爬蟲的基礎知識；然後詳細介紹爬蟲常用工具與庫的相關知識；接著學習 Redis， 為後面的學習打下基礎；然後討論了 Redis 在分散式爬蟲中的作用以及分散式爬蟲的原理、分類與實現方法；再進一步學習增量爬取的原理與實現方法；然後通過學習網頁文本抽取方法和智慧型抽取方法實現了大規模、多網站的數據爬取；在...
- 網路爬蟲案例教程(Python·微課視頻版)
2．6GET請求單個網頁的爬取案例 2．6．1不帶參數的GET請求 2．6．2攜帶參數的GET請求 第3章JSON數據爬取 3．1Ajax 3．1．1Ajax技術 3．1．2分析數據來源 3．2JSON 3．2．1JSON語法規則 3．2．2訪問JSON數據 3．2．3JSON檔案讀寫操作 3．2．4JSON數據校驗和格式化 3．3Ajax異步動態載入的數據爬蟲 ...
- 智慧型爬蟲
垂直搜尋的核心技術實際上就是智慧型爬蟲的技術，也就是說如何將定向或者非定向的網頁抓取下來並進行分析後得到格式化數據的技術。簡介 那么衡量一個垂直搜尋引擎的好壞主要有以下幾個標準。A.數據的更新頻率 顧名思義，就是爬蟲從目標網站上爬取數據的頻率。B.覆蓋網站個數 覆蓋儘量多的網站，對提供的信息數量將是一...
- Python網路爬蟲技術
《Python網路爬蟲技術》是2019年12月人民郵電出版社出版的圖書，作者是江吉彬、張良均。內容簡介 本書以任務為導向，較為全面地介紹了不同場景下Python爬取網路數據的方法，包括靜態網頁、動態網頁、登錄後才能訪問的網頁、PC客戶端、App等場景。全書共7章，第1章介紹了爬蟲與反爬蟲的基本概念，以及Python爬蟲環境的...
- 數據採集技術—Python網路爬蟲項目化教程
本書主要分成4個項目，項目1以爬取學生信息的項目為依託，講解Python的Web訪問技術，它是爬蟲程式的基礎。項目2以爬取城市天氣預報項目為依託，講解BeautifulSoup網頁數據的爬取方法。項目3以爬取網路圖像項目為依託，講解網頁的深度優先與廣度優先順序爬取路徑的構造方法與多執行緒分散式網頁爬取技術。項目4以爬取網站的...
- 實戰Python網路爬蟲
實戰篇深入講解了分散式爬蟲、爬蟲軟體的開發、12306搶票程式和微博爬取等。框架篇主要講述流行的爬蟲框架Scrapy，並以Scrapy與Selenium、Splash、Redis結合的項目案例，讓讀者深層次了解Scrapy的使用。此外，本書還介紹了爬蟲的上線部署、如何自己動手開發一款爬蟲框架、反爬蟲技術的解決方案等內容。本書使用Python3.X編寫，...
- Python3網路爬蟲開發實戰
《Python3網路爬蟲開發實戰》是2020年4月人民郵電出版社出版的圖書，作者是崔慶才。內容簡介 本書介紹了如何利用Python 3開發網路爬蟲，書中首先介紹了環境配置和基礎知識，然後討論了urllib、requests、正則表達式、Beautiful Soup、XPath、pyquery、數據存儲、Ajax數據爬取等內容，接著通過多個案例介紹了不同場景下如何實現...
- Python爬蟲項目教程
《Python爬蟲項目教程》是2021年人民郵電出版社出版的圖書。內容簡介 本書以Python語言為基礎，介紹了爬蟲的基礎知識。本書包括6個實戰項目，分別為爬取外匯網站數據、爬取名言網站數據、爬取電影網站數據、爬取圖書網站數據、爬取商城網站數據、爬取景區網站數據，通過這些項目講解了Python的Web訪問技術、BeautifulSoup的...
- Python網路爬蟲入門到實戰
《Python網路爬蟲入門到實戰》是2023年機械工業出版社出版的圖書。內容簡介 本書介紹了Python3網路爬蟲的常見技術。首先介紹了網頁的基礎知識，然後介紹了urllib、Requests請求庫以及XPath、Beautiful Soup等解析庫，接著介紹了selenium對動態網站的爬取和Scrapy爬蟲框架，最後介紹了Linux基礎，便於讀者自主部署編寫好的爬蟲...
- 從零開始學Scrapy網路爬蟲(視頻教學版)
第5～10章為進階篇，介紹了如何將爬蟲數據存儲於MySQL、MongoDB和Redis資料庫中；如何實現異步AJAX數據的爬取；如何使用Selenium和Splash實現動態網站的爬取；如何實現模擬登錄功能；如何突破反爬蟲技術，以及如何實現檔案和圖片的下載。第11~13章為高級篇，介紹了使用Scrapy-Redis實現分散式爬蟲；使用Scrapyd和Docker部署...
- Python網路爬蟲與數據分析從入門到實踐
《Python網路爬蟲與數據分析從入門到實踐》是2023年清華大學出版社出版的圖書，作者是馬國俊。內容簡介 《Python網路爬蟲與數據分析從入門到實踐》從初學者的視角出發，以案例實操為核心，系統地介紹網路爬蟲的原理、工具使用與爬取技術，並詳細講解數據分析的各種技巧。本書主要內容包括：Python基礎語法，數據分析工具NumPy...
- Python3網路爬蟲開發實戰第2版
第5章 Ajax 數據爬取 174 5．1 什麼是 Ajax 174 5．2 Ajax分析方法 176 5．3 Ajax 分析與爬取實戰 179 第6章 異步爬蟲 191 6．1 協程的基本原理 191 6．2 aiohttp的使用 201 6．3 aiohttp 異步爬取實戰 207 第7章 JavaScript 動態渲染頁面爬取 212 7．1 Selenium 的使用 212 7．...
- Python3爬蟲實戰——數據清洗、數據分析與可視化
你不知道前面有哪些反爬手段在等著你；你不知道你會踩進哪個坑裡。我做爬蟲的幾年時間裡，爬過很多的網站、遇到過很多的難題。這本書就是我這幾年經驗的總結，從開始的工具的學習使用，到實戰項目的爬取，難度一步一步的升級，需求也越來越複雜，有各式各樣的爬取方式。本書主要內容與數據爬取相關，包括編寫...
- Python網路爬蟲案例實戰
《Python網路爬蟲案例實戰》主要包括爬蟲網路概述、Web前端、靜態網路抓取、動態網頁抓取、解析網頁、Python並發、資料庫、反爬蟲、亂碼問題、登錄與驗證碼、採集伺服器、基礎爬蟲、App爬取、分散式爬蟲、爬蟲的綜合實戰等內容。 《Python網路爬蟲案例實戰》適合Python初學者，也適合研究Python的廣大科研人員、學者、工程技術...
- Python網路爬蟲框架Scrapy從入門到精通
《Python網路爬蟲框架Scrapy從入門到精通》是北京大學出版社出版圖書。內容簡介 本書從Python主流框架Scrapy的簡介及網路爬蟲知識講起，逐步深入到Scrapy進階實戰。本書從實戰出發，根據不同需求，有針對性地講解了靜態網頁、動態網頁、App套用是如何爬取所需數據，以及Scrapy是如何部署分散式爬取，最後還介紹了用Scrapy +...
- Python爬蟲開發實戰教程(微課版)
1．5 常見爬蟲爬取策略 43 1．5．1 寬度優先搜尋策略 44 1．5．2 深度優先搜尋策略 45 1．6 常見網頁URL和內容去重策略 48 1．6．1 去重策略的使用場景 48 1．6．2 常見爬蟲去重策略 48 1．6．3 BloomFilter算法 49 1．6．4 內容去重策略的實現 52 1．7 實戰：編寫一個基於靜態網頁...
- Arachnode.net
Arachnode.net是一個開源的網頁爬蟲，它具有下載、存儲和索引Internet上豐富內容的功能，包括郵件地址、檔案、超連結、圖像和網頁。Arachnode.net使用C#語言編寫，並支持SQL Server 2005資料庫。基本信息 主要特點 1）Arachnode.net是目前基於.NET構架的，功能最完善的開源頁面爬蟲之一。2）可以在更改個性定製的爬取規則...
