Soukey採摘網站數據採集軟體是一款基於.Net平台的開源軟體,也是網站數據採集軟體類型中唯一一款開源軟體。 支持線上發布數據。
基本介紹
- 軟體名稱:Soukey採摘
- 軟體平台:.Net平台
- 主要功能: 可採集Ajax頁面等
- 特點:功能還要豐富
功能
Soukey採摘當前提供的主要功能如下:
1. 多任務多執行緒數據採集,支持POST方式;
2.可採集Ajax頁面;
3. 支持Cookie,支持手工登錄採集數據;
4. 支持採集事務;
5. 支持數據自動及手工導出,導出格式為:文本、Excel、Access、MSSql、Mysql等;
6. 支持線上發布數據;
7. 支持導航網址的採集,導航深度不限;
8. 支持自動翻頁;
9. 支持檔案下載,可以採集圖片、Flash及其他檔案;
10. 支持採集結果數據的加工,包括替換、附前綴後綴、截取等操作,支持正則;
11. 採集網址定義不僅支持基本參數定義,也可外接字典數據作為網址參數,進行數據採集;
12. 支持一個任務多實例運行;
13. 提供計畫任務,計畫任務支持Soukey採集任務、外部執行檔任務、資料庫存儲過程任務;
14. 計畫任務執行周期支持每天、每周及自定義運行間隔;最小單位為:半小時;
15. 支持任務觸發器,即可在採集任務完成後,自動觸發執行其他任務(包括執行檔或存儲過程)。
16. 完善的日誌功能:系統日誌、任務執行日誌、出錯日誌等等;
17. 系統提供MINI瀏覽器可用於捕獲Cookie或POST數據;