twiceler是一個爬蟲程式，據說是美國史丹福大學研究搜尋引擎的一個學生項目。
基本介紹
- 外文名：twiceler
- 抓取強度：高
- 推廣效果：未知
- 類型：爬蟲程式
爬蟲信息,禁止twiceler訪問,
爬蟲信息
爬蟲名稱：Twiceler
HTTP User Agent：
Mozilla/5.0 (Twiceler-0.9 http://www.cuill.com/twiceler/robot.html") </pre>
抓取強度：高
推廣效果：未知
來訪IP：38.99.13.122 64.1.215.164 （均為美國IP）
禁止twiceler訪問
twiceler是一個中低強度的爬蟲，遵循robots.txt爬行標準。如果你覺得它占用了伺服器資源，可以禁止這個爬蟲。方法為在伺服器上的網站根目錄建立robots.txt，包含以下內容：
User-agent: twiceler Disallow: / </pre>
上面在全站之內禁止twiceler爬行。或者禁止爬行某個目錄：
User-agent: twiceler Disallow: /somedir/ </pre>
