ia_archiver是alexa的一個爬蟲程式,用於檢測網站是否做了alexa排名的作弊。
簡介,邀請ia_arhiver來訪,禁止ia_archiver訪問,
簡介
ia_archiver程式會自動在網際網路上爬行,刺探每個Web頁面的流量信息。尤其是當某個網站的流量超過Alexa設定的閾值時,IA_Archiver就會馬上爬到該網站的伺服器上,分析此網站的流量是否正常,有沒有作弊行為。
邀請ia_arhiver來訪
到alexa官網進行登記即可。
禁止ia_archiver訪問
ia_archiver是一個中等強度的爬蟲。如果你覺得它占用了過多的伺服器資源,同時不關心網站alexa排名的話,可以禁止這個爬蟲。方法為在伺服器上的網站根目錄建立robots.txt,包含以下內容:
User-agent: ia_archiver Disallow: /
上面在全站之內禁止ia_archiver爬行。或者禁止爬行某個目錄:
User-agent: ia_archiver Disallow: /somedir/