Crawl-delay

Crawl-delay：雅虎YST一個特定的擴展名，可以通過它對我們的抓取程式設定一個較低的抓取請求頻率。您可以加入Crawl-delay:xx指示，其中，“XX”是指在crawler程式兩次進入站點時，以秒為單位的最低延時。

指令語法

如果搜尋引擎對網頁抓取頻率太高的情況下，需要用Crawl-delay語句來控制搜尋引擎的抓取頻率，時間以秒為單位。例如設定搜尋引擎兩次抓取的時間間隔為15秒。則在robots協定中的指令如下：

User-agent: *　Crawl-delay: 15

通知

百度於2012年9月20在百度站長平台發出通知。該通知表明：百度對網站訪問頻率不再參考該設定，即不支持Crawl-delay配置，如果您希望配置網站針對百度spider的訪問頻率，建議您使用百度站長平台的抓取壓力反饋工具，先查詢網站在百度近一個月的天級抓取量趨勢圖，可調節百度spider每天訪問您網站的抓取壓力上限，供百度參考，避免百度spider對站點抓取壓力過大，造成網站伺服器負載及抓取異常。