神馬搜尋根據網站規模、服務能力、頁面質量、更新速度等因素決定對網站的訪問頻率。通常更新快、質量高的網站Yisouspider訪問頻率相對較高。如果您發現Yisouspider非正常抓取您的網站,請反饋給神馬搜尋,並請儘量給出Yisouspider的訪問日誌便於跟蹤處理。
關於robots協定,robots協定的寫法,
關於robots協定
robots.txt是搜尋引擎訪問網站時要訪問的第一個檔案,以確定哪些網頁是允許或禁止抓取的。Yisouspider遵守robots.txt協定。如您希望完全禁止神馬訪問或對部分目錄禁止訪問,您可以通過robots.txt檔案來設定內容,限定Yisouspider的訪問許可權。
如果您開通了CNZZ雲推薦服務,協定中默認支持Yisouspider抓取,會忽略robots.txt檔案協定的限制。
robots協定的寫法
robots.txt必須放在網站根目錄下,且檔案名稱要小寫。
具體寫法:
1) 完全禁止Yisouspider抓取:
User-agent: Yisouspider
Disallow: /
2) 禁止Yisouspider抓取指定目錄
User-agent: Yisouspider
Disallow: /update/
Disallow: /history/
禁止抓取update、history目錄下網頁