拒絕蜘蛛協定

robots.txt是搜尋引擎中訪問網站的時候要查看的第一個檔案。robots.txt檔案告訴蜘蛛程式在伺服器上什麼檔案是可以被查看的。

robots.txt必須放置在一個站點的根目錄下，而且檔案名稱必須全部小寫。

語法：最簡單的 robots.txt 檔案使用兩條規則：

· User-Agent: 適用下列規則的漫遊器

· Disallow: 要攔截的網頁

使用事例：

User-agent: *

Disallow: /admin/ 後台管理檔案

Disallow: /require/ 檔案

Disallow: /attachment/ 附屬檔案

Disallow: /images/ 圖片

Disallow: /data/ 資料庫檔案

Disallow: /template/ 模板檔案

Disallow: /css/ 樣式表檔案

Disallow: /lang/ 編碼檔案

Disallow: /script/ 腳本檔案

相關詞條