robots語法意思是允許所有的蜘蛛訪問XXX站點下的所有檔案。
SEO之robots的寫作語法
首先我們來看一個robots範例：
#robots.txtfilefromXXX
#Allrobotswillspiderthedomain
User-agent:*
Disallow:
具體語法分析如下：
#後面文字為說明信息；User-agent後面為蜘蛛的名稱，如果是“*”則泛指所有的蜘蛛；Disallow後面是不允許訪問的檔案目錄，如目錄為空則不起任何禁止作用。
下面例舉一些robots.txt的具體用法。
允許所有的robot訪問，格式如下：
User-agent:*
Disallow:
或者也可以建一個空robots.txt檔案。
禁止所有蜘蛛訪問網站的任何部分，格式如下：
User-agent:*
Disallow:/
禁止所有蜘蛛訪問網站的某幾個部分，比如下例中禁止訪問001、002、003目錄：
User-agent:*
Disallow:/001/
Disallow:/002/
Disallow:/003/
禁止某個搜尋引擎蜘蛛的訪問，比如下例中的百度蜘蛛：
User-agent:BadBot
Disallow:/
只允許某個蜘蛛的訪問，再例舉百度蜘蛛：
User-agent:BadBot
Disallow:
User-agent:*
Disallow:/
另外有必要進行拓展說明，對robotsmeta進行一些介紹：
tobotsmeta標籤主要是針對一個個具體的頁面。和其他的META標籤（如使用的語言、頁面的描述、關鍵字等）一樣，robotsmeta標籤也是放著頁面的中，專門用來告訴蜘蛛如何抓取該頁的內容。
robotsmeta標籤的寫法
robotsmeta標籤中沒有大小寫之分，name="robots"表示所有的搜尋引擎，可以針對某個搜尋引擎寫為name="baiduspider"。content部分有四個指令選項：index、noindex、follow、nofollow，指令間以“、”分隔。
index指令告訴搜尋引擎蜘蛛抓取該頁面；
follow指令表示蜘蛛可以沿著該頁面上的連結繼續抓取下去；
robotsmeta標籤的預設值是index和follow。
一共有下面四種組合：
其中可以寫成，而可以寫成
目前看來，絕大多數的蜘蛛都遵循robots.txt的規則，而對於robotsmeta標籤，目前支持的並不多，但是正在逐漸增加，如Google就完全支持，而且Google還增加了一個指令“archive”，可以限制Google是否保留網頁快照。例如：
首先我們來看一個robots範例：
#robots.txtfilefromXXX
#Allrobotswillspiderthedomain
User-agent:*
Disallow:
具體語法分析如下：
#後面文字為說明信息；User-agent後面為蜘蛛的名稱，如果是“*”則泛指所有的蜘蛛；Disallow後面是不允許訪問的檔案目錄，如目錄為空則不起任何禁止作用。
下面例舉一些robots.txt的具體用法。
允許所有的robot訪問，格式如下：
User-agent:*
Disallow:
或者也可以建一個空robots.txt檔案。
禁止所有蜘蛛訪問網站的任何部分，格式如下：
User-agent:*
Disallow:/
禁止所有蜘蛛訪問網站的某幾個部分，比如下例中禁止訪問001、002、003目錄：
User-agent:*
Disallow:/001/
Disallow:/002/
Disallow:/003/
禁止某個搜尋引擎蜘蛛的訪問，比如下例中的百度蜘蛛：
User-agent:BadBot
Disallow:/
只允許某個蜘蛛的訪問，再例舉百度蜘蛛：
User-agent:BadBot
Disallow:
User-agent:*
Disallow:/
另外有必要進行拓展說明，對robotsmeta進行一些介紹：
tobotsmeta標籤主要是針對一個個具體的頁面。和其他的META標籤（如使用的語言、頁面的描述、關鍵字等）一樣，robotsmeta標籤也是放著頁面的中，專門用來告訴蜘蛛如何抓取該頁的內容。
robotsmeta標籤的寫法
robotsmeta標籤中沒有大小寫之分，name="robots"表示所有的搜尋引擎，可以針對某個搜尋引擎寫為name="baiduspider"。content部分有四個指令選項：index、noindex、follow、nofollow，指令間以“、”分隔。
index指令告訴搜尋引擎蜘蛛抓取該頁面；
follow指令表示蜘蛛可以沿著該頁面上的連結繼續抓取下去；
robotsmeta標籤的預設值是index和follow。
一共有下面四種組合：
其中可以寫成，而可以寫成
目前看來，絕大多數的蜘蛛都遵循robots.txt的規則，而對於robotsmeta標籤，目前支持的並不多，但是正在逐漸增加，如Google就完全支持，而且Google還增加了一個指令“archive”，可以限制Google是否保留網頁快照。例如：
