有時候會有一些站點內容,不希望被ROBOTS抓取而公開。為了解決這個問題,ROBOTS開發界提供了兩個辦法:一個是robots.txt,另一個是The Robots META標籤。
相關詞條
- robots協定
Robots Meta標籤中沒有大小寫之分,name=”Robots”表示所有的搜尋引擎,可以針對某個具體搜尋引擎寫為name=”BaiduSpider”。content部分有四個指令選項:index、...
- robots
Robots META標籤中沒有大小寫之分,name=”Robots”表示所有的搜尋引擎,可以針對某個具體搜尋引擎寫為name=”BaiduSpider”。 content部分有四個指令選項:index、...
- name="robots"
有時候會有一些站點內容,不希望被ROBOTS抓取而公開。為了解決這個問題,ROBOTS開發界提供了兩個辦法:一個是robots.txt,另一個是The Robots META標籤。...
- ndodp
< meta name=”slurp” content=”noydir” />這第二個標籤是針對yahoo的網頁蜘蛛代號slurp的,這是yahoo相當於特有的。< meta name=”robots” content=”noodp...
- 開放式目錄
網站只要將一段代碼:<META NAME="ROBOTS" CONTENT="NOODP"> 放到html檔案的HEAD區域,就相當於告訴MSN和google搜尋引擎蜘蛛,請使用本網站的title和descritption作為...