避免搜尋引擎搜尋網頁的語法

Posted on 三月 24, 2007 | Filed Under 網站優化技巧 

robots.txt檔名必須小寫,主要語法如下:

  1. User-Agent:
    表示不接受某Robot的抓取範例:
    User-Agent: *
    表示不接受任何Robot抓取
    User-Agent: Slurp
    Slurp是Yahoo! crawler的名稱,表示只有不接受Slurp這個Robot抓取,但接受其他Robot抓取
  2. Disallow:
    表示在這個目錄之下的網頁不接受Robot抓取範例:
    Disallow: /
    表示根目錄下所有的網頁都不接受抓取 Disallow: /news
    表示只有news這個目錄下的網頁不接受抓取
  3. 範例:
    User-agent: *
    Disallow: /cyberworld/map/
    Disallow: /tmp/
    Disallow: /foo.html

    表示所有Robot都不能抓取“/cyberworld/map/”、“/tmp/”和“/foo.html”三個目錄下的網頁。更多robots.txt的相關說明請參考RES (Robots Exclusion Standard)

Comments

Leave a Reply

You must be logged in to post a comment.