<p id="t5p1r"><del id="t5p1r"></del></p>

    <p id="t5p1r"><cite id="t5p1r"></cite></p><del id="t5p1r"></del>

      Robots.txt文件在線生成

      默認 -  所有:  
      爬蟲-延遲時間:
      網站地圖: (可以不填寫)
           
      主流搜索引擎: Google(谷歌)   googlebot
        Baidu(百度)   baiduspider
        Sogou(搜狗)   sogou spider
        YouDao(有道)   YodaoBot
        MSN Search   msnbot
        Yahoo   yahoo-slurp
        Ask/Teoma   teoma
        Cuil   twiceler
        GigaBlast   gigabot
        Scrub The Web   scrubby
        DMOZ Checker   robozilla
        Nutch   nutch
        Alexa/Wayback   ia_archiver
        Naver   naverbot, yeti
         
      其他搜索引擎: Google Image   googlebot-image
        Google Mobile   googlebot-mobile
        Yahoo MM   yahoo-mmcrawler
        MSN PicSearch   psbot
        SingingFish   asterias
        Yahoo Blogs   yahoo-blogs/v3.9
         
      限制目錄 該路徑是相對于根目錄以 "/"結尾
       
       
       
       
       
       
       
       
       
       
         

      現在,在桌面新建一個記事本,將上面代碼復制進去并保存為“robots.txt”,然后上傳你網站的根目錄。請注意文件的權限設置,確??梢栽L問,一般默認設置就可以了。

      robots.txt文件是有什么作用?

      robots.txt 是存放在站點根目錄下的一個純文本文件。雖然它的設置很簡單,但是作用卻很強大。

      它可以指定搜索引擎蜘蛛只抓取指定的內容,或者是禁止搜索引擎蜘蛛抓取網站的部分或全部內容。

      robots.txt文件訪問與提交方法

      例如:如果您的網站地址是 http://www.www104mu.com/那么,該文件必須能夠通過 http://www.www104mu.com/robots.txt 打開并看到里面的內容,然后登陸百度站長平臺,在后臺可以提交該地址。

      robots.txt文件的格式

      User-agent:

      表示用來描述搜索引擎蜘蛛的名字,在" robots.txt "文件中,如果有多條User-agent記錄說明有多個搜索引擎蜘蛛會受到該協議的限制,對該文件來說,至少要有一條User-agent記錄。如果該 項的值設為*,則該協議對任何搜索引擎蜘蛛均有效,在" robots.txt "文件中,"User-agent:*"這樣的記錄只能有一條。

      Disallow:

      用于描述不希望被訪問到的一個URL,這個URL可以是一條完整的路徑,也可以是部分的,任何以Disallow開頭的URL均不會被Robot訪問到。

      舉例:

      例一:"Disallow:/help"是指/help.html 和/help/index.html都不允許搜索引擎蜘蛛抓取。

      例二:"Disallow:/help/"是指允許搜索引擎蜘蛛抓取/help.html,而不能抓取/help/index.html。

      例三:Disallow記錄為空說明該網站的所有頁面都允許被搜索引擎抓取,在"/robots.txt"文件中,至少要有一條Disallow記錄。如果"/robots.txt"是一個空文件,則對于所有的搜索引擎蜘蛛,該網站都是開放的可以被抓取的。

      #:robots.txt 協議中的注釋符。

      綜合例子:

      例一:通過"/robots.txt"禁止所有搜索引擎蜘蛛抓取"/bin/cgi/"目錄,以及 "/tmp/"目錄和 /foo.html 文件,設置方法如下:

      User-agent: *

      Disallow: /bin/cgi/

      Disallow: /tmp/

      Disallow: /foo.html

      例二:通過"/robots.txt"只允許某個搜索引擎抓取,而禁止其他的搜索引擎抓取。如:只允許名為"slurp"的搜索引擎蜘蛛抓取,而拒絕其他的搜索引擎蜘蛛抓取 "/cgi/" 目錄下的內容,設置方法如下:

      User-agent: *

      Disallow: /cgi/

      User-agent: slurp

      Disallow:

      例三:禁止任何搜索引擎抓取我的網站,設置方法如下:

      User-agent: *

      Disallow: /

      例四:只禁止某個搜索引擎抓取我的網站如:只禁止名為"slurp"的搜索引擎蜘蛛抓取,設置方法如下:

      User-agent: slurp

      Disallow: /

      <p id="t5p1r"><del id="t5p1r"></del></p>

        <p id="t5p1r"><cite id="t5p1r"></cite></p><del id="t5p1r"></del>

          {国产99视频精品免视看9,H成人无码动漫在线观看,亚洲av高清不卡在线播放,美女视频黄A视频全免费}