三肖中特开奖: 益陽網站建設

益陽網站建設是專業的網站制作和網站優化SEO的益陽網絡公司
項目經理直線: 0737-3666343 18973746816
财神爷三肖中特 > > 新聞動態 > 建站指南 > > 正文

建站指南

讓瀏覽者喜歡,讓客戶獲益是最高原則。

網站站長必須重視的robotstxt

日期: 2011-3-24 21:01:58 點擊: 標簽:

分享到: 更多

robots.txt基本介紹

robots.txt是一個純文本文件,在這個文件中網站管理者可以聲明該網站中不想被robots訪問的部分,或者指定搜索引擎只收錄指定的內容。當一個搜索機器人(有的叫搜索蜘蛛)訪問一個站點時,它會首先檢查該站點根目錄下是否存在robots.txt,如果存在,搜索機器人就會按照該文件中的內容來確定訪問的范圍;如果該文件不存在,那么搜索機器人就沿著鏈接抓取。另外,robots.txt必須放置在一個站點的根目錄下,而且文件名必須全部小寫。

robots.txt寫作語法

首先,我們來看一個robots.txt范例://www.beidou365.cn/robots.txt

訪問以上具體地址,我們可以看到robots.txt的具體內容如下:

# Robots.txt file from //www.beidou365.cn

# All robots will spider the domain

User-agent: *

Disallow:

以上文本表達的意思是允許所有的搜索機器人訪問www.beidou365.cn站點下的所有文件。

具體語法分析:其中#后面文字為說明信息;User-agent:后面為搜索機器人的名稱,后面如果是*,則泛指所有的搜索機器人;Disallow:后面為不允許訪問的文件目錄。

下面,我將列舉一些robots.txt的具體用法:

允許所有的robot訪問

User-agent: *

Disallow:

或者也可以建一個空文件 “/robots.txt” file

禁止所有搜索引擎訪問網站的任何部分

User-agent: *

Disallow: /

禁止所有搜索引擎訪問網站的幾個部分(下例中的01、02、03目錄)

User-agent: *

Disallow: /01/

Disallow: /02/

Disallow: /03/

禁止某個搜索引擎的訪問(下例中的BadBot)

User-agent: BadBot

Disallow: /

只允許某個搜索引擎的訪問(下例中的Crawler)

User-agent: Crawler

Disallow:

User-agent: *

Disallow: /

本文網址:

垂詢熱線

18973746816
展開懸浮客服
回到頂部