什麼是robots.txt (下集) - 關鍵字SEO軟體

palada

下面是一些robots.txt基本的用法：
l 禁止所有搜尋引擎訪問網站的任何部分：
User-agent: *
Disallow: /
l 允許所有的robot訪問
User-agent: *
Disallow:
或者也可以建一個空文件 「/robots.txt」 file
l 禁止所有搜尋引擎訪問網站的幾個部分（下例中的cgi-bin、tmp、private目錄）
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /private/
l 禁止某個搜尋引擎的訪問（下例中的BadBot）
User-agent: BadBot
Disallow: /
l 只允許某個搜尋引擎的訪問（下例中的WebCrawler）
User-agent: WebCrawler
Disallow:
User-agent: *
Disallow: /
3、 常見搜尋引擎機器人Robots名字
名稱 搜尋引擎
5、 常見robots.txt錯誤
l 顛倒了順序：
錯誤寫成
User-agent: *
Disallow: GoogleBot
正確的應該是：
User-agent: GoogleBot
Disallow: *
l 把多個禁止命令放在一行中：
例如，錯誤地寫成
Disallow: /css/ /cgi-bin/ /images/
正確的應該是
Disallow: /css/
Disallow: /cgi-bin/
Disallow: /images/
l 行前有大量空格
例如寫成
Disallow: /cgi-bin/
儘管在標準沒有談到這個，但是這種方式很容易出問題。
l 404重定向到另外一個頁面：
當Robot訪問很多沒有設置robots.txt文件的站點時，會被自動404重定向到另外一個Html頁面。這時Robot常常會以處理robots.txt文件的方式處理這個Html頁面文件。雖然一般這樣沒有什麼問題，但是最好能放一個空白的robots.txt文件在站點根目錄下。
l 採用大寫。例如
USER-AGENT: EXCITE
DISALLOW:
雖然標準是沒有大小寫的，但是目錄和文件名應該小寫：
user-agent:GoogleBot
disallow:
l 語法中只有Disallow，沒有Allow！
錯誤的寫法是：
User-agent: Baiduspider
Disallow: /john/
allow: /jane/
l 忘記了斜槓/
錯誤的寫做：
User-agent: Baiduspider
Disallow: css
正確的應該是
User-agent: Baiduspider
Disallow: /css/

badman133

thank you for the information