DedeCMS本身自帶有一個robots.txt文件，但是里面的設置很簡單，并不能完全滿足網站的優(yōu)化要求，尤其是對于使用偽靜態(tài)的網站來說，robots.txt文件的優(yōu)化，要怎樣做才行呢？

下面是我的一點想法，適用于偽靜態(tài)的DedeCMS網站。

  User-agent: * 
　　Disallow: /dede 織夢管理后臺目錄，需要改名，具體設置在下面詳細說明
　　Disallow: /include 程序核心文件目錄
　　Disallow: /member 會員管理目錄，有些文件可以開放
　　Disallow: /plus 插件及輔助功能目錄
　　Disallow: /templets 織夢模板文件存放目錄
　　Disallow: /data 系統(tǒng)緩存或其它可寫入數據存放目錄
　　Disallow: /uploads 上傳下載文件保存目錄,不想搜索引擎引用圖片的話，禁止
　　Disallow: /images 系統(tǒng)默認模板圖片存放目錄
　　Disallow: /index.php 網站默認首頁，靜態(tài)化的話，最好禁止
　　Disallow: /404.html 404錯誤頁面
　　Allow: /plus/search.php 開放禁止目錄里的具體文件

下面著重講下后臺管理目錄和欄目頁的設置：

　　1、dede后臺管理目錄，為了網站安全考慮需要改名。然而改名之后，大家不免疑惑：改了名，應該在robots.txt文件里怎么設置禁止搜索引擎抓取呢？如果直接禁止抓取，就泄露了后臺目錄，等于改名無效。我們可以通過下面的設置解決這個問題，如我們設置后臺目錄為dedecms：

　　在robots.txt文件里面加上“Disallow: /d*ms”這句就可以了。

　　這樣我們就能即禁止了搜索引擎的抓取，又不會泄露了后臺目錄名稱。

　　2、欄目頁。有些人會注意到，如果網站不做偽靜態(tài)優(yōu)化的話，欄目分頁后會有兩個鏈接指向欄目首頁，如*/web/和*/web/list_1_1.html，為了網站優(yōu)化，建議先將欄目分頁優(yōu)化以下(具體做法大家可以在網上找)，把首頁和第一頁的鏈接改為*/web/的形式，然后在robots.txt文件里做以下設置:

　　在robots.txt文件里面加上“Disallow: /*1.html$“這句。

　　以上就是DEDECMS robots.txt文件的設置，大家可以根據自己網站的情況具體設置。

注意事項：

1.為安全起見，最好按官方說明設置好網站目錄權限；

2.后臺目錄改后的名稱開頭字母和結尾字母不要和其他目錄有相同之處；

3.設置完成后最好用百度站長工具測試一下robots.txt文件設置是否有效。