如何利用Robots.txt優(yōu)化WordPress新站點(diǎn)

WordPress不愧是世界上最受歡迎的建站系統(tǒng)，但很多新手對(duì)robots.txt文件的重要性不是很了解，這次就用這篇文章普及一下WordPress站點(diǎn)robots.txt文件編寫知識(shí)。

Robots協(xié)議(也稱為爬蟲協(xié)議、機(jī)器人協(xié)議等)的全稱是“網(wǎng)絡(luò)爬蟲排除標(biāo)準(zhǔn)”(Robots Exclusion Protocol)，網(wǎng)站通過Robots協(xié)議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。

搜索引擎蜘蛛爬巡網(wǎng)站時(shí)，首先會(huì)尋找站點(diǎn)根目錄有沒有 robots.txt文件，如果有這個(gè)文件就根據(jù)文件的內(nèi)容確定收錄范圍，如果沒有就按默認(rèn)訪問以及收錄所有頁面。另外，當(dāng)搜索蜘蛛發(fā)現(xiàn)不存在robots.txt文件時(shí)，會(huì)產(chǎn)生一個(gè)404錯(cuò)誤日志在服務(wù)器上，從而增加服務(wù)器的負(fù)擔(dān)，因此為站點(diǎn)添加一個(gè)robots.txt文件還是很重要的。

知道Robots協(xié)議的作用后，下面具體說一下WordPress站點(diǎn)如何編寫robots.txt文件。

WordPress站點(diǎn)默認(rèn)在瀏覽器中輸入：http://你的域名/robots.txt，會(huì)顯示如下內(nèi)容：

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-includes/

以上短短的內(nèi)容由WordPress自動(dòng)生成的，意思是告訴搜索引擎不要抓取后臺(tái)程序文件。

但這是遠(yuǎn)遠(yuǎn)不夠的，以本站為例，比較完整的WordPress站點(diǎn)robots.txt文件內(nèi)容如下：

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/
Disallow: /wp-includes/
Disallow: /*/comment-page-*
Disallow: /*?replytocom=*
Disallow: /category/*/page/
Disallow: /tag/*/page/
Disallow: /*/trackback
Disallow: /feed
Disallow: /*/feed
Disallow: /comments/feed
Disallow: /?s=*
Disallow: /*/?s=*\
Disallow: /attachment/
Sitemap: https://enews.enkj.com/sitemap.xml

使用方法：新建一個(gè)名稱為robots.txt文本文件，將上面的內(nèi)容放進(jìn)去（最后一項(xiàng)修改為自己sitemap地址），然后上傳到網(wǎng)站根目錄即可。

下面分別解釋一下wordpress robots.txt各項(xiàng)的作用：

1、Disallow: /wp-admin/、Disallow: /wp-content/和Disallow: /wp-includes/

用于告訴搜索引擎不要抓取后臺(tái)程序文件頁面。

2、Disallow: /*/comment-page-*和Disallow: /*?replytocom=*

禁止搜索引擎抓取評(píng)論分頁等相關(guān)鏈接。

3、Disallow: /category/*/page/和Disallow: /tag/*/page/

禁止搜索引擎抓取收錄分類和標(biāo)簽的分頁。

4、Disallow: /*/trackback

禁止搜索引擎抓取收錄trackback等垃圾信息

5、Disallow: /feed、Disallow: /*/feed和Disallow: /comments/feed

禁止搜索引擎抓取收錄feed鏈接，feed只用于訂閱本站，與搜索引擎無關(guān)。

6、Disallow: /?s=*和Disallow: /*/?s=*\

禁止搜索引擎抓取站內(nèi)搜索結(jié)果

7、Disallow: /*?*

禁止搜索抓取動(dòng)態(tài)頁面

8、Disallow: /attachment/

禁止搜索引擎抓取附件頁面，比如毫無意義的圖片附件頁面。

上面只是wordpress robots.txt基本的寫法，當(dāng)然還有很多寫法，不過這些已經(jīng)夠用了。

建站是一個(gè)有趣而又枯燥的過程，望大家堅(jiān)持！

•  關(guān)于WordPress 站點(diǎn)添加和上傳 robots.txt
• 如何為你的 WordPress 站點(diǎn)添加 robots.txt

河南億恩科技股份有限公司(mszdt.com)始創(chuàng)于2000年，專注服務(wù)器托管租用，是國家工信部認(rèn)定的綜合電信服務(wù)運(yùn)營商。億恩為近五十萬的用戶提供服務(wù)器托管、服務(wù)器租用、機(jī)柜租用、云服務(wù)器、網(wǎng)站建設(shè)、網(wǎng)站托管等網(wǎng)絡(luò)基礎(chǔ)服務(wù)，另有網(wǎng)總管、名片俠網(wǎng)絡(luò)推廣服務(wù)，使得客戶不斷的獲得更大的收益。
服務(wù)器/云主機(jī) 24小時(shí)售后服務(wù)電話：0371-60135900
虛擬主機(jī)/智能建站 24小時(shí)售后服務(wù)電話：0371-55621053
網(wǎng)絡(luò)版權(quán)侵權(quán)舉報(bào)電話：0371-60135995
服務(wù)熱線：0371-60135900