文章內(nèi)容

Discuz論壇SEO優(yōu)化指南

發(fā)布時間: 2012/9/14 15:13:30

4，解決重復URL的問題和屏蔽垃圾頁面

Discuz! X1.5 還是不可避免的出現(xiàn)重復url的問題。 (希望有渠道的朋友能把這些問題反饋給Discuz相關人員)
這些重復的url即浪費了爬蟲大量的時間，又使網(wǎng)站的原創(chuàng)性受到損害。所以一定要屏蔽很多重復頁面。
另外還要干掉一些垃圾頁面，所謂垃圾頁面就是一些沒什么SEO價值的頁面，也幫助爬蟲節(jié)約時間。

解決這個問題，最好是用robots.txt文件來解決。因為里面的規(guī)則是最強勢的，所有爬蟲第一次訪問一個域名，第一個動作都是下載這個robots.txt文件并讀取里面的規(guī)則。其他一些nofollow和rel=canonical等標簽適當?shù)臅r候再用。

雖然Discuz默認寫了一些robots規(guī)則，但是還是不夠理想。

根據(jù)從首頁的代碼中發(fā)現(xiàn)的問題，需要在robots.txt里增加的規(guī)則有：

Disallow: /forum.php$ （這條規(guī)則在第3節(jié)中去掉了）
Disallow: /search-search-adv-yes.html
Disallow: /space-username-*
Disallow: /forum.php?gid=
Disallow: /home.php?mod=space&username=
Disallow: /forum.php?showoldetails=
Disallow: /home-space-do-friend-view-online-type-member.html
Disallow: /space-uid-*

復制代碼

根據(jù)在板塊帖子列表頁面發(fā)現(xiàn)的問題，需要在robots.txt里增加的規(guī)則有：

Disallow: /search.php$
Disallow: /forum-forumdisplay-fid-*

復制代碼

根據(jù)在帖子詳細信息頁面看到的問題，需要在robots.txt里增加的規(guī)則有：

Disallow: /forum-viewthread-tid-*-extra-page%3D.html$
Disallow: /forum.php?mod=viewthread&tid=
Disallow: /forum-viewthread-tid-*-page-*-authorid-*.html
Disallow: /forum-viewthread-tid-*-extra-page%3D-ordertype-*.html
Disallow: /forum-viewthread-action-printable-tid-*.html
Disallow: /home-space-uid-*

復制代碼

至于為什么要寫這些規(guī)則，由于描述起來實在啰嗦，所以大家自行到源代碼里查看為什么。

robots的寫法是很靈活的。
可以看一下百度的robots寫法指南：
http://www.baidu.com/search/robots.html
以及google網(wǎng)站管理員中心的說明：
http://www.google.com/support/webmasters/bin/answer.py?hl=cn&answer=156449

robots.txt寫到這里并不是結(jié)束，還有兩件事情要做。

1，因為robots.txt和nofollow是不同的意思，所以robots.txt并不能代替nofollow。以上這些需要屏蔽的地方還需要用nofollow標注一下。不過因為要改的源碼太多，暫時先不動。需要用nofollow，還有一個原因是某些搜索引擎并不遵守自己所定下的robots規(guī)則。

2，因為只看過論壇中的三類主要頁面，還有很多頁面沒查看過，難免會有漏掉的地方，所以需要以后經(jīng)常到日志中查看爬蟲的軌跡，看看爬蟲還有哪些抓取問題。
本文出自：億恩科技【mszdt.com】

服務器租用/服務器托管中國五強！虛擬主機域名注冊頂級提供商！15年品質(zhì)保障！--億恩科技[ENKJ.COM]