文章內(nèi)容

根據(jù)抓取排行做調(diào)整

發(fā)布時(shí)間: 2012/9/23 15:27:41

在很多網(wǎng)站日志中，都能清晰的看到頁(yè)面的抓取排行，URL的抓取排行，這些排行最能直接的反應(yīng)網(wǎng)站的那些部分是最受蜘蛛歡迎的。如果出現(xiàn)了很多css或js的文件都被大量的訪問(wèn)，那么頁(yè)面中這樣的鏈接就大大浪費(fèi)了權(quán)重，所以需要修改robots文件給予禁止。查看有些網(wǎng)站的日志，能明顯的看到那些被過(guò)渡抓取，那些重點(diǎn)內(nèi)容抓取的較少，這樣觀察之后就能做到心中有數(shù)，可以有的放矢。比如之前我的網(wǎng)站會(huì)莫名奇妙的多出一些抓取文件夾，而這些文件夾在網(wǎng)站中是并不存在的，所以要及時(shí)發(fā)現(xiàn)，并給予屏蔽。

另外，也偶爾也會(huì)出現(xiàn)一些500、206等狀態(tài)碼，這些都是日常的一些小問(wèn)題引起的，不必過(guò)于擔(dān)心。而如果大量集中的出現(xiàn)就說(shuō)明服務(wù)器本身有問(wèn)題，另外在根目錄中盡量不要放置壓縮文件，這樣會(huì)被一些別有用心的人嘗試下載網(wǎng)站的源碼或者備份的數(shù)據(jù)。還有助于304狀態(tài)碼，這個(gè)說(shuō)明也正常，是網(wǎng)站沒(méi)有更新造成的。

定期查看網(wǎng)站的日志其實(shí)并不會(huì)占用我們太多的時(shí)間，但如果一直不查看，網(wǎng)站就會(huì)有很多的小問(wèn)題我們無(wú)從知曉，或許友情連接我們做了，原創(chuàng)內(nèi)容也更新了，外部鏈接也不停在發(fā)，但是排名卻一直非常緩慢，那么這個(gè)時(shí)候就不妨看看你的日志，說(shuō)不定問(wèn)題就出在這里邊。

本文出自：億恩科技【mszdt.com】

服務(wù)器租用/服務(wù)器托管中國(guó)五強(qiáng)！虛擬主機(jī)域名注冊(cè)頂級(jí)提供商！15年品質(zhì)保障！--億恩科技[ENKJ.COM]