對(duì)新站的抓取 |
發(fā)布時(shí)間: 2012/9/23 15:52:16 |
根據(jù)以前觀察幾個(gè)新站日志的發(fā)現(xiàn),百度蜘蛛對(duì)一個(gè)新站一般第一天會(huì)瘋狂抓取,然后會(huì)沉寂一段時(shí)間,而谷歌比較老實(shí),喜歡按部就班一點(diǎn)一點(diǎn)來(lái),越來(lái)越多。上圖是我六月份上的一個(gè)新站的日志,6月15號(hào)那天掛上去后不到一小時(shí)百度收錄首頁(yè),并且瘋狂抓取5500次,第二天就開(kāi)始在爆發(fā)中沉默,而谷歌一開(kāi)始抓取的很少,慢慢越來(lái)越多(聲明:上圖日志的這10天,網(wǎng)站未做任何外鏈,因此不會(huì)受任何外在原因影響)。經(jīng)?吹胶芏嗳司W(wǎng)站上線第一天看到百度大量抓取感覺(jué)很驚訝,覺(jué)得是自己網(wǎng)站權(quán)重高,然后第二天開(kāi)始,蜘蛛直接來(lái)個(gè)1800度調(diào)整,每天就稍微來(lái)看一下,然后就變得很郁悶,覺(jué)得是百度不喜歡自己的站了,其實(shí)不是這樣,這是百度蜘蛛的特性。 本文出自:億恩科技【mszdt.com】 服務(wù)器租用/服務(wù)器托管中國(guó)五強(qiáng)!虛擬主機(jī)域名注冊(cè)頂級(jí)提供商!15年品質(zhì)保障!--億恩科技[ENKJ.COM] |