一句話總結(jié)蜘蛛的習(xí)慣 |
發(fā)布時(shí)間: 2012/9/23 15:44:04 |
google蜘蛛:不太愛爬,但愛收錄。
百度蜘蛛:爬謹(jǐn)慎,收錄更謹(jǐn)慎。 搜搜蜘蛛:愛爬圖片,經(jīng)常繞在動(dòng)態(tài)地址里出不來。 雅虎蜘蛛:恪守規(guī)則,每次都是先爬robots.txt。 其他的沒有太多留意,就不多說了。 本文出自:億恩科技【mszdt.com】 服務(wù)器租用/服務(wù)器托管中國五強(qiáng)!虛擬主機(jī)域名注冊(cè)頂級(jí)提供商!15年品質(zhì)保障!--億恩科技[ENKJ.COM] |