什么是Baiduspider - 百度蜘蛛 |
發(fā)布時間: 2012/9/18 11:30:06 |
百度是如何收錄到那么多網(wǎng)頁的呢?這個百度用以抓取互聯(lián)網(wǎng)上數(shù)以億計的網(wǎng)頁的程序,就叫做Baiduspider-百度蜘蛛。 它是一個程序,夜以繼日得在互聯(lián)網(wǎng)上找尋新的URL,接著抓取URL上的內(nèi)容,返回到百度的網(wǎng)頁暫存數(shù)據(jù)庫。 百度用來抓取網(wǎng)頁內(nèi)容的程序,叫做Baiduspider,抓取其他內(nèi)容的蜘蛛,則是新的名字: 產(chǎn)品名稱對應(yīng)user-agent 網(wǎng)頁搜索Baiduspider 無線搜索Baiduspider-mobile 圖片搜索Baiduspider-image 視頻搜索Baiduspider-video 新聞搜索Baiduspider-news 百度搜藏Baiduspider-favo 百度聯(lián)盟Baiduspider-cpro 不少朋友會在自己的網(wǎng)站日志里看到這個蜘蛛Baiduspider-cpro,現(xiàn)在我們明白它是百度聯(lián)盟蜘蛛,用以百度聯(lián)盟程序匹配相應(yīng)的廣告。本文出自:億恩科技【mszdt.com】 服務(wù)器租用/服務(wù)器托管中國五強!虛擬主機域名注冊頂級提供商!15年品質(zhì)保障!--億恩科技[ENKJ.COM] |