文章內(nèi)容

認(rèn)識(shí)幾個(gè)搜索引擎爬蟲

發(fā)布時(shí)間: 2012/9/23 15:45:07

Googlebot 谷歌搜索引擎爬蟲，當(dāng)它第一次出現(xiàn)在你網(wǎng)站日志時(shí)，谷歌和網(wǎng)站的漫長(zhǎng)交往正式開始。Googlebot 是 Google 的網(wǎng)頁(yè)抓取機(jī)器人（有時(shí)稱為“信息采集軟件”）。抓取是 Googlebot 發(fā)現(xiàn)新網(wǎng)頁(yè)和更新的網(wǎng)頁(yè)以將這些網(wǎng)頁(yè)添加到 Google 索引中的過(guò)程。

Baiduspider 百度蜘蛛，大多數(shù)中文網(wǎng)站辛辛苦苦，就是為了有朝一日能和這個(gè)蜘蛛搞對(duì)眼，對(duì)眼了小站也就有油水了。Baiduspider 是百度搜索引擎的一個(gè)自動(dòng)程序，它的作用是訪問(wèn)互聯(lián)網(wǎng)上的網(wǎng)頁(yè)，建立索引數(shù)據(jù)庫(kù)，使用戶能在百度搜索引擎中搜索到您網(wǎng)站上的網(wǎng)頁(yè)。

Sogou+web+spider：sogou spider是搜狗搜索引擎的一個(gè)自動(dòng)程序。它的作用是訪問(wèn)互聯(lián)網(wǎng)上的網(wǎng)頁(yè)，存儲(chǔ)到本地?cái)?shù)據(jù)庫(kù)中，并從中發(fā)現(xiàn)新的鏈接，走訪互聯(lián)網(wǎng)，使用戶能在搜狗搜索引擎中搜索到您網(wǎng)站的網(wǎng)頁(yè)。

ia_archiver：這個(gè)是Alexa的蜘蛛爬蟲，和Googlebot、Baiduspider一樣，為收集用戶數(shù)據(jù)而存在。

Sosospider+、HuaweiSymantecSpider、MJ12bot、+bingbot、ichiro等等不一而足。我們要對(duì)它們來(lái)訪表現(xiàn)出熱情與好客，有朋自遠(yuǎn)方來(lái)，要不亦樂(lè)乎？

本文出自：億恩科技【mszdt.com】

服務(wù)器租用/服務(wù)器托管中國(guó)五強(qiáng)！虛擬主機(jī)域名注冊(cè)頂級(jí)提供商！15年品質(zhì)保障！--億恩科技[ENKJ.COM]