百度抓取異常問答 |
發(fā)布時間: 2012/9/22 11:09:02 |
百度抓取異常問答
1、什么是抓取異常
對于互聯(lián)網(wǎng)中可正常訪問的頁面,百度蜘蛛抓取的內(nèi)容應(yīng)與普通用戶訪問到的內(nèi)容是一致的,除此以外的
情況,就是抓取異常。
2、抓取異常對網(wǎng)站的影響有哪些
若網(wǎng)站中有大量抓取異常的網(wǎng)頁存在,搜索引擎會認(rèn)為網(wǎng)站存在用戶體驗(yàn)上的缺陷,并降低對網(wǎng)站的評價
,最終影響到網(wǎng)站在百度搜索引擎中的表現(xiàn)。
3、什么是死鏈
頁面已經(jīng)無效,無法對用戶提供任何有價值信息的頁面就是死鏈接,包括協(xié)議死鏈和內(nèi)容死鏈兩種形式。
協(xié)議死鏈:頁面的TCP協(xié)議狀態(tài)/HTTP協(xié)議狀態(tài)明確表示的死鏈,常見的如404、403、503狀態(tài)等。
內(nèi)容死鏈:服務(wù)器返回狀態(tài)是正常的,但內(nèi)容已經(jīng)變更為不存在、已刪除或需要權(quán)限等與原內(nèi)容無關(guān)的信
息頁面。
對于死鏈,建議及時修復(fù)死鏈數(shù)據(jù),或進(jìn)行死鏈數(shù)據(jù)推送,以便搜索引擎更快地發(fā)現(xiàn)死鏈,減少死鏈對用
戶以及搜索引擎的影響。
4、什么是IP禁封
限制網(wǎng)絡(luò)的出口IP地址,禁止該IP段的使用者進(jìn)行內(nèi)容訪問,即為IP禁封。
5、什么是UA禁封
UA即為用戶代理(User-Agent),服務(wù)器通過UA識別訪問者的身份。當(dāng)網(wǎng)站針對指定UA的訪問,返回異常
頁面(如403,500)或跳轉(zhuǎn)到其他頁面的情況,即為UA禁封。
6、什么是異常重定向
將網(wǎng)絡(luò)請求重新指向其他位置即為重定向。常見的重定向有兩種:永久重定向(301跳轉(zhuǎn)協(xié)議)和暫時重
定向(302跳轉(zhuǎn)協(xié)議),目前百度都可以識別和支持。
對于長時間跳轉(zhuǎn)到其他域名的情況,如網(wǎng)站更換域名,建議您使用301跳轉(zhuǎn)協(xié)議。
7、還有哪些其他異常
針對百度refer的作弊:網(wǎng)頁針對來自百度的refer返回不同于正常內(nèi)容的行為。
針對百度ua的作弊:網(wǎng)頁對百度UA返回不同于頁面原內(nèi)容的行為。
JS跳轉(zhuǎn)作弊:網(wǎng)頁加載了百度無法識別的JS跳轉(zhuǎn)代碼,使得用戶通過搜索結(jié)果進(jìn)入頁面后發(fā)生了跳轉(zhuǎn)的情
況。
壓力過大引起的偶然禁封:百度會根據(jù)站點(diǎn)的規(guī)模,訪問量等信息,自動設(shè)定一個合理的抓取壓力。但是
在異常情況下,如壓力控制失常時,服務(wù)器會根據(jù)自身負(fù)荷進(jìn)行保護(hù)性的偶然封禁。這種情況下,請在返
回碼中返回503(其含義是 “Service Unavailable”),百度蜘蛛會過段時間再來嘗試抓取這個鏈接,如
果網(wǎng)站已空閑,則會被成功抓取。 本文出自:億恩科技【mszdt.com】 服務(wù)器租用/服務(wù)器托管中國五強(qiáng)!虛擬主機(jī)域名注冊頂級提供商!15年品質(zhì)保障!--億恩科技[ENKJ.COM] |