百度抓取異常查詢工具功能介紹：

 

    1.工具可展現(xiàn)站點(diǎn)中已發(fā)現(xiàn)的抓取異常頁(yè)面（抽樣統(tǒng)計(jì)），并顯示對(duì)應(yīng)的異常類型。每種異常類型最多可展現(xiàn)10條鏈接，多于10條的不會(huì)在界面中體現(xiàn)。

 

    2.所有抓取異常的鏈接列表可以通過(guò)下載的方式獲取，支持按照異常類型下載指定的異常鏈接。

 

    3.目前支持識(shí)別的抓取異常種類有五種：404頁(yè)面、IP封禁、UA封禁、異常重定向以及其他異常，具體如下：：

 

    3.1404頁(yè)面：

 

    代表協(xié)議死鏈，用戶已無(wú)法訪問(wèn)該頁(yè)面內(nèi)容，建議通過(guò)百度站長(zhǎng)平臺(tái)--死鏈工具提交死鏈的方式進(jìn)行處理，以便搜索引擎更快地發(fā)現(xiàn)死鏈，減少死鏈對(duì)用戶以及搜索引擎造成的負(fù)面影響。

 

    3.2IP禁封：

 

    限制網(wǎng)絡(luò)的出口IP地址，禁止該IP段的使用者進(jìn)行內(nèi)容訪問(wèn)，即為IP禁封。請(qǐng)檢查系統(tǒng)服務(wù)器是否設(shè)置了針對(duì)百度spider的IP禁封規(guī)則。

 

    3.3UA禁封：

 

    UA即為用戶代理（User-Agent），服務(wù)器通過(guò)UA識(shí)別訪問(wèn)者的身份，當(dāng)網(wǎng)站針對(duì)指定UA的訪問(wèn)返回異常頁(yè)面（如403，500）或跳轉(zhuǎn)到其他頁(yè)面的情況，即為UA禁封。請(qǐng)檢查系統(tǒng)服務(wù)器是否設(shè)置了針對(duì)百度spider的UA禁封規(guī)則。

 

    3.4異常重定向：

 

    將網(wǎng)絡(luò)請(qǐng)求重新指向其他位置即為重定向。異常重定向指的是以下幾種情況

 

    1）當(dāng)前該頁(yè)面為無(wú)效頁(yè)面（內(nèi)容已刪除、死鏈等），直接跳轉(zhuǎn)到前一目錄或者首頁(yè)，百度建議站長(zhǎng)將該無(wú)效頁(yè)面的入口超鏈接刪除掉

 

    2）重定向到出錯(cuò)或者無(wú)效頁(yè)面

 

    3）重定向的跳轉(zhuǎn)超過(guò)3次，也為異常

 

    注意：對(duì)于長(zhǎng)時(shí)間跳轉(zhuǎn)到其他域名的情況，如網(wǎng)站更換域名，百度建議使用301跳轉(zhuǎn)協(xié)議進(jìn)行設(shè)置。

 

    3.5、其他異常：

 

    1）針對(duì)百度refer的異常：網(wǎng)頁(yè)針對(duì)來(lái)自百度的refer返回不同于正常內(nèi)容的行為。

 

    2）針對(duì)百度ua的異常：網(wǎng)頁(yè)對(duì)百度UA返回不同于頁(yè)面原內(nèi)容的行為。

 

    3）JS跳轉(zhuǎn)異常：網(wǎng)頁(yè)加載了百度無(wú)法識(shí)別的JS跳轉(zhuǎn)代碼，使得用戶通過(guò)搜索結(jié)果進(jìn)入頁(yè)面后發(fā)生了跳轉(zhuǎn)的情況。

 

    4）壓力過(guò)大引起的偶然禁封：百度會(huì)根據(jù)站點(diǎn)的規(guī)模，訪問(wèn)量等信息，自動(dòng)設(shè)定一個(gè)合理的抓取壓力。但是在異常情況下，如壓力控制失常時(shí)，服務(wù)器會(huì)根據(jù)自身負(fù)荷進(jìn)行保護(hù)性的偶然封禁。這種情況下，請(qǐng)?jiān)诜祷卮a中返回503(其含義是“ServiceUnavailable”)，這樣百度spider會(huì)過(guò)段時(shí)間再來(lái)嘗試抓取這個(gè)鏈接，如果網(wǎng)站已空閑，則會(huì)被成功抓取。

 

    對(duì)于異常抓取的頁(yè)面，建議站長(zhǎng)及時(shí)檢查服務(wù)器的工作狀態(tài)和參數(shù)設(shè)置，以避免由此帶來(lái)的流量損失。