工具分享：查詢蜘蛛是否正確爬行你的頁面

不知道站長們有沒有查過蜘蛛能否正確爬行網(wǎng)站的頁面鏈接，中文seo工具中有很多的蜘蛛模擬器，可以查看蜘蛛抓取的網(wǎng)頁文字內(nèi)容，但是卻很少有工具給出蜘蛛爬行的鏈接。

webconfs.com是國外比較著名的seo網(wǎng)站，主要是為大家提供一些SEO工具，比如著名的關(guān)鍵詞密度檢查器、蜘蛛模擬器等，其中蜘蛛模擬器不僅給出了抓取的問題內(nèi)容，還給大家提供了爬行的鏈接——Spidered Links。

使用這個(gè)工具可以查看蜘蛛是否能夠正確的爬行頁面上的鏈接地址，筆者也是剛發(fā)現(xiàn)了要與大家分享的問題——網(wǎng)站內(nèi)頁中的相對(duì)地址蜘蛛是無法正確爬行的。筆者剛上線的錢江人才網(wǎng)就出現(xiàn)了這樣的問題。

下面筆者就以自己的網(wǎng)站為例，給大家分享一下，希望可以作為參考，蜘蛛模擬器工具的地址為：http://www.webconfs.com/search-engine-spider-simulator.php，在查詢框中輸入自己的網(wǎng)站，這里最好查詢你自己網(wǎng)站的內(nèi)頁，因?yàn)槭醉摰南鄬?duì)地址對(duì)蜘蛛來講一般不會(huì)出現(xiàn)問題。筆者的網(wǎng)站查詢結(jié)果部分截圖分析：

打開上面的地址網(wǎng)頁是不存在的，因?yàn)榕佬械牡刂肥清e(cuò)誤的，這里由于網(wǎng)站頁面中使用是相對(duì)地址，正確的地址為www.xxxx.com/News/，這里蜘蛛抓取的時(shí)候給漏掉了一個(gè)目錄，就無法正確的向下爬行了。

所以網(wǎng)站的內(nèi)頁最好還是使用絕對(duì)地址，蜘蛛可以直接去爬行正確的鏈接地址。

備注：webconfs.com為國外網(wǎng)站，有時(shí)候可能會(huì)打不開。全英文的，可以使用google瀏覽器打開，直接翻譯頁面。

服務(wù)器租用/服務(wù)器托管中國五強(qiáng)！虛擬主機(jī)域名注冊(cè)頂級(jí)提供商！15年品質(zhì)保障！--億恩科技[ENKJ.COM]