蜘蛛爬取特性分析工具_WinHTTrack HTTrack |
發(fā)布時間: 2012/9/15 14:19:08 |
HTTrack界面
軟件的官方網(wǎng)站是:
掃描規(guī)則
這樣的掃描規(guī)則搜索引擎也一定會有的,比如不收錄.exe文件,zip文件等等。然后不收錄一些特定的跟蹤鏈接, 如 ad.doubleclick.net 。你需要把一些搜索引擎爬蟲不收錄的特征加進去。
然后在“搜尋”里面,很多的特征都是現(xiàn)在搜索引擎爬蟲的特征: 本文出自:億恩科技【mszdt.com】 服務(wù)器租用/服務(wù)器托管中國五強!虛擬主機域名注冊頂級提供商!15年品質(zhì)保障!--億恩科技[ENKJ.COM] |