搜索引擎抓取不到的內容

搜索引擎抓取不到的內容有那些

　沒有搜索引擎是萬萬不能的，但搜索引擎不是萬能的；

　　有些內容，網(wǎng)上明明存在，但是你用搜索引擎搜不到。如果事先理解搜索引擎能做的和不能做的，你就可以設計更佳的搜索策略。而搜索之前思考一下搜索策略，是搜索成功最關鍵的一步。

-----------------------------------------------------------------------------    本文章轉載于互聯(lián)網(wǎng)某網(wǎng)站!

這樣的內容，主要有3類：

======================

1、網(wǎng)上有，但是搜索引擎庫里沒有

------------------------------------------------------

1.1 spider未能正確處理的網(wǎng)頁性質及文件類型

（如flash、script、ps、某些動態(tài)網(wǎng)頁及frame、數(shù)據(jù)庫）

1.2 沒有指向鏈接的孤島網(wǎng)頁

1.3 spider訪問時因為某些原因正好是死鏈接

1.4 被認為是劣質網(wǎng)頁而不抓

1.5 因為/色情/反動/spam/等問題而不抓的非法網(wǎng)頁

1.6 需要輸入用戶名、密碼方可打開的網(wǎng)頁

1.7 網(wǎng)站用robots協(xié)議拒絕搜索引擎抓取的網(wǎng)頁

1.8 搜索引擎還未來得及抓取的新網(wǎng)頁

1.9 gopher、newsgroups、Telnet、ftp、wais等非http信息

1.10 網(wǎng)站數(shù)據(jù)庫做得太差勁，spider一抓就宕，只好不抓

2、搜索引擎庫里有，但是未能正確索引網(wǎng)頁中信息

------------------------------------------------------

2.1 分詞引起誤差

2.2 圖型中的文字信息你看得懂但搜索引擎看不懂

2.3 停用詞等搜索引擎故意不索引的信息

2.4 搜索引擎對某些網(wǎng)頁有選擇的索引，未索引全部網(wǎng)頁信息

3、搜索引擎正確索引了網(wǎng)頁中信息，但和你用的關鍵詞不同

-------------------------------------------------------

3.1 你用的搜索關鍵詞中含有錯別字

3.2 網(wǎng)頁作者用了錯別字

3.3 沒有錯別字，但網(wǎng)頁作者用的詞匯和你的關鍵詞不同，畢竟，文字的特性，允許有n種方式表達同一種信息

3.4 簡體繁體不同編碼

服務器租用/服務器托管中國五強！虛擬主機域名注冊頂級提供商！15年品質保障！--億恩科技[ENKJ.COM]