淺談中文搜索引擎的分詞原理 |
發(fā)布時間: 2012/9/17 14:51:20 |
了解百度分詞技術,對于我們標題的寫法是很重要的。我們知道,百度中文分詞算法是指搜索引擎為了更好的辨別用戶的需求,并且為了快速提供給用戶需求性信息而使用的算法。要在單位時間內(nèi)處理千萬億級的頁面數(shù)據(jù)量,因此搜索引擎擁有一個中文詞庫。比如百度現(xiàn)在大約有9萬個中文詞,那么搜索引擎就可以對千億級的頁面進行分析,按照中文詞庫進行了分類。中文分詞基于以下三個原理:
一、 完全匹配。比如搜索“圖書館”。 二、 高度匹配。比如搜索“圖書館標準”。三、 模糊匹配。比如搜索“中國圖書館標準”。 另外,分詞原理:一些專有詞是不可分割的,比如杰出人物(如:周恩來),明星(如:劉德華),檢索量大的詞(如:買票難)。 這些只是百度中文分詞原理的一部分。以上只是對百度分詞技術看法,百度算法是不可能透露出來,所以以上并不一定是對的。 本文出自:億恩科技【mszdt.com】 |