本文通過(guò)搜索結(jié)果歸納分析+切詞通用算法分析的方式對(duì)百度預(yù)處理階段的查詢處理和中文分詞兩項(xiàng)技術(shù)進(jìn)行了闡述、總結(jié)，如果你對(duì)數(shù)據(jù)結(jié)構(gòu)、算法有一定了解的話，理解起來(lái)會(huì)相對(duì)容易些;個(gè)人感覺(jué)，得出正向最大匹配算法不夠準(zhǔn)確，無(wú)論是專用詞典還是普通詞典里的詞，都是有不同權(quán)重的，這根搜索頻率應(yīng)該有一定關(guān)系，基于這點(diǎn)，在出現(xiàn)多個(gè)專用詞典里的詞時(shí)，是需要采用雙向最大匹配算法來(lái)檢測(cè)到底哪一個(gè)專有詞匯應(yīng)該先被切出來(lái)，下面關(guān)于百度分詞算法長(zhǎng)沙網(wǎng)站建設(shè)-征帆網(wǎng)絡(luò)為大家詳解。

　　理解分詞技術(shù)對(duì)SEO工作具有極大意義，可以從科學(xué)的角度來(lái)分析關(guān)鍵詞，并構(gòu)想關(guān)鍵詞部署策略;如果正向最大匹配算法的結(jié)論是正確的，那基本上可以斷定，切詞后的分詞的權(quán)重是按照正向排序的

　　我還想搞明白的是專用詞典和普通詞典，哪一個(gè)權(quán)重會(huì)更高?

　　以下為轉(zhuǎn)載的原文：

　　查詢處理以及分詞技術(shù)

　　隨著搜索經(jīng)濟(jì)的崛起，人們開(kāi)始越加關(guān)注全球各大搜索引擎的性能、技術(shù)和日流量。作為企業(yè)，會(huì)根據(jù)搜索引擎的知名度以及日流量來(lái)選擇是否要投放廣告等;作為普通網(wǎng)民，會(huì)根據(jù)搜索引擎的性能和技術(shù)來(lái)選擇自己喜歡的引擎查找資料;作為技術(shù)人員，會(huì)把有代表性的搜索引擎作為研究對(duì)象。搜索引擎經(jīng)濟(jì)的崛起，又一次向人們證明了網(wǎng)絡(luò)所蘊(yùn)藏的巨大商機(jī)。網(wǎng)絡(luò)離開(kāi)了搜索將只剩下空洞雜亂的數(shù)據(jù)，以及大量等待去費(fèi)力挖掘的金礦。

　　但是，如何設(shè)計(jì)一個(gè)高效的搜索引擎?我們可以以百度所采取的技術(shù)手段來(lái)探討如何設(shè)計(jì)一個(gè)實(shí)用的搜索引擎。搜索引擎涉及到許多技術(shù)點(diǎn)，比如查詢處理，排序算法，頁(yè)面抓取算法，CACHE機(jī)制，ANTI-SPAM等等。這些技術(shù)細(xì)節(jié)，作為商業(yè)公司的搜索引擎服務(wù)提供商比如百度，GOOGLE等是不會(huì)公之于眾的。我們可以將現(xiàn)有的搜索引擎看作一個(gè)黑盒，通過(guò)向黑盒提交輸入，判斷黑盒返回的輸出大致判斷黑盒里面不為人知的技術(shù)細(xì)節(jié)。

　　查詢處理與分詞是一個(gè)中文搜索引擎必不可少的工作，而百度作為一個(gè)典型的中文搜索引擎一直強(qiáng)調(diào)其“中文處理”方面具有其它搜索引擎所不具有的關(guān)鍵技術(shù)和優(yōu)勢(shì)。那么我們就來(lái)看看百度到底采用了哪些所謂的核心技術(shù)。

　　我們分兩個(gè)部分來(lái)講述：查詢處理/中文分詞。

　　一、查詢處理

　　用戶向搜索引擎提交查詢，搜索引擎一般在接受到用戶查詢后要做一些處理，然后在索引數(shù)據(jù)庫(kù)里面提取相關(guān)的信息。那么百度在接受到用戶查詢后做了些什么工作呢?

　　1、假設(shè)用戶提交了不只一個(gè)查詢串，比如“信息檢索 理論 工具”。那么搜索引擎首先做的是根據(jù)分隔符比如空格，標(biāo)點(diǎn)符號(hào)，將查詢串分割成若干子查詢串，比如上面的查詢就會(huì)被解析為：三個(gè)子字符串;這個(gè)道理簡(jiǎn)單，我們接著往下看。

　　2、假設(shè)提交的查詢有重復(fù)的內(nèi)容，搜索引擎怎么處理呢?比如查詢“理論工具理論”，百度是將重復(fù)的字符串當(dāng)作只出現(xiàn)過(guò)一次，也就是處理成等價(jià)的“理論工具”，而GOOGLE顯然是沒(méi)有進(jìn)行歸并，而是將重復(fù)查詢子串的權(quán)重增大進(jìn)行處理。那么是如何得出這個(gè)結(jié)論的呢?我們可以將“理論工具”提交給百度，返回341,000篇文檔，大致看看第一頁(yè)的返回內(nèi)容。

　　OK。繼續(xù)，我們提交查詢“理論工具理論”，在看看返回結(jié)果，仍然是那么多返回文檔，當(dāng)然這個(gè)不能說(shuō)明太多問(wèn)題，那看看第一頁(yè)返回結(jié)果的排序，看出來(lái)了嗎?順序完全沒(méi)有變化，而 GOOGLE 則排序有些變動(dòng)，這說(shuō)明百度是將重復(fù)的查詢歸并成一個(gè)處理的，而且字符串之間的先后出現(xiàn)順序基本不予考慮(GOOGLE是考慮了這個(gè)順序關(guān)系的)。

　　3、假設(shè)提交的中文查詢包含英文單詞，搜索引擎是怎么處理的?比如查詢”電影BT下載”，百度的方法是將中文字符串中的英文當(dāng)作一個(gè)整體保留，并以此為斷點(diǎn)將中文切分開(kāi)，這樣上述的查詢就切為，不論中間的英文是否一個(gè)字典里能查到的單詞也好，還是隨機(jī)的字符也好，都會(huì)當(dāng)作一個(gè)整體來(lái)對(duì)待。至于為什么，你用查詢 “電影dfdfdf下載”看看結(jié)果就知道了。當(dāng)然如果查詢中包含數(shù)字，也是如此辦理。