百度和(hé)谷歌(gē)的(de)中文(wén)分(fēn)詞技(jì)術(sh φ✘εù)優勢對(duì)比分(fēn)析
發布日(rì)期：2012-07-19
中文(wén)分(fēn)詞是(shì)百度和(hé)谷歌(gē)的(de)核心技(j↔"↕ì)術(shù)之一(yī)，因此不(bù)會(huì)将細節公之于。我隻能(nén≤•↑g)利用(yòng)黑(hēi)盒方法進行(xíng)推導，也(yě)即通(t✔εōng)過輸入檢索提問(wèn)，查看(kà€φ★€n)結果情況，并通(tōng)過兩個(gè)搜索引擎都(dōu)✔<具備的(de)網頁快(kuài)照(zhào)功£α∏能(néng)查看(kàn)各自(zì)對(duì)檢索提問(wèn)的(de)分(fē©☆≈n)詞情況。如(rú)何優化(huà)網站(zhàn↕™)關鍵詞要(yào)先了(le)解搜索引擎的(de)分(fēn≠σ✔)詞技(jì)術(shù)。
第一(yī)，推導百度的(de)中文(wén)分(fēn)詞技(jì)術(shù)
第1個(gè)例子(zǐ)說(shuō)明(míng>✔>)，如(rú)果對(duì)檢索提問(wèn)用≥↑✘§(yòng)引号做(zuò)精确檢索，百度對(duì)其不(b♠£↑∑ù)進行(xíng)分(fēn)詞運算(suàn)。例2說(shuō)明(míng)，如(rú)↔☆φ果輸入用(yòng)空(kōng)格進行(xín><Ω≥g)分(fēn)割的(de)若幹個(gè)子(zǐ)字符串，百度對(du↕₽σì)其自(zì)動做(zuò)分(fēn)詞處理(lǐ)(♠ 如(rú)果用(yòng)标點符号分(fēn)割，也(↕✘₹∏yě)會(huì)做(zuò)自(zì)動分(fēn)詞處理(lǐ))。€±✔α例3、6、7、8、10等都(dōu)說(shuō)明(míng)百度對(duì)檢索詞會(hu★↔ ¥ì)進行(xíng)多(duō)種切分(fēn)方式，并且首先是(shì)不(b©♦™♣ù)進行(xíng)切分(fēn)，直接∞÷匹配，如(rú)果有(yǒu)結果則返回，并排在檢索結果最前面；然後再按照(zhào)不(bù)同↑'形式切分(fēn)之後再去(qù)匹配。
例4對(duì)“比爾蓋茨”的(de)檢索表明(míng ∏ε≥)，百度有(yǒu)專有(yǒu)名詞庫，例5對(du>α←ì)“旭日(rì)陽剛”的(de)檢索表明(míng)，百度對(duì)新詞收錄較快(kuài)。↑×εγ例9“旭日(rì)陽剛才”的(de)分(fēn)詞結果為(wèi)“旭日(r→>§ì)陽剛/才”也(yě)說(shuō)明(míng)，百度對(duì)新詞能✘<'(néng)夠識别。
例11“大(dà)長(cháng)今天天向上(sλ<∏ hàng)”，百度能(néng)夠識别出“大(dà)長(cháng)今/天天向上(×πshàng)”，“大(dà)長(cháng)今”為(wèi)一(>yī)韓劇(jù)名，“天天向上(shàng)”為(wèi)一(yī)綜 ×®α藝節目，百度均能(néng)正确地(dì)識别，表明↔×↑(míng)其詞庫收詞範圍很(hěn)廣，收詞量很∏✔✘(hěn)多(duō)。例7、8說(shuō)明(mí≤ng)，百度對(duì)在分(fēn)詞時(shí)不(bù)會(hu•λ" ì)忽略“的(de)”、“和(hé)”這(¶§ zhè)些(xiē)意義不(bù)大(dà)的(de)字(即禁用(yòng)詞)，可♦'(kě)以做(zuò)更多(duō)的(de)嘗試，百度對(duì)“了(le)”、φ☆₹≥“嗎(ma)”等都(dōu)不(bù)會(huì)忽略，仍作(zuò)為(wèi€₩)檢索詞進行(xíng)分(fēn)詞。
再探討(tǎo)百度是(shì)正向最大(dà)匹配還(hái)是(shì)逆向最大 ∑(dà)匹配。例7中，對(duì)“走路(lù)和(hé)氣質”可(kěλε)以分(fēn)出“走路(lù)/和(hé)/氣質”，這(zhè)種結果像是(shì)π₩₩Ω逆向最大(dà)匹配法，再看(kàn)例12，“分(fēn)居民(mín)生(₹≤shēng)活水(shuǐ)平”，如(rú)果逆向最大(dà)匹配法的(de)話(huà)應₽≈該是(shì)應該分(fēn)為(wèi)“分₽(fēn)/居民(mín)/生(shēng)活水σ↔Ω₩(shuǐ)平”，但(dàn)事(shì)實上(shàng)百度對(duì)這(☆×∏zhè)個(gè)檢索提問(wèn)的(de)分(fēn)詞結果并不(bù♥€ ¥)如(rú)此，在這(zhè)個(gè)例子(zǐ)上(shàng)看(kàn)似為(wèi)正±'向分(fēn)詞。因此，百度的(de)分(fēn)詞不(bù)是(shì)單純的(d←'≈e)正向最大(dà)匹配或者逆向最大(dà)匹配，采用(→'₹yòng)的(de)應該是(shì)雙向最大(d↓&♣'à)匹配法。
通(tōng)過有(yǒu)多(duō)種劃分(fēn)方式的(de)例子(zǐ)(比如(rú₽β™λ)例8)，可(kě)以看(kàn)出，百度首先是(shì)不(bù)進行(xíng)分(fēn)☆ε詞，得(de)到(dào)“朱德的(de)母親”， ✘然後再識别出專有(yǒu)名詞或新詞，剩餘部分(fēn)又(yòu)按照(zhào)先不(bù)切₩π分(fēn)的(de)方式，得(de)到(dào)“朱德/的(de)母ε✘親”，然後用(yòng)最少(shǎo)切分(fēn)法原則，£并且用(yòng)到(dào)了(le)3元交叉切分'€$(fēn)法得(de)到(dào)了(le)“朱德的(♦$de)/的(de)母親”。
第二，推導谷歌(gē)的(de)中文(wén)分(fēn)詞技(jì)術(sφ≤hù)
例1說(shuō)明(míng)，對(duì)于引号中的(de)檢索提問(wèn)，≈ ÷谷歌(gē)不(bù)進行(xíng)拆分(fēn)；例2說(shuō)明(míng)，用(•α yòng)空(kōng)格分(fēn)開(kāi)的&•©(de)子(zǐ)字符串，谷歌(gē)自(zì)動做(zuò₽δ∑)分(fēn)詞處理(lǐ)(如(rú)果用(yòng)标點符号分(f∏÷ēn)割，效果也(yě)一(yī)樣)。
例3、4、5、6表明(míng)，谷歌(gē)對(duì)于專有(yǒu)名詞和(hé)∑新詞識别能(néng)力較差，對(duì)“比爾蓋茨”、“旭日(rì)陽♥♦₩剛”等都(dōu)進行(xíng)了(le)分(fēn)詞處理(lǐ)，甚至連“忐忑”都(dōu✘φ)劃分(fēn)為(wèi)了(le)“忐/忑”，“圖書(shū)館”劃分(fēn)為(wβ ₹èi)“圖書(shū)/館”，“中醫(yī)φ藥”劃分(fēn)為(wèi)“中/醫(yī)藥”，說(shuō)明(míng)谷歌(g£$ē)的(de)詞庫較小(xiǎo)。
例7、8說(shuō)明(míng)，谷¶→♦>歌(gē)在分(fēn)詞時(shí)，會(huì)對(↕☆★duì)檢索提問(wèn)中意義不(bù)大(d ±← à)的(de)字如(rú)“的(de)”、“和(hé)”忽略，當作(zuò)禁用(yò≤∑ng)詞，然後再進行(xíng)分(fēn)詞。
例9、10、11、12都(dōu)印證了(le)谷≤¥©→歌(gē)采取的(de)是(shì)逆向最大(dà)匹配法，并★ δ印證了(le)對(duì)專有(yǒu)名詞和(hé)新詞識别能(néng)力差。在12個( ¥gè)例子(zǐ)中涉及的(de)專有(yǒu)名詞和(h∑λπé)新詞中，隻有(yǒu)“朱德”被正确識别。
總結
通(tōng)過上(shàng)述分(™★π≠fēn)析，我對(duì)百度和(hé)谷歌(gē)中文(wén)分(fēn)詞♣技(jì)術(shù)做(zuò)一(yī)比較，主要(yào)有(yǒu☆®¥₩)以下(xià)四點：
(1)百度和(hé)谷歌(gē)對(duì)引号中的(↕♣λde)檢索提問(wèn)以及空(kōng)格等分(fēn)割的(de)檢索提問(wèn)的(±β®☆de)分(fēn)詞規則相(xiàng)同；
(2)對(duì)未登錄詞的(de)識别能(néng)♥ •力上(shàng)，百度明(míng)顯占優勢；
(3)谷歌(gē)有(yǒu)禁用(yòng)詞消除功☆↓能(néng)，會(huì)忽略掉那(nà)些(xiē)沒有(yǒu)檢♣≈索意義的(de)常見(jiàn)連詞、介詞，這(zhè)樣↕≥可(kě)以提高(gāo)檢索速度，但(dàn)是(shì)有(y★$ǒu)時(shí)會(huì)去(qù)掉可(kě)能(néng)有(yǒu)檢索 ₩意義的(de)詞的(de)情況，百度則會(huì)将這(zhè)些(xiē)字符統一(yī)作(£≠λ£zuò)為(wèi)檢索詞進行(xíng)分(fēn)詞；
(4)谷歌(gē)采用(yòng)的(de)是(shì)較為×↔γ'(wèi)單一(yī)的(de)逆向最大(dà)匹配法則，×∞而百度則同時(shí)做(zuò)出多(duō)種分(fēn)詞方式，首先不(b£☆ù)拆分(fēn)進行(xíng)查找，然後先識别專有(yǒu)名詞♥✘÷↑和(hé)新詞，再對(duì)其餘部分(fēn)進行(xíng)拆分(fēn)，采用(yòng)雙☆¶向最大(dà)匹配方式。
判斷一(yī)個(gè)系統的(de)∞βπ中文(wén)分(fēn)詞功能(néng)好(hǎo)₩↔壞，主要(yào)在于消歧功能(néng)和(hé)對(duì)未登錄詞識别功能(nén®γ× g)。并且優秀的(de)分(fēn)詞策略應該是(shì)盡量不(bù)拆分(fēn€>✔±)，需要(yào)拆分(fēn)時(shí)，先把長(chán→♣∞ g)的(de)拆成中的(de)，如(rú)果結果還(hái)是(shì)少(shǎo)，再把©☆€σ中的(de)拆成短(duǎn)的(de)。基于這(zhè)些(< ×♠xiē)因素，可(kě)得(de)出結論，百度的(de)關鍵詞優化(huà)中文(wén)分(fēn)詞技(jì)術(shù)要(yào)優于谷歌(gē)。
推薦閱讀(dú)：
如(rú)何判斷網站(zhàn)關鍵詞的(de)難易程度及關鍵詞熱(rè)度？
網站(zhàn)優化(huà)不(bù)僅要(yào)做(zuò)到γ£(dào)知(zhī)己還(hái)要(yà©×↔o)分(fēn)析競争對(duì)手
如(rú)何避免網站(zhàn)搜索引擎二次審核的(de)關鍵因素
SEO優化(huà)人(rén)員(yuán)必知(zhī)的(de)特殊的(de)高(gāo↕₹≈•)級搜索指令集合
SEO優化(huà)前期關鍵詞技(jì)術(shù)分(→↓≈∑fēn)析和(hé)選擇
