互聯(lián)網(wǎng)文本處理挑戰(zhàn)巨大 中文分詞系統(tǒng)設(shè)計(jì)如何面對(duì)？

crazyhadoop

回復(fù) 30# zhanggggfd


    大規(guī)模索引+ 學(xué)習(xí)，只能通過(guò)智能算法來(lái)分析了，路還很長(zhǎng)

crazyhadoop

回復(fù) 30# zhanggggfd


    現(xiàn)在常用的方法是基于統(tǒng)計(jì)，不過(guò)這個(gè)要有大量的最新語(yǔ)料庫(kù)的配合，一般為了提高新詞的認(rèn)知準(zhǔn)確度，先都是在特定領(lǐng)域挖掘，泛泛的抓取識(shí)別還達(dá)不到這樣的技術(shù)

snailshen

學(xué)習(xí)。。。

hbsycw

crazyhadoop 發(fā)表于 2012-05-28 21:44
回復(fù) 6# hbsycw

是的，感覺(jué)搜狗輸入法，用著很不錯(cuò)~

zhanggggfd

這樣聽(tīng)來(lái)，要處理海量數(shù)據(jù)啊，還真是巨大挑戰(zhàn)。估計(jì)沒(méi)幾個(gè)公司做的了。不過(guò)說(shuō)不定那天就有人想出新算法，精簡(jiǎn)+聯(lián)想數(shù)據(jù)貌似也有可能。

回復(fù) 32# crazyhadoop


   

陳翔123

看看。。。

ttblmtang123

還是語(yǔ)法呀

要分清主語(yǔ)，動(dòng)語(yǔ)
我是中國(guó)人
從左往右最長(zhǎng)匹配優(yōu)先：
讀入‘我’，一個(gè)字當(dāng)然是一個(gè)詞
再讀入‘是’，查表找‘我是’，不在表中，則‘我’是一個(gè)獨(dú)立的詞，‘是’還要下一步判斷
讀入‘中’‘是中’肯定不在表內(nèi)，那‘是’也是一個(gè)獨(dú)立的詞，‘中’還要下一步判斷
讀入‘果’，‘中國(guó)’在表內(nèi)
再讀入‘人’，’中國(guó)人‘也在表內(nèi)，
此時(shí)全部讀完，’中國(guó)人‘是一個(gè)次
結(jié)果就是：我 是 中國(guó)人
其他就是遞歸，
有時(shí)間還可以看一下龍書(shū)。

pitonas

是一個(gè)比較艱巨的任務(wù)。

huihui_2012

精簡(jiǎn)+聯(lián)想數(shù)據(jù)

這個(gè)怎么解讀
回復(fù) 35# zhanggggfd


   

huihui_2012

我參考別人的論文實(shí)現(xiàn)過(guò)一個(gè)新詞發(fā)現(xiàn)的程序。基本思想：
根據(jù)一個(gè)字串上下文的多樣性來(lái)確認(rèn)是否是新詞。對(duì)于比較正規(guī)的新聞文體，識(shí)別新詞的效果還是不錯(cuò)的。

回復(fù) 30# zhanggggfd