国产片侵犯亲女视频播放_亚洲精品二区_在线免费国产视频_欧美精品一区二区三区在线_少妇久久久_在线观看av不卡

服務器之家:專注于服務器技術及軟件下載分享
分類導航

PHP教程|ASP.NET教程|Java教程|ASP教程|編程技術|正則表達式|C/C++|IOS|C#|Swift|Android|VB|R語言|JavaScript|易語言|vb.net|

服務器之家 - 編程語言 - ASP.NET教程 - 淺析常用分詞算法的比較與設想

淺析常用分詞算法的比較與設想

2019-11-20 13:50asp.net教程網 ASP.NET教程

這篇文章介紹了常用分詞算法的比較與設想,有需要的朋友可以參考一下

與基于理解的分詞算法和基于統計的分詞算法相比,基于文本匹配的算法更加通用。基于文本匹配的算法又稱之為“機械分詞算法”,他是它是按照一定的策略將待分析的漢字串與一個“充分大的”機器詞典中的詞條進行配,若在詞典中找到某個字符串,則匹配成功,可識別出一個詞。按照掃描方向的不同,文本匹配分詞方法可以分為正向匹配和逆向匹配兩種;按照不同長度優先匹配的情況,可以分為最大(最長)匹配和最小(最短)匹配;按照是否與詞性標注過程相結合,又可以分為單純分詞方法和分詞與標注相結合的一體化方法。

常用的幾種機械分詞方法如下:

1) 正向最大匹配法(由左到右的方向)

2) 逆向最大匹配法(由右到左的方向)

3) 最少切分(使每一句中切出的詞數最小)。

其他的還有將上述各種方法相互組合形成的分詞算法,例如,可以將正向最大匹配方法和逆向最大匹配方法結合起來構成雙向匹配法。由于漢語單字成詞的特點,正向最小匹配和逆向最小匹配一般很少使用。本文中著重討論正向最大匹配法和逆向最大匹配法。

由于機械分詞算法的準確性取決于算法的準確性與詞庫完備性兩個方面。在本文中設想詞庫充分大,包含需要的詞語。

一般說來,逆向匹配的切分精度略高于正向匹配,遇到的歧義現象也較少。統計結果表明,單純使用正向最大匹配的錯誤率為1/169,單純使用逆向最大匹配的錯誤率為1/245。但這種精度還遠遠不能滿足實際的需要。實際使用的分詞系統,都是把機械分詞作為一種初分手段,還需通過利用各種其它的語言信息來進一步提高切分的準確率。

我們先看兩句中文:

1) 長春市長春節致辭

2) 長春市長春藥店

我們假使詞庫中包含如下詞語“長春”,“長春市”,“市長”,“春節”,“致辭”,“春藥”,“藥店”,“春藥店”等。

用正向最大匹配法得到的結果是:

長春市/長春/節/致辭(分成4個詞,其中“節”未匹配到,語義錯誤)

長春市/長春/藥店(分成3個詞,都匹配到,語義正確)

用逆向最大匹配法得到的結果是:

長春/市長/春節/致辭(分成4個詞,都匹配到,語義正確)

長春/市長/春藥店(分成3個詞,都匹配到,語義錯誤)

從此,我們可以看到正向最大匹配法和逆向最大匹配法的利弊所在:都能夠正確解釋部分中文,同時都有一些無法區分。

是否可以考慮將這兩種匹配法結合起來,各取所長呢?答案是肯定的。

首先,我們對同一個詞用正向最大匹配法和逆向最大匹配法分別切詞,再將結果進行比較。如切分“長春市長春節致辭”,因為正向最大匹配法有一個詞語無法匹配,故選擇使用逆向最大匹配法作為結果。

其次,我們可以引入詞頻的概念,及每一個詞語都會根據其在漢語中出現的概率獲得一個詞頻值。我們對“長春市長春藥店”進行兩種方法的分詞,但是因為逆向最大匹配法得到的“春藥店”的詞頻相比于其他詞語的詞頻要低很多。我們可以認為這種分詞方法得到的結果不通用,取正向最大匹配法得結果。

當然,還可以將其他的一些方法(如掃描標志法,詞性檢查法等)與這兩種匹配法相結合,以獲得更好更準確的分詞效果。

延伸 · 閱讀

精彩推薦
Weibo Article 1 Weibo Article 2 Weibo Article 3 Weibo Article 4 Weibo Article 5 Weibo Article 6 Weibo Article 7 Weibo Article 8 Weibo Article 9 Weibo Article 10 Weibo Article 11 Weibo Article 12 Weibo Article 13 Weibo Article 14 Weibo Article 15 Weibo Article 16 Weibo Article 17 Weibo Article 18 Weibo Article 19 Weibo Article 20 Weibo Article 21 Weibo Article 22 Weibo Article 23 Weibo Article 24 Weibo Article 25 Weibo Article 26 Weibo Article 27 Weibo Article 28 Weibo Article 29 Weibo Article 30 Weibo Article 31 Weibo Article 32 Weibo Article 33 Weibo Article 34 Weibo Article 35 Weibo Article 36 Weibo Article 37 Weibo Article 38 Weibo Article 39 Weibo Article 40
主站蜘蛛池模板: 亚洲精品在线播放视频 | 欧美激情一区二区三级高清视频 | 狠狠搞狠狠干 | 欧美日韩一级视频 | 国产精品免费久久 | 亚洲精品电影网在线观看 | 91av爱爱| 日韩一区二区在线免费 | 午夜视频在线观看网站 | 久久精品a一级国产免视看成人 | 日本在线观看 | 韩国一区二区视频 | 亚洲好色视频 | 精品视频二区三区 | 色综合久 | 日韩免费av一区二区 | 亚洲国产精品yw在线观看 | 一级一片在线播放在线观看 | 亚洲福利社区 | 国产精品视频一区二区三区不卡 | 精品国产成人 | 国外成人在线视频网站 | 中文字幕人成乱码在线观看 | 日日爱视频 | 欧美日韩在线视频观看 | 三a视频| 国产综合视频 | 日韩看片 | 成人高清视频在线 | 欧美日韩国产一区二区三区不卡 | 久久伊人精品 | 观看av| 久久成人免费视频 | 性爽视频| 午夜精品久久久久久久久久久久 | 国内外精品一区二区三区 | 日韩在线观看一区 | 欧美精三区欧美精三区 | 日韩精品一二三 | 国产精品国产三级国产aⅴ原创 | 国产精品亚洲精品 |