基于 Python 的中文分词方案那种比较好?
程序员文章站
2022-05-12 12:15:32
...
回复内容:
"结巴"中文分词:做最好的Python中文分词组件 "Jieba" (Chinese for "to stutter") Chinese text segmentation: built to be the best Python Chinese word segmentation module.https://github.com/fxsjy/jieba
pynlpir,对ictclas的封装,最近做毕设正在用,速度和准确率都很好~ 闲来无事,写了两个分词程序,一个是基于mmseg的另一个是基于CRF的,目前已经上传pypi.
pip install scseg
pip install genius 其实我没有用过python或其他任何语言的分词库,不过恰好在OSChina上看到了几个python的中文分词库,有几个也是前面一些知友提到的,我把链接转过来吧:
-
http://www.oschina.net/project/tag/264/segment?sort=view&lang=25&os=0
今天刚给四款python中文分词的做了简单测试
http://hi.baidu.com/fooying/item/6ae7a0e26087e8d7eb34c9e8 smallseg ;
轻量级,容易使用。
jieba 路过。。。 中科院和哈工大的两个分词包就挺好
网上有人做了总结,发来给大家参考
几种开源分词工具的比较 有个 mmseg for python 分词 我没用过python语言写的分词程序。
分词这种功能属于计算密集型功能,需要大量计算,python不适合这种场合,可以考虑python调用c库。