【转】机器学习-Python自然语言处理库

自然语言处理的库非常多，下面列举一些对Python友好，简单易用，轻量，功能又全的库。

1 中文

中文自然语言处理工具评测：https://github.com/mylovelybaby/chinese-nlp-toolkit-test

awesome: https://github.com/crownpku/Awesome-Chinese-NLP

• Hanlp

地址：https://github.com/hankcs/HanLP

• Jieba

地址：https://github.com/fxsjy/jieba

• snownlp

https://github.com/isnowfy/snownlp

• FoolNLTK

1. 可能不是最快的开源中文分词，但很可能是最准的开源中文分词
2. 基于BiLSTM模型训练而成
3. 包含分词，词性标注，实体识别,　都有比较高的准确率
4. 用户自定义词典

# segmentation
import fool

text = "一个*在北京"
print(fool.cut(text))
Out：
['一个', '*', '在', '北京']

# pos tagging
import fool

text = "一个*在北京"
print(fool.pos_cut(text))
#[('一个', 'm'), ('*', 'n'), ('在', 'p'), ('北京', 'ns')]

# NER
import fool 

text = "一个*在北京"
words, ners = fool.analysis(text)
print(ners)
#[(5, 8, 'location', '北京')]

2 英文

• NLTK

地址：https://www.nltk.org/

• Textblob

地址：https://github.com/sloria/TextBlob

3 实例

3.1 中文自然语言处理Pipeline实例

实例：https://github.com/JiaLiangShen/Chinese-Article-Classification-based-on-own-corpus-via-TextCNN-and-GBDT

3.2 英文Pipeline实例

实例：https://github.com/TiesdeKok/Python_NLP_Tutorial/blob/master/NLP_Notebook.ipynb

---------------------------------------------------------------------------------------

1.NLTK

NLTK 在使用 Python 处理自然语言的工具中处于领先的地位。它提供了 WordNet 这种方便处理词汇资源的接口，以及分类、分词、词干提取、标注、语法分析、语义推理等类库。

网站

http://www.nltk.org/

安装 NLTK: sudo pip install -U nltk

安装 Numpy (可选): sudo pip install -U numpy

安装测试: python then type import nltk

2.Pattern

Pattern 拥有一系列的自然语言处理工具，比如说词性标注工具(Part-Of-Speech Tagger)，N元搜索(n-gram search)，情感分析(sentiment analysis)，WordNet。它也支持机器学习的向量空间模型，聚类，向量机。

网站:

https://github.com/clips/pattern

安装:

pip install pattern

3.TextBlob

TextBlob 是一个处理文本数据的 Python 库。它提供了一个简单的 api 来解决一些常见的自然语言处理任务，例如词性标注、名词短语抽取、情感分析、分类、翻译等等。

网站：

http://textblob.readthedocs.org/en/dev/

安装：

pip install -U textblob

4.Gensim

Gensim 是一个 Python 库，用于对大型语料库进行主题建模、文件索引、相似度检索等。它可以处理大于内存的输入数据。作者说它是“纯文本上无监督的语义建模最健壮、高效、易用的软件。”

网站：

https://github.com/piskvorky/gensim

安装：

pip install -U gensim

5.PyNLPI

它的全称是：Python 自然语言处理库（Python Natural Language Processing Library，音发作: pineapple） 是一个用于自然语言处理任务库。它集合了各种独立或松散互相关的，那些常见的、不常见的、对NLP 任务有用的模块。PyNLPI 可以用来处理 N 元搜索，计算频率表和分布，建立语言模型。它还可以处理向优先队列这种更加复杂的数据结构，或者像 Beam 搜索这种更加复杂的算法。

安装：

LInux:sudo apt-get install pymol

Fedora:yum install pymol

6.spaCy

这是一个商业的开源软件。结合了Python 和Cython 优异的 NLP 工具。是快速的，最先进的自然语言处理工具。

网站：

https://github.com/proycon/pynlpl

安装：

pip install spacy

7.Polyglot

Polyglot 支持大规模多语言应用程序的处理。它支持165种语言的分词，196中语言的辨识，40种语言的专有名词识别，16种语言的词性标注，136种语言的情感分析，137种语言的嵌入，135种语言的形态分析，以及69种语言的翻译。

网站：

https://pypi.python.org/pypi/polyglot

安装

pip install polyglot

8.MontyLingua（英文）

MontyLingua 是一个免费的、功能强大的、端到端的英文处理工具。在 MontyLingua 输入原始英文文本 ，输出就会得到这段文本的语义解释。它适用于信息检索和提取，请求处理，问答系统。从英文文本中，它能提取出主动宾元组，形容词、名词和动词短语，人名、地名、事件，日期和时间等语义信息。

网站：

http://web.media.mit.edu/~hugo/montylingua/

9.BLLIP Parser

BLLIP Parser（也叫做 Charniak-Johnson parser）是一个集成了生成成分分析器和最大熵排序的统计自然语言分析器。它包括命令行和python接口。

10.Quepy

Quepy 是一个 Python 框架，提供了将自然语言问题转换成为数据库查询语言中的查询。它可以方便地自定义自然语言中不同类型的问题和数据库查询。所以，通过 Quepy，仅仅修改几行代码，就可以构建你自己的自然语言查询数据库系统。

网站

https://github.com/machinalis/quepy

http://quepy.machinalis.com/

 

11.HanNLP

HanLP是一个致力于向生产环境普及NLP技术的开源Java工具包，支持中文分词（N-最短路分词、CRF分词、索引分词、用户自定义词典、词性标注），命名实体识别（中国人名、音译人名、日本人名、地名、实体机构名识别），关键词提取，自动摘要，短语提取，拼音转换，简繁转换，文本推荐，依存句法分析（MaxEnt依存句法分析、神经网络依存句法分析）。
文档使用操作说明：Python调用自然语言处理包HanLP 和 菜鸟如何调用HanNLP