分享一下Python数据分析常用的8款工具

python是数据处理常用工具，可以处理数量级从几k至几t不等的数据，具有较高的开发效率和可维护性，还具有较强的通用性和跨平台性。python可用于数据分析，但其单纯依赖python本身自带的库进行数据分析还是具有一定的局限性的，需要安装第三方扩展库来增强分析和挖掘能力。

python数据分析需要安装的第三方扩展库有：numpy、pandas、scipy、matplotlib、scikit-learn、keras、gensim、scrapy等，以下是千锋武汉python培训老师对该第三方扩展库的简要介绍：

1. pandas

pandas是python强大、灵活的数据分析和探索工具，包含series、dataframe等高级数据结构和工具，安装pandas可使python中处理数据非常快速和简单。

pandas是python的一个数据分析包，pandas最初被用作金融数据分析工具而开发出来，因此pandas为时间序列分析提供了很好的支持。

pandas是为了解决数据分析任务而创建的，pandas纳入了大量的库和一些标准的数据模型，提供了高效的操作大型数据集所需要的工具。pandas提供了大量是我们快速便捷的处理数据的函数和方法。pandas包含了高级数据结构，以及让数据分析变得快速、简单的工具。它建立在numpy之上，使得numpy应用变得简单。

带有坐标轴的数据结构，支持自动或明确的数据对齐。这能防止由于数据结构没有对齐，以及处理不同来源、采用不同索引的数据而产生的常见错误。

使用pandas更容易处理丢失数据。
合并流行数据库（如：基于sql的数据库）
pandas是进行数据清晰/整理的最好工具。

2. numpy

python没有提供数组功能，numpy可以提供数组支持以及相应的高效处理函数，是python数据分析的基础，也是scipy、pandas等数据处理和科学计算库最基本的函数功能库，且其数据类型对python数据分析十分有用。

numpy提供了两种基本的对象：ndarray和ufunc。ndarray是存储单一数据类型的多维数组，而ufunc是能够对数组进行处理的函数。numpy的功能：

• n维数组，一种快速、高效使用内存的多维数组，他提供矢量化数学运算。
• 可以不需要使用循环，就能对整个数组内的数据进行标准数学运算。
• 非常便于传送数据到用低级语言编写(c\c++)的外部库,也便于外部库以numpy数组形式返回数据。

numpy不提供高级数据分析功能，但可以更加深刻的理解numpy数组和面向数组的计算。

3. matplotlib

matplotlib是强大的数据可视化工具和作图库，是主要用于绘制数据图表的python库，提供了绘制各类可视化图形的命令字库、简单的接口，可以方便用户轻松掌握图形的格式，绘制各类可视化图形。

matplotlib是python的一个可视化模块，他能方便的只做线条图、饼图、柱状图以及其他专业图形。
使用matplotlib，可以定制所做图表的任一方面。他支持所有操作系统下不同的gui后端，并且可以将图形输出为常见的矢量图和图形测试，如pdf svg jpg png bmp gif.通过数据绘图，我们可以将枯燥的数字转化成人们容易接收的图表。
matplotlib是基于numpy的一套python包，这个包提供了吩咐的数据绘图工具，主要用于绘制一些统计图形。
matplotlib有一套允许定制各种属性的默认设置，可以控制matplotlib中的每一个默认属性：图像大小、每英寸点数、线宽、色彩和样式、子图、坐标轴、网个属性、文字和文字属性。

4. scipy

scipy是一组专门解决科学计算中各种标准问题域的包的集合，包含的功能有最优化、线性代数、积分、插值、拟合、特殊函数、快速傅里叶变换、信号处理和图像处理、常微分方程求解和其他科学与工程中常用的计算等，这些对数据分析和挖掘十分有用。

scipy是一款方便、易于使用、专门为科学和工程设计的python包，它包括统计、优化、整合、线性代数模块、傅里叶变换、信号和图像处理、常微分方程求解器等。scipy依赖于numpy，并提供许多对用户友好的和有效的数值例程，如数值积分和优化。

python有着像matlab一样强大的数值计算工具包numpy；有着绘图工具包matplotlib;有着科学计算工具包scipy。
python能直接处理数据，而pandas几乎可以像sql那样对数据进行控制。matplotlib能够对数据和记过进行可视化，快速理解数据。scikit-learn提供了机器学习算法的支持，theano提供了升读学习框架（还可以使用cpu加速）。

5. keras

keras是深度学习库，人工神经网络和深度学习模型，基于theano之上，依赖于numpy和scipy，利用它可以搭建普通的神经网络和各种深度学习模型，如语言处理、图像识别、自编码器、循环神经网络、递归审计网络、卷积神经网络等。

6. scikit-learn

scikit-learn是python常用的机器学习工具包，提供了完善的机器学习工具箱，支持数据预处理、分类、回归、聚类、预测和模型分析等强大机器学习库，其依赖于numpy、scipy和matplotlib等。

scikit-learn是基于python机器学习的模块，基于bsd开源许可证。
scikit-learn的安装需要numpy scopy matplotlib等模块，scikit-learn的主要功能分为六个部分，分类、回归、聚类、数据降维、模型选择、数据预处理。

scikit-learn自带一些经典的数据集，比如用于分类的iris和digits数据集，还有用于回归分析的boston house prices数据集。该数据集是一种字典结构，数据存储在.data成员中，输出标签存储在.target成员中。scikit-learn建立在scipy之上，提供了一套常用的机器学习算法，通过一个统一的接口来使用，scikit-learn有助于在数据集上实现流行的算法。
scikit-learn还有一些库，比如：用于自然语言处理的nltk、用于网站数据抓取的scrappy、用于网络挖掘的pattern、用于深度学习的theano等。

7. scrapy

scrapy是专门为爬虫而生的工具，具有url读取、html解析、存储数据等功能，可以使用twisted异步网络库来处理网络通讯，架构清晰，且包含了各种中间件接口，可以灵活的完成各种需求。

8. gensim

gensim是用来做文本主题模型的库，常用于处理语言方面的任务，支持tf-idf、lsa、lda和word2vec在内的多种主题模型算法，支持流式训练，并提供了诸如相似度计算、信息检索等一些常用任务的api接口。

以上是对python数据分析常用工具的简单介绍，有兴趣的可以深入学习研究一下相关使用方法!