欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

Python爬虫实战,爬取A股公司数据,简单分析A股公司并生成词云

程序员文章站 2022-03-07 08:43:41
前言 利用Python爬取并简单分析A股公司数据。让我们愉块地开始吧~ 开发工具 Python版本:3.6.4 相关模块: requests模块; bs4模块; lxml模块; pyecharts模块; wordcloud模块; jieba模块; 以及一些Python自带的模块。 环境搭建 安装Py ......

前言

利用python爬取并简单分析a股公司数据。让我们愉块地开始吧~

Python爬虫实战,爬取A股公司数据,简单分析A股公司并生成词云

开发工具

python版本:3.6.4

相关模块:

requests模块;

bs4模块;

lxml模块;

pyecharts模块;

wordcloud模块;

jieba模块;

以及一些python自带的模块。

环境搭建

安装python并添加到环境变量,pip安装需要的相关模块即可。

数据爬取

目标网站:

http://www.askci.com/reports/

需要爬取的数据如下图所示:

Python爬虫实战,爬取A股公司数据,简单分析A股公司并生成词云

直接借助beautifulsoup提取的这些数据,简单一些,源代码如下:

Python爬虫实战,爬取A股公司数据,简单分析A股公司并生成词云

完整源代码详见个人主页或私信获取相关文件中的spider.py文件。

运行效果截图如下:

Python爬虫实战,爬取A股公司数据,简单分析A股公司并生成词云

all done~

数据分析

在数据爬取部分,我们共获得了3573条a股公司数据,下面我们就来简单地可视化分析一波吧~

首先让我们来看看a股公司的区域分布吧:

Python爬虫实战,爬取A股公司数据,简单分析A股公司并生成词云

其中a股公司超过三百家的省份有:

  • 广东

  • 北京

  • 浙江

  • 江苏

接下来再来看看a股公司的收入情况吧:

Python爬虫实战,爬取A股公司数据,简单分析A股公司并生成词云

其中主营业业务收入top10为:

Python爬虫实战,爬取A股公司数据,简单分析A股公司并生成词云

再来看看a股公司的员工数量呗:

Python爬虫实战,爬取A股公司数据,简单分析A股公司并生成词云

再来看看a股公司的上市时间分布呗:

Python爬虫实战,爬取A股公司数据,简单分析A股公司并生成词云

其中,2013年上市的公司数量最少(2个);2017年上市的公司数量最多(438个)。

ok,要不我们再来看看a股公司所在的行业类型占比top10吧:

Python爬虫实战,爬取A股公司数据,简单分析A股公司并生成词云

就很真实。

最后,我们把a股公司主营业务画成词云看看呗:

Python爬虫实战,爬取A股公司数据,简单分析A股公司并生成词云

文章到这里就结束了,关注我每天分享python数据爬虫案例,下篇文章分享是python简单分析高考数据

为了感谢读者们,我想把我最近收藏的一些编程干货分享给大家,回馈每一个读者,希望能帮到你们。

干货主要有:

① 2000多本python电子书(主流和经典的书籍应该都有了)

② python标准库资料(最全中文版)

③ 项目源码(四五十个有趣且经典的练手项目及源码)

④ python基础入门、爬虫、web开发、大数据分析方面的视频(适合小白学习)

⑤ python学习路线图(告别不入流的学习)

⑥ python为期两天的爬虫训练营直播权限

all done~完整源代码+干货详见个人简介或者私信获取相关文件。。