欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  后端开发

PHP或者python进行数据采集和分析,有什么比较成熟的框架?

程序员文章站 2022-06-11 10:18:52
...
我现在需要对一个网站的文章列表和列表里面的实际内容进行自动化数据采集,列表里面能够取得每个文章的id,而每个文章又是通过一个统一的接口(参数带上那个文章id即可获取到对应的json)里面又有一部分数据需要采集然后进行数据分析。

目前有什么比较成熟的框架或者*能够实现我的需求吗?(要多线程,而且可以7x24小时稳定运行,因为采集数量巨大)

另外问一下,采集到的内容如何存储(百万到千万),数据里面有一些数字数据,需要进行统计分析,用mysql可以吗?或者说还有其他更加成熟简便的*可以用吗?