欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

Gecco框架典型案例—闲逛APP

程序员文章站 2022-05-23 22:26:48
...

Gecco开源爬虫框架是2015年12月31日发布的,发布以来在易用性、可扩展性上得到了大家的肯定。目前在github上已经有230+的star,100+的fork。那么,Gecco这个新的爬虫框架在实际应用中的表现如何呢?为了让用户放心使用Gecco框架,Gecco团队发布了一款使用Gecco爬虫框架开发的APP——闲逛。这款应用更多的是用来验证Gecco框架的易用性、稳定性、可扩展性。任何脱离实际应用的框架都是耍流氓。

闲逛应用抓取了京东、苏宁易购、天猫、什么值得买等10多个主流电商和导购平台,经过数据清洗和聚合实现了如下功能:

  • 【历史新低】实时获取电商价格动态,历史新低谁买谁赚
  • 【值得买】全网什么值得买信息全收录
  • 【9.9包邮】天猫9.9包邮实时更新
  • 【优惠券】收集全网优惠券信息

闲逛应用的爬虫部分主要使用了Gecco的核心和Gecco-Spring的扩展框架,由于规模还不大,并没有使用Gecco-Redis分布式爬虫,由于考虑到效率问题也没有使用Gecco-HtmlUnit扩展框架。下一步引入更多电商网站的抓取后将会使用Gecco-Redis扩展框架进行分布式抓取,以验证Gecco-Redis的可靠性。

闲逛应用的爬虫部分已经做了7*24小时的稳定性测试,今后,Gecco的升级都会先在闲逛应用上做好测试后再进行版本的发布。

APP目前只有Android客户端。可以通过点击这里下载,也能通过扫描下面的二维码进行下载,有兴趣的朋友可以安装使用。 Gecco框架典型案例—闲逛APP
            
    
    博客分类: gecco gecco闲逛爬虫折扣优惠