欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  后端开发

通过curl保存的cookie如何设置过期时间?

程序员文章站 2022-05-24 22:23:35
...
通过模拟登录保存cookie,然后去后台页面不断抓取某网站上的订单数据。
现在有两个问题
  • 该网站cookie会在10分钟后过期,过期后需要重新登录

  • 该网站的订单数据禁止频繁查询

现在要完成这样的功能:

  • 从模拟登录后开始,不断地自动抓取订单数据

  • 当该cookie过期时自动发送消息到管理员微信,提醒管理员重新登录。

那么,如何在模拟登录时,设置保存的cookie过期时间?以及如何设置每隔固定的时间去执行一次抓取数据操作?
因为要对这些数据做处理,有没有办法在本地测试中即可完成这些操作?

回复内容:

通过模拟登录保存cookie,然后去后台页面不断抓取某网站上的订单数据。
现在有两个问题

  • 该网站cookie会在10分钟后过期,过期后需要重新登录

  • 该网站的订单数据禁止频繁查询

现在要完成这样的功能:

  • 从模拟登录后开始,不断地自动抓取订单数据

  • 当该cookie过期时自动发送消息到管理员微信,提醒管理员重新登录。

那么,如何在模拟登录时,设置保存的cookie过期时间?以及如何设置每隔固定的时间去执行一次抓取数据操作?
因为要对这些数据做处理,有没有办法在本地测试中即可完成这些操作?

隔固定时间去执行抓取,可以使用cli模式定时任务。

cookie设置过期时间我觉得没有必要,你可以在接口失效的前提下重新模拟登录。

1该网站的订单数据禁止频繁查询
curl 支持代理请求,他检测是否频繁请求是通过ip来检测的
2该网站cookie会在10分钟后过期,过期后需要重新登录(cookie里面存放了sessionid 主要是这个会话id会过期不是cookie)
按照你的这个情景cookie失效有2种:
----1 会话时长炒超过了服务器配置的会话时长(一般默认30分钟)
----2 用户退出,服务器主动销毁会话sessionid
既然你是要抓数据,那么账号应该是你的, 那么2的可能基本可以排除了,至于1 如果你用curl代理请求那么也就不存在1的问题,如果存在你使用定时请求来保持这个会话sessionid即可(另开一个程序每隔15分钟请求一次来保持会话)