欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

如何每天定时更新爬虫数据

程序员文章站 2022-05-28 11:46:51
...

编写一个脚本,将改脚本放置 爬虫项目 同级目录下

    具体代码如下

import datetime
import time
from scrapy import cmdline
def spider():
    # 把爬虫程序放在这个类里 zhilian_spider 是爬虫的name
    cmdline.execute('scrapy crawl zhilian_spider'.split())
# 想几点更新,定时到几点
def main(h=17, m=54):
    while True:
        now = datetime.datetime.now()
        # print(now.hour, now.minute)
        if now.hour == h and now.minute == m:
            spider()
        # 每隔60秒检测一次
        time.sleep(60)
if __name__ == '__main__':
    main()

 

相关标签: 定时更新