爬虫定时任务crontab

• 版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/kun1280437633/article/details/80616264

1. crontab的安装和介绍

2. crontab在爬虫中的使用

2.1 使用流程

• 把爬虫启动命令写入sh文件
• 给sh脚本添加可执行权限
• 把sh添加到crontab脚本正

2.2 myspier.sh例子

先把要执行的命令写入脚本

cd `dirname $0` || exit 1
python ./main.py >> run.log 2>&1

其中>>表示重定向，把print等信息导入log中

cd `dirname $0` || exit 1

固定写法，表示先进入当前目录，如果失败则退出该sh脚本 2>&1表示把标准错误作为标准输出，输入用0表示，标准输出用1表示，标准错误用2标识，通过该命令能够把错误一起输出到log中

添加可执行权限

sudo chmod +x myspder.sh

写入crontab中

crontab -e

进入编辑页面并添加:

 0 6 * * * /home/ubuntu/..../myspider.sh >> /home/ubuntu/.../run2.log 2>&1

sh脚本文件也可能会报错，对应的可以把其输出和错误重定向到run2.log中