scrpyd运行scrapy项目 - windows10

本教程针对windows10，python2.7

当spider数量增加，为了便于管理scrapy项目，以及后期的项目打包
使用scrapyd 进行项目管理
首先，安装scrapyd 以及 附属工具包:

pip install scrapyd      # 主包
pip install scrapyd-client   #命令行工具包

安装完成后，修改项目目录中的scrapy.cfg文件

[deploy]
url = http://localhost:6800/
project = project_name #项目名称

小插曲：
常规状态下，下一步即将执行

scrapyd-deploy

部分教程中，写为

scrapy deploy target -p projcet

是已被遗弃的一个scrapy命令行方法，在scrapy -h 中也没有该命令提示信息
正确使用方法为：
1、创建名为 scrapyd-deploy.bat 文件，内容为：

@echo off
"D:\Python27\python.exe" "D:\Python27\Scripts\scrapyd-deploy" %1 %2 %3 %4 %5 %6 %7 %8 %9
# 对照修改本地的python目录

2、将文件移动到python根目录下的Scripts目录中即可使用

scrapyd-deploy project_name -p project_name
>>>Packing version 1496109534
Deploying to project "project_name" in http://localhost:6800/addversion.json
Server response (200):
{"status": "ok", "project": "project_name", "version": "1496109534", "spiders": 1, "node_name": "localhost.localdomain"}

该步骤会将当前项目打包，创建setup.py文件，后期迁移部署时用上，可做个性化修改
输出信息为

项目部署状态，名称，版本号，爬虫数量，主机名称

到此，项目部署完成

部署完成后主要使用curl 进行 scrapyd api 操作，具体操作查看官方文档
参考文档：http://scrapyd.readthedocs.io/en/stable/ （scrapyd官方文档）