pyspider运行出错?anaconda py3.7+安装pyspider 简洁除错教程
pyspider运行出错?anaconda py3.7+安装pyspider 简洁除错教程
综合各教程作出此一次性解决
这边建议先删掉主环境下的pyspider(如果你装了的话)
(pip3 uninstall pyspider)
没有安装就一直往下面来吧!
conda create -n name python=3.6
创建名为name的python3.6环境
activate name
进入激活的name环境(在这里进行包的安装)
conda install pycurl
pip3 install mysql-connector-python tornado==4.5.3 wsgidav==2.4.1 werkzeug==0.16.0
安装必要的包给name环境。(红字报错:新环境,库比较少,会有红字提示缺少某某库,一个个安进去)
tornado不建议再往上升了:高版本的tornado符合jupyter 6.x(jupyter某版本开始有中文,很多人特别舒服),tornado降版本才能运行pyspider,而jupyter因版本过高会闪退。
这是矛盾,所以必须降python版本或者创建新环境。
pip3 install pyspider
安装pyspider
以防万一,改一下async关键字
envs下是创建的环境,我命名的环境就叫pyspider,在该环境的pyspider库文件进行修改。
run.py——替换4次
webui>app.py——替换1次
fetcher>tornado_fetcher.py——替换9次
这3个文件用记事本打开,ctrl+H进行查找替换(千万只替换小写的async)
回到刚才的环境目录,把phantomjs.exe可执行文件放进去。
记得把新环境的Scripts加入到系统环境变量,方便运行
现在你可以运行pyspider all了!!!
一点小毛病:
卡在result_worker starting…不动怎么办?
1.——防火墙把phantomjs.exe加进允许
2.——不要占用pyantomjs.exe和端口,并且多试几次运行。
现在来写2个bat文件,作为你的启动和关闭器:
taskkill /f /im phantomjs.exe /im pyspider.exe /im python.exe /im cmd.exe /im conhost.exe
这是 关闭.bat(关掉pyspider、phantomjs、python还有后台残留的界面进程 )
start cmd /c pyspider all
start cmd /c pyspider all
start cmd /c pyspider all
这是 启动.bat(总有一个能启动的,而另外2个会关闭/服务无响应)
初次启动可能闪退,使用/设置管理员权限运行。
3.——顺便把启动网页也写了吧
桌面 右键 新建快捷方式填入localhost:5000
本文地址:https://blog.csdn.net/qq_53603797/article/details/111996777
下一篇: 用混淆矩阵计算kappa系数