欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

pyspider运行出错?anaconda py3.7+安装pyspider 简洁除错教程

程序员文章站 2022-07-03 19:25:10
pyspider运行出错?anaconda py3.7+安装pyspider 简洁除错教程综合各教程作出此一次性解决这边建议先删掉主环境下的pyspider(如果你装了的话)(pip3 uninstall pyspider)没有安装就一直往下面来吧!conda create -n name python=3.6创建名为name的python3.6环境activate name进入激活的name环境(在这里进行包的安装)conda install pycurlpip3 install...

pyspider运行出错?anaconda py3.7+安装pyspider 简洁除错教程


综合各教程作出此一次性解决

这边建议先删掉主环境下的pyspider(如果你装了的话)
(pip3 uninstall pyspider)

没有安装就一直往下面来吧!

conda create -n name python=3.6

创建名为name的python3.6环境

activate name

进入激活的name环境(在这里进行包的安装)

conda install pycurl
pip3 install mysql-connector-python tornado==4.5.3 wsgidav==2.4.1 werkzeug==0.16.0

安装必要的包给name环境。(红字报错:新环境,库比较少,会有红字提示缺少某某库,一个个安进去)

tornado不建议再往上升了高版本的tornado符合jupyter 6.x(jupyter某版本开始有中文,很多人特别舒服),tornado降版本才能运行pyspider,而jupyter因版本过高会闪退。
这是矛盾,所以必须降python版本或者创建新环境。

pip3 install pyspider

安装pyspider

以防万一,改一下async关键字
envs下是创建的环境,我命名的环境就叫pyspider,在该环境的pyspider库文件进行修改。
pyspider运行出错?anaconda py3.7+安装pyspider 简洁除错教程

run.py——替换4次
webui>app.py——替换1次
fetcher>tornado_fetcher.py——替换9次

这3个文件用记事本打开,ctrl+H进行查找替换(千万只替换小写的async)
pyspider运行出错?anaconda py3.7+安装pyspider 简洁除错教程
回到刚才的环境目录,把phantomjs.exe可执行文件放进去。
pyspider运行出错?anaconda py3.7+安装pyspider 简洁除错教程
记得把新环境的Scripts加入到系统环境变量,方便运行
pyspider运行出错?anaconda py3.7+安装pyspider 简洁除错教程
现在你可以运行pyspider all了!!!

一点小毛病:
卡在result_worker starting…不动怎么办?
1.——防火墙把phantomjs.exe加进允许
pyspider运行出错?anaconda py3.7+安装pyspider 简洁除错教程
2.——不要占用pyantomjs.exe和端口,并且多试几次运行。
现在来写2个bat文件,作为你的启动和关闭器:

taskkill /f /im phantomjs.exe /im pyspider.exe /im python.exe /im cmd.exe /im conhost.exe

这是 关闭.bat(关掉pyspider、phantomjs、python还有后台残留的界面进程 )

start cmd /c pyspider all
start cmd /c pyspider all
start cmd /c pyspider all

这是 启动.bat(总有一个能启动的,而另外2个会关闭/服务无响应)
初次启动可能闪退,使用/设置管理员权限运行。
3.——顺便把启动网页也写了吧
桌面 右键 新建快捷方式填入localhost:5000
pyspider运行出错?anaconda py3.7+安装pyspider 简洁除错教程

本文地址:https://blog.csdn.net/qq_53603797/article/details/111996777