pyspider+PhantomJS的代理设置
程序员文章站
2022-07-09 20:49:55
环境:pyspider0.3.9 PhantomJS2.1.1,均为最新版 进程用supervisor托管的。 其中需要加的几个地方: webui进程: processor进程: fetcher进程: phantomjs进程: 以上需要注意的是,webui、processor 、fetcher 都加 ......
环境:pyspider0.3.9 phantomjs2.1.1,均为最新版
进程用supervisor托管的。
其中需要加的几个地方:
webui进程:
pyspider -c config.json --phantomjs-proxy=127.0.0.1:25555 webui
processor进程:
pyspider -c config.json --phantomjs-proxy=127.0.0.1:25555 processor
fetcher进程:
pyspider -c config.json --phantomjs-proxy=127.0.0.1:25555 fetcher
phantomjs进程:
pyspider -c config.json phantomjs -- --proxy=ip:port --proxy-auth=name:password
以上需要注意的是,webui、processor 、fetcher 都加了phantomjs的本地地址支持。
phantomjs 进程后面设置phantomjs 的代理端口,文中的加了验证,免密的可以直接写 -- --proxy=ip:port 不写--proxy-auth=name:password
------------------------------
遇到这个提示,应该可以忽略不计,意思是提示你,任务里面的代理设置并不会影响phantomjs
phantomjs does not support specify proxy from script, use phantomjs args instead
上一篇: JAVA I/O(一)
推荐阅读
-
Python设置Socket代理及实现远程摄像头控制的例子
-
JVM中的flag设置详解
-
华硕 X205T笔记本设置手势的教程
-
CATIA草图上的线条怎么设置不参与建模?
-
VS2010 项目属性的默认包含路径的两种设置方法(图文)
-
Eclipse右键菜单中的新建菜单怎么设置初始化选项?
-
TextView使用SpannableString设置复合文本 SpannableString实现TextView的链接效果
-
outlook接收邮件慢怎么?outlook邮件接收时间的设置方法
-
EditPlus怎么设置浏览器?EditPlus更改调试默认IE浏览器的教程
-
IDEA中怎么设置背景? idea置黑色或白色背景的教程