爬虫实战之win10家庭版安装docker(含填坑总结)
scrapy做爬虫任务,只能爬取静态网页。
为了爬取动态网页,需要用到scrapy-splash
配置安装scrapy-splash需要docker
docker的安装参考如下:
环境:win10家庭版,没有Hyper-v
写在前面:由于是win10家庭版,不是专业版,所以不能使用Docker for Windows,因此需要安装Docker Toolbox
整个安装过程参考的博文:win10家庭版安装docker
过程不再赘述,上面博客的博主已经写的很详细了。
踩坑总结:
1、安装docker toolbox成功后无法成功拉取镜像源
原因:使用的国外镜像源速度太慢
解决办法:更换国内的镜像源
具体办法:
(1)更换阿里云的镜像源
首先,打开阿里云网站:https://cr.console.aliyun.com/cn-hangzhou/instances/mirrors 并注册
注册成功后,进入下图页面:
你会获得你自己的专属加速器地址,把这个地址复制下来。
打开你创建的default虚拟机所在的文件资源管理器的位置,找到文件config.json
打开这个文件(我是在pycharm中打开的),在第49行的RegistryMirror列表中添加刚刚复制的加速器地址,如图:
保存并关闭。
然后在cmd命令行中执行以下语句:
docker-machine ssh default
其中的default就是之前创建的虚拟机的名字
sudo vi /var/lib/boot2docker/profile
在--label provider=virtualbox的下一行添加:--registry-mirror http://xxxxxxxxxx.aliyun.com
(其中,http://xxxxxxxx.aliyun.com是之前在阿里云网页上复制的那个加速器地址!)
保存并退出。
然后执行命令:
exit
最后执行命令:
docker-machine restart default
大功告成!
(2)更换其他镜像源
网传很优秀的一个镜像源网址:https://www.daocloud.io/mirror(ps:这里的docker toolbox镜像源更换方法在最下面的一个小字的链接里)
很多网友博客中都是这个镜像源,但我试了一下发现并没有阿里云的快,因此果断放弃。
参考博客:
给我莫大帮助的博客:win10家庭版安装docker
让我恍然大悟的博客:Windows上Docker Toolbox修改镜像源
提供镜像源源头的博客:docker使用阿里云镜像仓库
向以上三位大佬表示感谢!