欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

爬虫实战之win10家庭版安装docker(含填坑总结)

程序员文章站 2024-03-25 11:37:46
...

scrapy做爬虫任务,只能爬取静态网页。

为了爬取动态网页,需要用到scrapy-splash

配置安装scrapy-splash需要docker

docker的安装参考如下:

环境:win10家庭版,没有Hyper-v

写在前面:由于是win10家庭版,不是专业版,所以不能使用Docker for Windows,因此需要安装Docker Toolbox

整个安装过程参考的博文:win10家庭版安装docker

过程不再赘述,上面博客的博主已经写的很详细了。

踩坑总结:

1、安装docker toolbox成功后无法成功拉取镜像源

原因:使用的国外镜像源速度太慢

解决办法:更换国内的镜像源

具体办法:

(1)更换阿里云的镜像源

首先,打开阿里云网站:https://cr.console.aliyun.com/cn-hangzhou/instances/mirrors 并注册

注册成功后,进入下图页面:

爬虫实战之win10家庭版安装docker(含填坑总结)

 

你会获得你自己的专属加速器地址,把这个地址复制下来。

打开你创建的default虚拟机所在的文件资源管理器的位置,找到文件config.json

爬虫实战之win10家庭版安装docker(含填坑总结)

 打开这个文件(我是在pycharm中打开的),在第49行的RegistryMirror列表中添加刚刚复制的加速器地址,如图:

爬虫实战之win10家庭版安装docker(含填坑总结)

保存并关闭。

然后在cmd命令行中执行以下语句:

docker-machine ssh default

其中的default就是之前创建的虚拟机的名字

sudo vi /var/lib/boot2docker/profile

 在--label provider=virtualbox的下一行添加:--registry-mirror http://xxxxxxxxxx.aliyun.com

(其中,http://xxxxxxxx.aliyun.com是之前在阿里云网页上复制的那个加速器地址!)

保存并退出。

然后执行命令:

exit

最后执行命令:

docker-machine restart default

大功告成!

(2)更换其他镜像源

网传很优秀的一个镜像源网址:https://www.daocloud.io/mirror(ps:这里的docker toolbox镜像源更换方法在最下面的一个小字的链接里)

很多网友博客中都是这个镜像源,但我试了一下发现并没有阿里云的快,因此果断放弃。 

 

参考博客:

给我莫大帮助的博客:win10家庭版安装docker

让我恍然大悟的博客:Windows上Docker Toolbox修改镜像源

提供镜像源源头的博客:docker使用阿里云镜像仓库

向以上三位大佬表示感谢!