用aws亚马逊云服务器下载spacenet数据集
程序员文章站
2022-07-10 08:09:47
...
参阅博客:
https://oldpan.me/archives/download-aws-spacenet-dataset
https://blog.csdn.net/qq_23589775/article/details/83508429
https://blog.csdn.net/DynastyRumble/article/details/76649120
使用机器:
Linux 16.04 服务器
Macos 笔记本电脑
第一步:注册aws账号
网站:https://aws.amazon.com/cn/
点击右上角 创建aws账户。
按照流程一步步注册。
在注册中 需要一张信用卡。必须是能刷外币的那种信用卡,他会从账户上走1美元来检测你的账户是否可用。
visa卡还是需要小心使用, 很多人有被盗刷的经历
ps 有的教程让我去淘宝租一个 我真的去问价格了 450块钱。
还有教程让我去买一张匿名卡 并没有搜索到。
注册成功后,就可以进行下一步了!
第二步 创建下载密匙
- 点击右上角的我的安全凭证,在左侧点击用户。然后点击添加用户.
- 添加用户
名字随意,但是要选择编程访问哦
- 设置权限
我们可以选择附加策略,因为数据集是存放在S3服务器上,所以这里搜索所有S3策略给创建的用户。在筛选策略中输入s3。
- 添加标签/审核
添加标签是 可选项,跳过即可
审核无误直接点击创建用户 - 密码!
我们可以得到密码啦!!!
请保存私有**id和私有访问**。
现在就创建成功了!
(我也在其他的教程里看到了创建用户组,如果大家没有成功下载,可以回过头来再试试创建用户组:
随意设置组名
附加策略需要添加;搜索s3read.
创建组 并把用户添加到组里。)
第三步 使用
首先需要下载一个包
pip install awscli
注意:在python3.6的环境下总是报错
EOF occurred in violation of protocol (_ssl.c:661)
于是我换到了python2.7的环境下
也有可能是我的服务器没有联网。
建议使用python2.7环境!
可以通过输入如下内容进行测试:
aws help
配置用户
set AWS_DEFAULT_PROFILE=tom
配置用户证书,输入:
aws configfure
请按照下面的提示进行输入:
AWS Access Key ID [None]: ID
AWS Secret Access Key [None]: **
Default region name [None]: us-west-2
Default output format [None]: json
随后就可以下载数据啦:
aws s3 cp s3://spacenet-dataset/spacenet/SN6_buildings/tarballs/train.tar.gz .
下载数据的速率还是很快的!