对象存储命令行工具

命令行工具s3cmd

工具安装

• Ubuntu执行安装

#sudo apt install s3cmd

• CentOS执行安装

#sudo yum install -y s3cmd

• MacOs执行安装

#brew install s3cmd

• 检查s3cmd工具版本(推荐使用2.4.0版本，如果yum或apt安装的版本较低无法使用建议使用pip安装)

s3cmd --version

• 如果yum或apt安装的版本较低无法使用，可以使用pip安装

pip install s3cmd
which s3cmd
将上一步拿到的s3cmd路径与/usr/bin/s3cmd路径建立软连接执行命令如：ln -s /root/anaconda3/envs/pytorch_build/bin/s3cmd /usr/bin/s3cmd

配置文件设置

新建~/.s3cfg配置文件，将配置项内容拷贝到配置文件，请将{your_access_key}与{your_access_secret_key}修改为实际账号对应的access_key与secret_key，生成access_key与secret_key请参照访问密钥。

#vim ~/.s3cfg

[default]
bucket_location = cn-huabei1
access_key = your_access_key
secret_key = your_access_secret_key
default_mime_type = binary/octet-stream
enable_multipart = True
encoding = UTF-8
host_base = eos-cn-huabei1.ebcloud.com
host_bucket = eos-cn-huabei1.ebcloud.com%(bucket)
multipart_chunk_size_mb = 5
multipart_copy_chunk_size_mb = 1024
multipart_max_chunks = 10000
send_chunk = 65536
signature_v2 = False
use_https = true

s3cmd基本操作示例

1. 列出所有桶

#s3cmd ls

2. 新建桶

#s3cmd mb s3://{mybucket}

3. 上传本地文件至对象存储，例如上传本地压缩文件test.tar.gz

#s3cmd put test.tar.gz s3://{mybucket}

4. 下载桶内对象至本地/home路径下

#s3cmd get s3://{mybucket}/test.tar.gz /home

5. 删除对象

#s3cmd rm s3://{mybucket}/test.tar.gz

6. 列出桶内对象

#s3cmd ls s3://{mybucket}

7. 查看未完成的分片上传任务

#s3cmd multipart s3://{mybucket}

8. 列出某个分片上传产生的碎片，uploadid可由上一步s3cmd multipart操作获取到

#s3cmd listmp s3://{mybucket}/{myobject} uploadid

9. 删除对象碎片

#s3cmd abortmp s3://{mybucket}/{myobject} uploadid

命令行工具Rclone

安装

Linux/macOS/BSD脚本安装法

#sudo -v ; curl https://rclone.org/install.sh | sudo bash

macOS还支持brew安装

brew install rclone

Windows安装 下载安装包 解压后获取rclone.exe

配置文件设置

新建~/.config/rclone目录和rclone.conf配置文件，将配置项内容拷贝到配置文件，请将{your_access_key}与{your_access_secret_key}修改为实际账号对应的access_key与secret_key，生成access_key与secret_key请参照访问密钥。

#mkdir -p ~/.config/rclone

#sudo vim ~/.config/rclone/rclone.conf 

[s3-conf]
type = s3
provider = Other
access_key_id = {your access_key}
secret_access_key = {your secret_key}
region = us-east-1
endpoint = https://eos-cn-beijing1.ebtech.com
force_path_style = true

也可以自行执行rclone config命令逐步自行设置配置（不推荐）

#rclone config

Windows

./rclone.exe config

基本操作示例

1. 查看桶列表

s3-conf为上一步config配置名称

#rclone lsd s3-conf:

2. 新建桶

#rclone mkdir s3-conf:{mybucket}

3. 上传本地文件至桶内

#rclone copy {localfile} s3-conf:

4. 查看桶下文件

#rclone ls s3-conf:

5. 删除桶下文件

#rclone delete s3-conf:{yourbucket}/{file}

6. 删除桶

#rclone rmdir s3-conf:{yourbucket}