您的位置:首页 > 其它

本地数据迁移阿里云oss方法

2018-03-23 11:56 393 查看

1. 阿里云文档位置

https://help.aliyun.com/document_detail/56990.html?spm=a2c4g.11174283.6.1077.XGxFRA
https://help.aliyun.com/document_detail/57053.html?spm=a2c4g.11186623.6.1078.rF1CiS
第一个链接是ossimport工具使用说明
第二个链接是ossimport工具单机配置说明

2. 遇到的坑

需求:
阿里云oss盘挂载到本地目录/data/cdr_storage,需要将/data/www,目录下的200G静态文件迁移到oss挂载目录。其中图片文件365万个80G,语音文件140万个60G  
第一波失误操作:
采用cp命令直接复制   cp  -r   /data/www   /data/cdr_storage 超级慢,意外中断没法继续
第二波失误操作:
采用rsync命令增量复制  rsync -aP /data/www   /data/cdr_storage 复制了一天一夜,同步了八分之一数据,并且第二天中午,oss盘直接挂掉,cd不进去了
反馈给阿里云后,说是改变了目录属性,变成了特殊目录,建议使用ossimport

3. 经验总结

ossimport工具确实比较好用,可以多线程分片操作。同步80G 365万图片文件,耗时3.5小时。200G全部同步完成用了不到一天。
1. 下载ossimport工具,解压到本地服务器
2. 配置ossimport/conf  local_job.cfg配置文件
主要需要配置的参数是:
SrcPrefix=
destAcessKey=
destSecretKey=
destDomain=
destBucket=
destPrefix=
如果是单机本地迁移,只是配置如上参数就可以了,如有其他需求,仔细参阅阿里云文档
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签:  阿里云 oss 数据迁移