本地数据迁移阿里云oss方法
2018-03-23 11:56
393 查看
1. 阿里云文档位置
https://help.aliyun.com/document_detail/56990.html?spm=a2c4g.11174283.6.1077.XGxFRAhttps://help.aliyun.com/document_detail/57053.html?spm=a2c4g.11186623.6.1078.rF1CiS
第一个链接是ossimport工具使用说明
第二个链接是ossimport工具单机配置说明
2. 遇到的坑
需求:阿里云oss盘挂载到本地目录/data/cdr_storage,需要将/data/www,目录下的200G静态文件迁移到oss挂载目录。其中图片文件365万个80G,语音文件140万个60G
第一波失误操作:
采用cp命令直接复制 cp -r /data/www /data/cdr_storage 超级慢,意外中断没法继续
第二波失误操作:
采用rsync命令增量复制 rsync -aP /data/www /data/cdr_storage 复制了一天一夜,同步了八分之一数据,并且第二天中午,oss盘直接挂掉,cd不进去了
反馈给阿里云后,说是改变了目录属性,变成了特殊目录,建议使用ossimport
3. 经验总结
ossimport工具确实比较好用,可以多线程分片操作。同步80G 365万图片文件,耗时3.5小时。200G全部同步完成用了不到一天。1. 下载ossimport工具,解压到本地服务器
2. 配置ossimport/conf local_job.cfg配置文件
主要需要配置的参数是:
SrcPrefix=
destAcessKey=
destSecretKey=
destDomain=
destBucket=
destPrefix=
如果是单机本地迁移,只是配置如上参数就可以了,如有其他需求,仔细参阅阿里云文档
相关文章推荐
- 阿里云oss迁移到腾讯云cos 方法二(强烈推荐)
- 阿里云oss迁移到腾讯云cos 方法一
- Oracle 数据库迁移数据的建议方法(ASM 到 本地硬盘,或者本地硬盘到 ASM)
- 阿里云本地大数据迁移到RDS
- 快速将企业海量文件数据迁移到阿里云OSS
- 阿里云oss使用ossimport从又拍云迁移文件数据
- RAC本地数据文件迁移至ASM的方法--非归档模式
- 阿里云RDS数据本地恢复
- vue开发请求本地模拟数据的配置方法
- mysql 备份与迁移 数据同步方法
- vue配置请求本地json数据的方法
- python爬虫数据保存到本地各种格式的方法
- 数据本地缓存方法
- Hbase集群间数据迁移方法总结 .
- Django +nginx+gunicorn+阿里云部署笔记之git 与数据库迁移 +本地与服务器文件传输
- 数据本地存储方法
- 阿里云服务器ECS将数据备份到oss上的具体步骤
- 将oracle中的数据迁移到mysql中,避免乱码的方法
- 在OneThink(ThinkPHP3.2.3)中整合阿里云OSS的PHP-SDK2.0.4,实现本地文件上传流程
- 用json方法解析本地数据,并显示在tableView上面