生物信息之利用lftp上传原始数据到GEO
2014-08-25 15:10
661 查看
我们生物信息分析需要向NCBI或者GEO上上传大批量数据,而采用FTP工具会经常因为网络不稳定的原因出现问题。首先在服务器安装 lftp工具,可以自动快速的上传数据。具体使用方法如下:
首先生成一个lftp运行的脚本 run.lftp,并放在上层目录,该文件包括:
open -u geo,passwdftp-private.ncbi.nih.gov # -u 后面需要输入GEO给的FTP账户,密码和地址(需提前申请)
mkdir -p fasp/example # 在GEO上建立自己的目录
cd fasp/example
cache size 300000 # 设置缓存大小,此处请勿设置过大,占用服务器的缓存太多会导致其他程序无法运行
set cmd:parallel 8 # 设置使用的线程,并行上传,速度*线程数,此处由于天工网速的限制,建议不要设太大!
mput * # 将本地服务器工作目录下的所有文件上传至GEO对应的目录
之后,在放置上传文件的文件夹运行该脚本: nohup lftp -f../run.lftp > ../run.lftp.out &
值得注意的是,GEO上只能上传或覆盖原有的文件或目录,而不能删除,所以上传出错的话,可以尝试在本地新建一个同名的空文件或文件夹,然后运行上传脚本。
首先生成一个lftp运行的脚本 run.lftp,并放在上层目录,该文件包括:
open -u geo,passwdftp-private.ncbi.nih.gov # -u 后面需要输入GEO给的FTP账户,密码和地址(需提前申请)
mkdir -p fasp/example # 在GEO上建立自己的目录
cd fasp/example
cache size 300000 # 设置缓存大小,此处请勿设置过大,占用服务器的缓存太多会导致其他程序无法运行
set cmd:parallel 8 # 设置使用的线程,并行上传,速度*线程数,此处由于天工网速的限制,建议不要设太大!
mput * # 将本地服务器工作目录下的所有文件上传至GEO对应的目录
之后,在放置上传文件的文件夹运行该脚本: nohup lftp -f../run.lftp > ../run.lftp.out &
值得注意的是,GEO上只能上传或覆盖原有的文件或目录,而不能删除,所以上传出错的话,可以尝试在本地新建一个同名的空文件或文件夹,然后运行上传脚本。
相关文章推荐
- 利用应用程序访问webservice得到远程数据库数据并上传本地数据
- jsp上传图片生成缩略图并将数据信息添加到数据库(转)
- 可视分析 、智能交通、时空信息分析、生物信息数据简介
- 马航失联客机最新信息:今日公布原始数据
- 利用httpclient 模拟登录,获取登录后信息数据
- YUV420数据和字符信息如何利用滤镜方法进行编码?
- 利用servlet来上传文件,并且将文件中数据倒入oracle数据库
- TRIGGERS_监测系统_原始数据表触发器—调用告警信息存储过程
- 利用集合完成象数据库那样存储数据,并且可以简单查询,利用map存储学生信息
- 从加密信息还原成原始数据
- 利用HttpWebRequest上传数据
- 利用scp将压缩打包的数据上传另一台服务器上的解决方法
- 利用commons-fileupload 上传图片(包含表单数据)
- 《JavaWeb---简单应用---练习JDBC,JSTL》---上传Excel文件,利用工具包解析,将数据储存到数据库中,可以查询删除
- 利用Servlet上传文件(在servlet中处理MIME类型的post数据)
- 利用异步上传数据,并显示进度条
- 利用mahout自带的fpgrowth程序以及自己的原始数据挖掘频繁模式
- 一个项目的数据库数据丢失,upload文件上传的图片都有,怎么能把数据库信息找到
- 利用shell删除数据表中指定信息和字段对应的文件
- 如何防止数据恢复及内存硬盘空间信息的利用造成损失(工具链:secure-delete)