NCDC数据下载shell脚本
2015-04-07 15:51
134 查看
一、使用shell脚本,从NCDC的ftp服务器上下载所有数据。以年份命名文件夹中存储该年份的数据,包括N个记录文件和一个包含该年份所有数据的压缩包
二、使用shell脚本,从NCDC的ftp服务器上下载每年天气数据的压缩包(1901-2015)
P.S.
1)1901-1928年份数据的有效性有待商榷;
2)自1929年,每年的数据量都有所增长;
3)用于Hadoop的学习,但内容格式与《Hadoop权威指南(第三版)》上的例子略有不同;
4)ftp地址:ftp://ftp.ncdc.noaa.gov/pub/data/gsod/
#!/bin/bash for i in {1901..2015} do cd /root/桌面/ncdc1 mkdir $i cd ./$i wget --execute robots=off -r -np -nH --cut-dirs=4 -R index.html* ftp://ftp.ncdc.noaa.gov/pub/data/gsod/$i/ done
二、使用shell脚本,从NCDC的ftp服务器上下载每年天气数据的压缩包(1901-2015)
#!/bin/bash for i in {1901..2015} do cd /root/桌面/ncdc2 wget --execute robots=off -r -np -nH --cut-dirs=4 -A tar ftp://ftp.ncdc.noaa.gov/pub/data/gsod/$i/ done
P.S.
1)1901-1928年份数据的有效性有待商榷;
2)自1929年,每年的数据量都有所增长;
3)用于Hadoop的学习,但内容格式与《Hadoop权威指南(第三版)》上的例子略有不同;
4)ftp地址:ftp://ftp.ncdc.noaa.gov/pub/data/gsod/
相关文章推荐
- 使用Shell脚本实现ftp的自动上传下载
- shell脚本统计: netstat数据
- 用 Shell 脚本访问 MySQL 数据库
- 从新浪财经上下载交易明细数据并统计每天的买卖笔数(shell 命令行)
- shell脚本自动下载 symantec病毒库升级文件
- Access to SQLserver 数据库生迁脚本编写器(DB_CreateSqlEV1.06下载)
- shell脚本获取oracle数据
- shell脚本三个数据中的最大
- shell 脚本自动下载文件
- 使用Shell脚本来实现FTP的自动上传下载
- curl和shell脚本进行ftp的上传下载
- shell 脚本实现二进制文件数据的异或(xor)操作
- 通过SSH协议访问远程Shell脚本-免密码登陆与返回数据丢失解决
- Android源码下载,利用一个shell脚本
- 用Shell脚本实现自动从NewSmth.net的MyPhoto版下载照片
- 以TXT为载体的数据交换利用SHELL生成导数脚本实例
- hadoop权威指南中的ncdc数据下载地址及命令
- 自动下载shell脚本
- 自动下载shell脚本
- shell脚本实现系统监视统计与数据备份