NCDC数据下载shell脚本

来源：互联网发布：就知武松打虎有多扯编辑：程序博客网时间：2024/06/04 19:56

一、使用shell脚本，从NCDC的ftp服务器上下载所有数据。以年份命名文件夹中存储该年份的数据，包括N个记录文件和一个包含该年份所有数据的压缩包

#!/bin/bashfor i in {1901..2015}docd /root/桌面/ncdc1mkdir $icd ./$iwget --execute robots=off -r -np -nH --cut-dirs=4 -R index.html* ftp://ftp.ncdc.noaa.gov/pub/data/gsod/$i/done

二、使用shell脚本，从NCDC的ftp服务器上下载每年天气数据的压缩包（1901-2015）

#!/bin/bashfor i in {1901..2015}docd /root/桌面/ncdc2wget --execute robots=off -r -np -nH --cut-dirs=4 -A tar ftp://ftp.ncdc.noaa.gov/pub/data/gsod/$i/done

P.S.

1）1901-1928年份数据的有效性有待商榷；

2）自1929年，每年的数据量都有所增长；

3）用于Hadoop的学习，但内容格式与《Hadoop权威指南（第三版）》上的例子略有不同；

4）ftp地址：ftp://ftp.ncdc.noaa.gov/pub/data/gsod/

0 0