python下载hadoop天气数据
来源:互联网 发布:淘宝上靠谱的法国代购 编辑:程序博客网 时间:2024/05/20 16:34
《hadoop权威指南》的天气数据可以在ftp://ftp3.ncdc.noaa.gov/pub/data/noaa下载,在网上看到这个数据好开心,打开ftp发现个问题,呀呀,这么多文件啊,我一个个去点另存为,得点到啥时候啊,迅雷应该有批量下载,只是我没找到,估计是我浏览器把迅雷禁掉了,干脆自己用python写一个实现下载好了,网上早了一下,发现很简单啊
#!/usr/bin/python
#-*- coding: utf-8 -*-
from ftplib import FTP
def ftpconnect():
ftp_server = 'ftp3.ncdc.noaa.gov'
username = ''
password = ''
ftp=FTP()
ftp.set_debuglevel(2) #打开调试级别2,显示详细信息
ftp.connect(ftp_server,21) #连接
ftp.login(username,password) #登录,如果匿名登录则用空串代替即可
return ftp
def downloadfile():
ftp = ftpconnect()
#print ftp.getwelcome() #显示ftp服务器欢迎信息
datapath = "/pub/data/noaa/"
year=1911
while year<=1930:
path=datapath+str(year)
li = ftp.nlst(path)
for eachFile in li:
localpaths = eachFile.split("/")
localpath = localpaths[len(localpaths)-1]
localpath='weatherdata/'+str(year)+'--'+localpath#把日期放在最前面,方便排序
bufsize = 1024 #设置缓冲块大小
fp = open(localpath,'wb') #以写模式在本地打开文件
ftp.retrbinary('RETR ' + eachFile,fp.write,bufsize) #接收服务器上文件并写入本地文件
year=year+1
ftp.set_debuglevel(0) #关闭调试
fp.close()
ftp.quit() #退出ftp服务器
if __name__=="__main__":
downloadfile()
- python下载hadoop天气数据
- python处理下载的天气数据
- Hadoop权威指南 NCDC 天气数据样本下载
- Python 抓取中国天气网天气数据
- python爬取天气数据
- hadoop-hive查询ncdc天气数据实例
- 用shell脚本解压hadoop天气数据
- hadoop权威指南,天气数据文件自动下载下载
- Python爬取天气网历史天气数据
- Python爬取中国天气网天气数据
- Hadoop ncdc数据下载
- python获取城市天气数据案例
- python爬取历史天气数据
- hadoop ncdc数据下载方法
- python 下载证券数据
- Hadoop 集群运行测试代码(Hadoop 权威指南天气数据示例)
- Hadoop 集群运行测试代码(Hadoop 权威指南天气数据示例)
- Hadoop权威指南NCDC数据下载
- 所发生的发生的
- 程序中文乱码问题解决大全
- ROUND 4の NEERC Eastern Subregional2011
- MySQL的myisam引擎表锁优化
- SPICE协议在Android上的几个优化要点
- python下载hadoop天气数据
- Android蓝牙开发
- adb常用命令总结
- 空格替换
- 排序算法的C语言实现-快速排序
- hdu 5358(尺取法)
- HDOJ066 一个人的旅行(dijkstra)
- innodb 添加 plugin_dir组件
- 空格替换2