使用python下载NCDC数据
来源:互联网 发布:xml与json的区别是什么 编辑:程序博客网 时间:2024/06/06 12:43
#!/usr/bin/python# -*- coding: utf-8 -*-import osfrom ftplib import FTP# ftp 服务器链接def ftpconnect(): ftp_server = 'ftp.ncdc.noaa.gov' username = '' password = '' ftp = FTP() ftp.set_debuglevel(2) # 打开调试级别2,显示详细信息 ftp.connect(ftp_server, 21) # 连接 ftp.login(username, password) # 登录,如果匿名登录则用空串代替即可 return ftp# 开始下载文件def downloadfile(start, end,srcpath): ftp = ftpconnect() # print ftp.getwelcome() #显示ftp服务器欢迎信息 datapath = "/pub/data/gsod/" while start <= end: path = datapath + str(start) li = ftp.nlst(path) # 创建指定年份的目录 path = srcpath + '/' dir = str(start) new_path = os.path.join(path, dir) if not os.path.isdir(new_path): os.makedirs(new_path) for eachFile in li: localpaths = eachFile.split("/") localpath = localpaths[len(localpaths) - 1] localpath = new_path + '/' + str(start) + '--' + localpath # 把日期放在最前面,方便排序 bufsize = 1024 # 设置缓冲块大小 fp = open(localpath, 'wb') # 以写模式在本地打开文件 ftp.retrbinary('RETR ' + eachFile, fp.write, bufsize) # 接收服务器上文件并写入本地文件 start = start + 1 ftp.set_debuglevel(0) # 关闭调试 ftp.close() ftp.quit() # 退出ftp服务器if __name__ == "__main__": downloadfile(1950,2017,"g:/c/ncdc")
阅读全文
0 0
- 使用python下载NCDC数据
- Hadoop ncdc数据下载
- 如何下载NCDC气象数据
- hadoop ncdc数据下载方法
- NCDC数据下载shell脚本
- Hadoop权威指南NCDC数据下载
- Hadoop权威指南NCDC数据下载
- hadoop权威指南中的ncdc数据下载地址及命令
- hadoop权威指南中的ncdc数据下载地址及命令
- hadoop权威指南中的ncdc数据下载地址及命令
- hadoop权威指南中的ncdc数据下载地址及命令
- hadoop权威指南中的ncdc数据下载地址及命令
- Hadoop权威指南 NCDC 天气数据样本下载
- hadoop权威指南中的ncdc数据下载地址
- hadoop权威指南中的ncdc数据下载地址及命令
- NCDC气象数据
- Hadoop分析NCDC气象数据
- NCDC 天气数据的预处理
- leetcode 198-House Robber
- 机器学习应该准备哪些数学预备知识?
- 【数据库】6数据备份还原,日志,性能优化
- 盘点记录自己学习过程中的难点,跳过的知识点
- java程序员的大数据之路(11):MapReduce的连接
- 使用python下载NCDC数据
- 图像处理-矩阵变换
- 关键字final在java中的运用
- 557. Reverse Words in a String III
- HBase随笔记录权限控制、命名空间、流量限制和表负载均衡
- LDP会话状态机
- 教您用SSH隧道实现远程连接
- JSP中转发和重定向的区别?
- 依次以十进制、八进制和十六进制形式输入三个整数,输出每个整数的十进制、八进制和十六进制形式。 输入输出示例