批量下载中国气象科学数据共享网的数据
来源:互联网 发布:电力工程造价软件 编辑:程序博客网 时间:2024/04/29 09:46
这里不得不吐槽下我们国家的一些机构了。花着纳税人钱,买设备、搞监测、上项目,做的一些东西烂的不能用;获得的数据美其名曰共享,却搞三六九等,整什么一般会员、注册会员、核心人员,忍不住想问下这数据涉密吗,不看看老外都是免费提供的,一个个的害不害臊。吐槽完了,入正题。提前说下博主这里的账号是搞得核心账号,不然无法下载那些数据。
由于项目需要,需要下载站点的降雨量和蒸散发数据,但是这网站做的又特别不人道,超过50M数据量无法直接下载,需要定制,定制后说提供ftp下载,尼玛打开定制记录,一条条记录在哪摆着,说好的ftp呢,一个个下这还不得点死。还好借用wget可以较容易实现批量下载,但这期间也遇到了不少问题,刚下没几条,就提示“当前下载用户过多,请稍后下载”,那就等吧,尼玛劳资凌晨起来下数据,还给提示这个,这是做的什么破玩意,还让不让下数据了,一气之下就用账号留了言,然后发了伊妹儿,果然第二天就可以稳当下数据了。。这些有数据的真个个把自己当大爷了还。唉,世道如此啊。下面我们一步步来看如何实现数据的批量下载。
(1)登陆后点击定制记录可以看到摆着的一条条数据文件名,如下图所示。
(2)点击F12查看网页源码,如下图所示,可以看到每一条数据的下载地址和数据文件名;把整个网页的源码复制粘贴到一个新建的txt文本文件中,只需写一个简单的文本处理工具就可以把数据下载地址和文件名提取出来,这里已经写好,会和wget一起打包共享给大家。
(3)提取数据下载地址和数据文件名。这里的下载地址在源码的基础上添加了http://cdc.cma.gov.cn;提取的下载文件具体格式为:<下载地址><空格><文件名>,将文件保存在批量下载工具根目录即可,文件名为cma_src.txt,如下图所示
(4)使用wget批量下载数据
新建一个wget.bat文件,输入以下代码:
@echo off
.\wget-1.11.4-1-bin\bin\wget --post-data="userid=your_user_id&password=your_password" --save-cookies=cookie_wget --keep-session-cookies "http://cdc.cma.gov.cn/login.do"
for /F "tokens=1*" %%i in (cma_src.txt) do (
.\wget-1.11.4-1-bin\bin\wget --load-cookies=cookie_wget -c %%i -O .\data\%%j
)
需要修改的是用户名和密码,然后点击双击运行即可实现数据的批量下载。
最后附上工具下载地址:http://download.csdn.net/detail/liushuo_whu/8415929。
-------------------------------2016年1月3日---------------------------------
气象网更新了,现在叫中国气象数据网,现在的数据检索需要生成订单,处理完成后以压缩包的形式下载,其中每个订单对应一个动态生成的ftp用户名和密码,如下图:
这点是比以前要好了,以前的都是一条条的记录,现在可以打包下载了。但是还存在另外一个问题,就是如果检索的数据有几千条,分了好多页,无法全选加入数据框,只能一页页的选择,不过还是比以前要好了。
- 批量下载中国气象科学数据共享网的数据
- 中国气象数据下载
- 气象数据下载
- 气象数据下载
- 全球气象数据下载
- 如何下载NCDC气象数据
- Android 天气预报 接口数据获取 from 中国气象网
- 中国气象网 气象数据开放平台 API使用方法 (Android)(已废弃)
- 世界主要国家和地区及中国天气气象CSV/JSON/KML数据【免费下载】
- hadoop权威指南气象数据下载
- 下载Hadoop Definite Guide 气象数据
- 各种气象数据下载地址推荐
- 中国气象中国地区县市编码数据
- 气象数据类的开发笔记
- 基于GPU的三维气象数据显示
- hadoop实验:求气象数据的最低温度
- 数据科学相关速查表合集下载
- hadoop 气象数据分析
- Directshow_驱动摄像头预览视频
- 通过dropwatch定位系统内核丢包
- 第一周工作周报
- static作用(修饰函数、局部变量、全局变量)
- Python标准库07 信号 (signal包,部分os包)
- 批量下载中国气象科学数据共享网的数据
- Python标准库06 子进程 (subprocess包)
- R语言进行中文分词
- Python标准库08 多线程与同步 (threading包)
- Android—带侧滑精美音乐播放器
- Python标准库09 当前进程信息 (os包)
- 2.1工作日志
- sgu-230 Weighings
- Python标准库10 多进程初步 (multiprocessing包)