Python爬虫手记（三）：全球行情实时监控

问题描述：

以重要经济参数为例，进一步巩固爬虫和数据库使用技巧：完成对国际现货与期货石油价格、美元人民币汇率、美元指数等数据的实时监控，采样频率为一小时一次，相关数据的采样页面需要自己搜索。

看到问题，心里大概就有一个底了：首先找到一个网页能显示原油价格，找到其url，然后用正则抠出来，其他三个也类似。那我们接下来走走看。

1、寻找URL

首先百度一下美元指数吧，进去看到这样的网页：

用F12，监控网络，使用它的搜索功能，搜索上图中红色的美元指数:'89.3700',其中多个地方有它的出现，都看了遍，发现了这个：

找了找，这里面也有我要的其他指标！接下来用正则把它扣出来就好了。

这是我的代码：

<span style="font-size:14px;">def dollar():    req = urllib2.Request(url_dollar)    data = urllib2.urlopen(req).read()    print data    r1 = 'var hq_str_DINIW="(.*?),(.*?),'    r2 = 'var hq_str_hf_CL="(.*?),'    r3 = 'var hq_str_USDCNY="(.*?),(.*?),'    m1 = re.compile(r1).findall(data)    m2 = re.compile(r2).findall(data)    m3 = re.compile(r3).findall(data)    print '时间：',m1[0][0],'美金指数：',m1[0][1],'原油指数',m2[0],'人民币美金汇率：',m3[0][1]</span>

每小时执行一次只要加循环就可以了。

然后就是将所得数据存入数据库。

完整代码见我的github：https://github.com/deepexpert-chenkai