python爬取历史天气数据

环境说明

扒取的网站：天气网，http://lishi.tianqi.com/
python版本:2.7
操作系统：windows 7
所依赖的包（如若没有请安装）

包名 说明 官方地址 bs4 是一个可以从HTML或XML文件中提取数据的Python库 https://pypi.python.org/pypi/requests/ requests 基于 urllib，采用 Apache2 Licensed 开源协议的 HTTP 库 https://pypi.python.org/pypi/requests/ xlwt 本文中将获取得到的天气数据存储在xls中，需要对excel进行处理的包 https://pypi.python.org/pypi/xlwt

代码说明

# -*- coding=utf-8 -*-from bs4 import BeautifulSoupimport requestsimport xlwtimport os#获得某一个月的天气数据def getListByUrl(url):    res = requests.get(url)    soup = BeautifulSoup(res.text,"html.parser")    weathers = soup.select("#tool_site")    title = weathers[1].select("h3")[0].text    weatherInfors = weathers[1].select("ul")    weatherList = list()    for weatherInfor in weatherInfors:        singleWeather = list()        for li in weatherInfor.select('li'):            singleWeather.append(li.text)        weatherList.append(singleWeather)    print(title)    return weatherList,title#@par:addressUrl 获得某地区的数据#@par:excelSavePath  数据的保存地址def getListByAddress(addressUrl,excelSavePath):    # url = "http://lishi.tianqi.com/beijing/index.html"    url = addressUrl    res = requests.get(url)    soup = BeautifulSoup(res.text,"html.parser")    dates = soup.select(".tqtongji1 ul li a")    workbook = xlwt.Workbook(encoding='utf-8')    for d in dates:        weatherList,title = getListByUrl(d["href"])        booksheet = workbook.add_sheet(title,cell_overwrite_ok=True)        for i,row in enumerate(weatherList):            for j,col in enumerate(row):                booksheet.write(i,j,col)    workbook.save(excelSavePath)if __name__ == "__main__":    addressName = raw_input("请输入即将获取天气的城市:\n")    addresses = BeautifulSoup(requests.get('http://lishi.tianqi.com/').text,"html.parser")    queryAddress = addresses.find_all('a',text=addressName)    if len(queryAddress):        savePath = raw_input("检测到有该城市数据，请输入即将保存天气数据的路径（如若不输入，将默认保存到c:/weather/"+addressName+".xls）:\n")        if not savePath.strip():            if not os.path.exists('c:/weather'):                os.makedirs('c:/weather')            savePath = "c:/weather/"+addressName+".xls"        for q in queryAddress:            getListByAddress(q["href"],savePath)            print("已经天气数据保存到:"+savePath)    else:        print("不存在该城市的数据")

本代码是在windows下编辑的，如若想要在linux下运行，请在头部加上#! python环境
本代码功能描述：

• 输入：
• • 城市名称，如果没有则提示“不存在该城市的数据”
• • 保存路径，如果不输入则默认保存在“c:/weather/城市名称.xls”

• 输出：

• • 带有该城市的天气数据

代码演示

1. 本程序是在pycharm IDE下开发的，直接利用pycharm执行，大家可以用别的编辑器来执行（注意，由于编码问题，如果直接用dos来执行会报错）

2. 将getWeatherByQuery.py文件导入到pycharm下执行，如下图所示：
   

3. 按照提示，输入城市，检测到有该城市，请求输入保存路径
   

4. 在这里我们输入要保存的路径（当然也可以直接回车），在这里我输入“d:\weather\bj.xls”（请确保该目录存在，因为程序不会自动去创建目录）
   
5. 此时程序会将各月份的数据导出
   
6. 执行完之后结果如下图：
   
7. excel中的数据如下图：