案例研究：使用python获取中央电视台的节目单

来源：互联网发布：淘宝介入买家没有举证编辑：程序博客网时间：2024/04/29 09:10

今天在ChinaUnix的Python子论坛上发现了一篇有趣的文章，该文章展示了使用Python从中央电视台的网站上获取各个频道的节目单（仅限当天）。鉴于最近在学习Python，我就其代码简要分析了它的设计思路。

该代码由网友two编写发布，原地址为http://bbs3.chinaunix.net/thread-1533449-1-1.html，我简单修改了一下，代码如下：

#! /usr/bin/python# -*- coding: utf-8 -*-import urllib,re,unicodedata,string,sysfrom time import strftime,localtimechannel={"1":"CCTV-1","2":"CCTV-2","3":"CCTV-3","4":"CCTV-4亚洲", "5":"CCTV-4欧洲","6":"CCTV-4美洲","7":"CCTV-5","8":"CCTV-6", "9":"CCTV-7","10":"CCTV-8","11":"CCTV-9","12":"CCTV-10", "13":"CCTV-11","14":"CCTV-12","15":"CCTV新闻","16":"CCTV少儿", "17":"CCTV音乐","18":"CCTV_E","19":"CCTV-F","20":"CCTV-高清"}if __name__=="__main__": print "@@" print "@@ 你可以在命令行后输入数字(1-20)来选择频道 " print "@@ 通过在命令行后键入help获取频道列表" print "@@" if len(sys.argv)==1: Select="8" else: if sys.argv[1]=="help": for i in range(len(channel)): print "%3d : %11s" % (i+1, channel["%s" % (i+1)]), if(i%4 == 3): print "" sys.exit(0) if string.atoi(sys.argv[1])>20 or string.atoi(sys.argv[1])<=0: print "Out of Range. Please Select 1-20." sys.exit(0) else: Select=sys.argv[1] print '正在获取节目单，请稍后...' date=strftime('%Y%m%d',localtime()) response = urllib.urlopen("http://tv.cctv.com/soushi/28/0"+Select+"/"+date+".shtml") Result=response.read() #list=re.findall(r"<div class='tlb_right'><div class='l'>(.+?)<script",Result,re.S) list=re.findall(r"上午节目(.+?)<script",Result,re.S) list2=re.findall(r"<li>(.+?)</li>",list[0],re.S) morning=[] afternoon=[] listnum=0 for i in range(len(list2)): i=re.sub('<.+?>','',list2[i]) if string.atoi(i[:2])>=12: #将上午的节目于下午的节目分开 afternoon.append(i) else: morning.append(i) if len(morning)>len(afternoon): listnum=len(morning) else: listnum=len(afternoon) print "-"*80, print " "*13+"上午节目"+" "*26+"下午节目" print " "*14+"========"+" "*26+"========" for i in range(listnum): if(i<len(morning)): print "%-4s %-29s" %(morning[i][:5],morning[i][5:]), else: print " "*35, if(i<len(afternoon)): print "%-4s %-30s" %(afternoon[i][:5],afternoon[i][5:]) else: print " "*37 print "-"*80, print " "*24,strftime("%Y年%m月%d日"), print "%s 节目单" %channel[Select]

首先给出它的运行效果：

为了从网站上得到相关频道的节目表，需要几个步骤：

首先，必须找到节目表所在的网址。或许你可以在很多网址上都可以得到节目表，但鉴于我们要获取多个（20个）频道的节目表，那么我们需要的网址应该对应频道有一定的规则。通过查找，网址“http://tv.cctv.com/soushi/28/0"+Select+"/"+date+".shtml”将满足我们的要求，其中Select是频道对应的数字，下图展示了对应情况，当然你可以在网站上得到确认；而date则是“%Y%m%d”格式的当天时间。

在找到网址后，我们就可以使用urllib库提供的函数获取节目单所在网址的内容。

接下来，我们需要在该网页上查找与“节目单”相关的信息，通过分析，下面是截取下的关键信息：

…………

<div class='tlb_right'><div class='l'><h4>上午节目(00:00-12:00)</h4><ul><li><div class='important'><span class='time'>00:20</span><span class='tv_name'><a href='http://space.tv.cctv.com/podcast/cfgsh' target="_blank">财富故事会：卖火柴的大男孩</a></span></div></li><li><div class='important'><span class='time'>00:50</span><span

…………

<ul>

<li><div class='important'><span class='time'>12:30</span><span class='tv_name'><a href='http://space.tv.cctv.com/podcast/cfgsh' target="_blank">财富故事会：彩绘人生</a><a href='http://space.tv.cctv.com/article/ARTI1249871117358656' target='_blank'><img src='/Library/soushi08/image/dot_icon02.gif' alt='点击进入栏目预告' title='点击进入栏目预告' align='absmiddle' /></a></span></div></li><li><div class='important'><span class='time'>13:00</span><span class='tv_name'><a

…………

…………

从上面分析，我们需要的节目单信息在“上午节目”与“<script”之间，而每个节目则对应了一个<li>……</li>标记对，正则表达式库re可以帮我们完成这一点：

list=re.findall(r"上午节目(.+?)<script",Result,re.S) （1）

list2=re.findall(r"<li>(.+?)</li>",list[0],re.S （2）

那么正则表达式r"上午节目(.+?)<script"该如何理解呢？圆点代表了任意字符，而+?则代表了匹配任意个圆点（通过查询re库的help文档，你可以得到详细的解释），即任意个数的任意字符，直到找到<script。而一对括号意味着对找到的匹配字符串按组保存在list中。而语句（2）中的list[0]正是引用了找到的第一个字符串。实际上在该网页中你也只可能找到一个。

在得到每条节目信息后问题就变得很简单了，只需要剪去所有的标记就会得到纯粹的节目信息，这里同样使用了正则表达式：

i=re.sub('<.+?>','',list2[i]) （3）

举个例子，上面代码中蓝色标记的节目信息在执行了语句（3）后，将得到“00:20财富故事会：卖火柴的大男孩”，那么通过i[:5]和i[5:]就可以剪切出节目的时间和名称。至于如何区分上下午就更简单了。

至此，所有的节目信息都已准备完毕，如何展示给用户就不必再说了。

题外话：从上面的分析可以看到，这个案例在很大程度上就是需要设计者不厌其烦地从大量数据中去抽取我们感兴趣的信息。当我们已经了解了如何获得该信息时，问题的实现就变得很简单了。实际上，该问题不但可以用python来解决，C、Java或者Perl同样可以胜任。或许你会觉得这个问题很简单，但它从一定程度上解决了当面对一个新问题时我们该如何做？

当然，你或许会问，为什么只能得到当天的节目单呢？我想获得昨天或者前几天的节目单难道就不行么？当然可以，只要你善于发现，动手去做，一切皆有可能。