糗百的HTML更改后的python爬虫,2016,7,5 总计
来源:互联网 发布:java中的垃圾回收机制 编辑:程序博客网 时间:2024/06/08 12:14
<div class="content">
真事,求过。 我们单位的MM们几乎都是90后的,个个都是月光族阿,有一次刚发工资就听见一美女说我赶紧的去买一包卫生巾去,要不然月底就没钱买了,我正喝着直接笑喷了,真事,求过。
<!--1443056753-->
</div>
代码更改注意问题:带有中文的list对象的输出一定要慎重,看懂并会用以下几个例子.
https://blog.longwin.com.tw/2014/09/python-list-print-chinese-2014/这里介绍的很好。
但是,还有个很重要的问题
myItems = re.findall('<div class="content">(.*?)</div>',unicodePage,re.S)items=[] i=1 for item in myItems: items.append([item.replace("\n","")])for item in items: print print item
如果这样,会有下面的输出。这是不对的。首先这是两个List,,第一个List=['第一个段子','第二个段子',.....],每个段子又是一个List,如下面所示,这个List只有一个对象,就是item[0],这个对象用''符号包围着,所以print item[0]
[u'\u590f\u5929\u5230\u4e86 \u5929\u6c14\u5f88\u70ed \u8bb8\u591a\u7537\u5b69\u5305\u62ec\u6211\u559c\u6b22\u628a\u4f53\u6064\u5411\u4e0a\u5377\u8d77\u6765 \u6f0f\u51fa\u810a\u80cc\u51c9\u5feb \u4f46\u662f \u6211\u8981\u8bf4\u7684\u662f\u4e00\u4e9b\u5428\u4f4d\u8f83\u5927\u7684\u7537\u751f \u628a\u4f53\u6064\u63d0\u5230\u80c3\u90e8\u5de6\u53f3\u7acb\u523b \u4e0d\u8981\u518d\u5f80\u4e0a\u6f0f\u51fa\u54aa\u54aa \u8fd9\u662f\u5bf9\u4e00\u4e9b\u5e73\u80f8\u59b9\u5b50\u6700\u57fa\u672c\u5c0a\u91cd\uff01\uff01\uff01']
#-*- coding: UTF-8 -*- import urllib2 import urllib import re import thread import time #----------- 加载处理糗事百科 ----------- class Spider_Model: def __init__(self): self.page = 1 self.pages = [] self.enable = False self.items_all=0; #self.items_eachpage=0; # 将所有的段子都扣出来,添加到列表中并且返回列表 def GetPage(self,page): myUrl = "http://m.qiushibaike.com/hot/page/" + page user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)' headers = { 'User-Agent' : user_agent } req = urllib2.Request(myUrl, headers = headers) myResponse = urllib2.urlopen(req) myPage = myResponse.read() #encode的作用是将unicode编码转换成其他编码的字符串 #decode的作用是将其他编码的字符串转换成unicode编码 unicodePage = myPage.decode("utf-8") # 找出所有class="content"的div标记 #re.S是任意匹配模式,也就是.可以匹配换行符 #myItems = re.findall('<div.*?class="content".*?title="(.*?)">(.*?)</div>',unicodePage,re.S) myItems = re.findall('<div class="content">(.*?)</div>',unicodePage,re.S) items = [] for item in myItems: # item 中第一个是div的标题,也就是时间 # item 中第二个是div的内容,也就是内容 #items.append([item[0].replace("\n",""),item[1].replace("\n","")]) items.append([item.replace("\n","")]) return items # 用于加载新的段子 def LoadPage(self): # 如果用户未输入quit则一直运行 while self.enable: # 如果pages数组中的内容小于2个 if len(self.pages) < 2: try: # 获取新的页面中的段子们 myPage = self.GetPage(str(self.page)) self.page += 1 self.pages.append(myPage) except: print '无法链接糗事百科!' else: time.sleep(1) def ShowPage(self,nowPage,page): for items in nowPage: self.items_all+=1 print u'第%d页' % page,u'总计第%d个段子' % self.items_all myInput = raw_input() print items[0]#.encode("utf-8") ## much attention here ###print item is wrong ### ### print '' if myInput == "quit": self.enable = False break def Start(self): self.enable = True page = self.page print u'正在加载中请稍候......' # 新建一个线程在后台加载段子并存储 thread.start_new_thread(self.LoadPage,()) #----------- 加载处理糗事百科 ----------- while self.enable: # 如果self的page数组中存有元素 if self.pages: nowPage = self.pages[0] del self.pages[0] self.ShowPage(nowPage,page) page += 1 #----------- 程序的入口处 ----------- print u""" --------------------------------------- 程序:糗百爬虫 版本:0.3 作者:why 日期:2014-06-03 语言:Python 2.7 操作:输入quit退出阅读糗事百科 功能:按下回车依次浏览今日的糗百热点 --------------------------------------- """ print u'请按下回车浏览今日的糗百内容:' raw_input(' ') myModel = Spider_Model() myModel.Start()
- 糗百的HTML更改后的python爬虫,2016,7,5 总计
- python爬虫由浅入深5--的html格式输出 prettify()
- 计算表格的总计
- 总计的命令
- python自制的糗百爬虫
- 更改后的comboboxcolumn
- python 简单的网络爬虫 + html 正文抽取
- [python爬虫]获取html中文乱码时的方法
- Python爬虫处理xml和html的字符串
- python多线程爬虫学习--去除html的标签
- Extjs的grid总计实现
- Python的爬虫程序
- Python简易的爬虫
- Python的爬虫
- Python简单的爬虫
- 基于python的爬虫
- python的爬虫工具
- python爬虫的使用
- 华为机试题--6.质数因子
- Android 注册页面 设置显示或者隐藏密码 和 点击获取验证码倒计时60s
- Web 基础学习之 用 JS 实现网页版本 计算器
- java多线程系列03
- POJ 3213 PM3 矩阵乘法优化
- 糗百的HTML更改后的python爬虫,2016,7,5 总计
- 作为基础开发人员必须掌握的linux常用命令
- 2016年该如何去做SEO?
- IntelliJ IDEA 添加项目后编译显示包不存在的解决方案
- android studio svn配置
- ESN向MEID转换常见问题解答
- 设计模式总结
- C++语言实现螺旋队列
- Android Studio常用快捷键、Android Studio快捷键大全