python获取知乎日报另存为txt文件
来源:互联网 发布:注册域名能赚钱吗 编辑:程序博客网 时间:2024/06/15 10:56
前言
拿来练手的,比较简单(且有bug),欢迎交流~
功能介绍
抓取当日的知乎日报的内容,并将每篇博文另存为一个txt文件,集中放在一个文件夹下,文件夹名字为当日时间。
使用的库
re,BeautifulSoup,sys,urllib2
注意事项
1.运行环境是Linux,python2.7.x,想在win上使用直接改一下里边的命令就可以了
2.bug是在处理 “如何正确吐槽”的时候只能获取第一个(懒癌发作了)
3.直接获取(如下)内容是不可以的,知乎做了反抓取的处理
urllib2.urlop(url).read()
所以加个Headers就可以了
4.因为zhihudaily.ahorn.me这个网站时不时挂掉,所以有时候会出现错误
1 def getHtml(url):2 header={'User-Agent' : 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:14.0) Gecko/20100101 Firefox/14.0.1','Referer' : '******'}3 request=urllib2.Request(url,None,header)4 response=urllib2.urlopen(request)5 text=response.read()6 return text
4.在做内容分析的时候可以直接使用re,也可以直接调用BeautifulSoup里的函数(我对正则表达式发怵,所以直接bs),比如
1 def saveText(text):2 soup=BeautifulSoup(text)3 filename=soup.h2.get_text()+".txt"4 fp=file(filename,'w')5 content=soup.find('div',"content")6 content=content.get_text()
show me the code
1 #Filename:getZhihu.py 2 import re 3 import urllib2 4 from bs4 import BeautifulSoup 5 import sys 6 7 reload(sys) 8 sys.setdefaultencoding("utf-8") 9 10 #get the html code11 def getHtml(url):12 header={'User-Agent' : 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:14.0) Gecko/20100101 Firefox/14.0.1','Referer' : '******'}13 request=urllib2.Request(url,None,header)14 response=urllib2.urlopen(request)15 text=response.read()16 return text17 #save the content in txt files18 def saveText(text):19 soup=BeautifulSoup(text)20 filename=soup.h2.get_text()+".txt"21 fp=file(filename,'w')22 content=soup.find('div',"content")23 content=content.get_text()24 25 # print content #test26 fp.write(content)27 fp.close()28 #get the urls from the zhihudaily.ahorn.com29 def getUrl(url):30 html=getHtml(url) 31 # print html32 soup=BeautifulSoup(html)33 urls_page=soup.find('div',"post-body")34 # print urls_page35 36 urls=re.findall('"((http)://.*?)"',str(urls_page))37 return urls 38 #main() founction39 def main():40 page="http://zhihudaily.ahorn.me"41 urls=getUrl(page)42 for url in urls:43 text=getHtml(url[0])44 saveText(text)45 46 if __name__=="__main__":47 main()
0 0
- python获取知乎日报另存为txt文件
- 知乎日报客户端
- 知乎日报API
- 知乎日报API
- 练手--知乎日报
- 知乎日报
- 【项目源码】- 【模仿知乎日报】模仿知乎日报
- 知乎日报 API 分析
- 知乎日报 API 分析
- Idaily 知乎日报APP
- 学习知乎日报--day2
- 学习知乎日报---day3
- 学习知乎日报---day4
- 学习知乎日报-----day5
- React-Native知乎日报
- Python日记——用Django做一个简易的知乎日报API
- 【项目源码】- 【模仿知乎日报二】吐血高仿知乎日报
- 知乎日报风格的博客园
- 手机网页开发问题总结(一)
- 跑spark1.5.2 application报错
- haproxy 4层代理
- python抓取网页过程
- Linux procfs详解
- python获取知乎日报另存为txt文件
- Git及Github入门笔记
- Git分支学习简记
- Python脚本运行出现语法错误:IndentationError: unindent does not match any outer indentation level
- CentOs安装Scrapy出现error: Setup script exited with error: command ‘gcc’ failed with exit status 1错误解决方案
- vi编辑文件出现Can't open file for writing错误
- Git删除文件操作
- Scrapy中的item是什么
- MVC简介