爬取51job的爬虫(python)
来源:互联网 发布:ubuntu 等待安装 卡住 编辑:程序博客网 时间:2024/05/17 22:07
#coding=utf-8__author__ = "carry(QQ:314375317)"import sysreload(sys)sys.setdefaultencoding('utf-8')import urllibimport urllib2import re#获取原码def get_content(page): headers = {'Host':'search.51job.com', 'User-Agent':'Mozilla/5.0 (Windows NT 6.2; rv:16.0) Gecko/20100101 Firefox/16.0', 'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8', 'Connection':'keep-alive' } url ='http://search.51job.com/list/000000,000000,0000,00,9,99,python,2,'+ str(page)+'.html' req = urllib2.Request(url,headers=headers) r = urllib2.urlopen(req) response = r.read() #读取源代码并转为unicode html = response.decode('gbk').encode('utf-8') return htmldef get(html): reg = re.compile(r'class="t1 ">.*? <a target="_blank" title="(.*?)".*? <span class="t2"><a target="_blank" title="(.*?)".*?<span class="t3">(.*?)</span>.*?<span class="t4">(.*?)</span>.*? <span class="t5">(.*?)</span>',re.S)#匹配换行符 items=re.findall(reg,html) return items#多页处理,下载到文件for j in range(1,10): print(u"正在爬取第"+str(j)+"页数据...") html = get_content(j) #调用获取网页原码 for i in get(html): #print(i[0],i[1],i[2],i[3],i[4]) with open ('51job.txt','a') as f: f.write(i[0]+'\t'+i[1]+'\t'+i[2]+'\t'+i[3]+'\t'+i[4]+'\n') f.close()
阅读全文
0 0
- 爬取51job的爬虫(python)
- Python爬虫-爬取51job.com 招聘信息并写入文件和数据库mysql
- 简易爬虫爬取51job招聘信息
- Scrapy爬虫实战(三)----------使用cookies爬取51job
- scrapy爬虫实战(四)--------------登陆51job并使用cookies进行爬取
- 简单的python爬虫(爬取百度百科词条)
- python爬虫爬取网上的照片
- python爬虫----简单的图片爬取
- python爬虫爬取好看的图片
- 爬取51job的职位信息
- Python爬虫实例(5)-简单的爬虫,用XML爬取卡车图片
- python爬虫之51job工作搜索
- python爬虫爬取段子
- python爬虫爬取图片
- python爬虫爬取网络小说
- Python 爬虫 爬取视频
- python爬虫爬取csdn
- python爬虫(3)——python爬取大规模数据的的方法和步骤
- MySQL优化
- Angularjs 中 ui-sref 和 $state.go 如何传递单个多个参数和将对象作为参数
- python 画等边三角形
- Android 代码设置开机自启动App
- scrapy 爬虫程序一览
- 爬取51job的爬虫(python)
- MySQL根据某一个或者多个字段查找重复数据,并且保留某字段值最大的记录
- jsp 无法生成xml文件
- 用户管理系统
- android语音播报
- 内存溢出之Tomcat内存配置
- ubuntu设置软件默认打开方式,以.py文件打开方式为例
- Ubuntu 16.04环境SudaMod2.0编译笔记
- Emacs基本操作及应用