【python爬虫02】使用Scrapy框架爬取拉勾网招聘信息

使用Scrapy框架爬取拉勾网招聘信息

最近接触了Scrapy爬虫框架，简单写了个爬虫爬取拉钩网的招聘信息，加深对Scrapy框架的理解，不得不说Scrapy框架其实还是蛮方便的，就像爬虫流水线一样，如果是大项目的话使用Scrapy会变得更加容易管理，废话不多说，下面就看看如何使用Scrapy爬取拉勾网招聘消息吧。

 

 

我们发现由于数据是分页显示的，如果想要获取每一页的内容，自然需要获取每一页的链接。

我们点击下一页，发现页面回到了顶端，并且url栏没有任何变化！为什么呢？当前页的参数去哪里了？我们需要这里又用到了chrone浏览器强大的开发者工具了。在点击“3”之后，出现了下面的请求。

 

可以看到，传到后台的页码参数正安静地躺在那里呢，也就是图中的pn，而kd就是我们传入的关键字keyword。在这里我们也可以得到请求的url。但是，如何爬取ajax请求返回的数据呢？在scrapy中，我们可以通过start_requests这个函数返回一个请求列表，框架会按照这个请求列表去请求，然后将得到的response交给我们写好的回调函数，json数据就包含在response中。代码如下：

def start_requests(self):    #修改city参数更换城市    url= "https://www.lagou.com/jobs/positionAjax.json?needAddtionalResult=false&isSchoolJob=0&city=广州"    requests = []#range是查询的页码范围    for i in range(1, 60):        #修改kd参数更换关键字        formdata = {'first':'false', 'pn':str(i),'kd':'java'}        request = FormRequest(url, callback=self.parse_model,formdata=formdata)        requests.append(request)        print(request)    return requests

这里我们同样需要构造我们的请求头，scrapy框架会自动去读取的。

custom_settings = {        "DEFAULT_REQUEST_HEADERS": {            'Accept': 'application/json, text/javascript, */*; q=0.01',            'Accept-Encoding': 'gzip, deflate, br',            'Accept-Language': 'zh-CN,zh;q=0.8',            'Content-Type': 'application/x-www-form-urlencoded; charset=UTF-8',            'Host': 'www.lagou.com',            'Origin': 'https://www.lagou.com',            'Referer': 'https://www.lagou.com/jobs/list_java?',            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.113 Safari/537.36',            'X-Anit-Forge-Code': '0',            'X-Anit-Forge-Token': 'None',            'X-Requested-With': 'XMLHttpRequest'        },        "ITEM_PIPELINES": {            'lagou.pipelines.LagouPipeline': 300        }    }

分析传回来的json数据的结构，可以得到我们的处理函数如下：

def parse_model(self, response):    print(response.body.decode())    jsonBody =json.loads(response.body.decode())    results = jsonBody['content']['positionResult']['result']    items=[]    for result in results:        item=LagouItem()        item['name']=result['positionName']        item['workLocation']=result['city']        if result['district']:            item['workLocation']+=result['district']        if result['businessZones']:            for zone in result['businessZones']:                item['workLocation'] +=zone        #item['catalog']        item['money']=result['salary']        item['demand']=result['workYear']+"/"+result['education']        item['skillLabel']=",".join(result['positionLables'])        item['positionAdvantage']=result['positionAdvantage']        item['publishTime']=result['formatCreateTime']        item['company']=result['companyFullName']        item['companyField']=result['industryField']        item['companyLabelList']=",".join(result['companyLabelList'])        item['detailLink']="https://www.lagou.com/jobs/"+str(result['positionId'])+".html"        item['detailCompany']="https://www.lagou.com/gongsi/"+str(+result['companyId'])+".html"        items.append(item)    return items

Item具体如下：

class LagouItem(Item):    name = Field()                # 职位名称    workLocation = Field()        # 工作地点    catalog = Field()             # 职位类别    money= Field()                # 薪资水平    demand=Field()                # 要求    skillLabel=Field()            # 技能标签    publishTime = Field()         # 发布时间    company = Field()             # 公司名称    companyField=Field()          # 公司服务领域    companyLabelList=Field()      # 公司简介    positionAdvantage=Field()     # 职位福利    detailLink = Field()          # 职位详情页链接    detailCompany=Field()         # 公司详情页链接

数据提取完之后，由Pine来处理并进行后续操作，如储存在excel/数据库中。这里我将爬到的数据存到xlsx中。代码如下：

class LagouPipeline(object):   def __init__(self):        self.workbook = Workbook()        self.ws = self.workbook.active        self.ws.append(['职位名称', '工作地点', '薪资水平', '要求', '技能标签', '发布时间','公司名称','公司服务领域','公司简介','职位福利','职位详情页链接','公司详情页链接'])  # 设置表头        #self.file = codecs.open('tencent.json','w', encoding='utf-8')    def process_item(self, item, spider):        line = [item['name'], item['workLocation'],item['money'], item['demand'], item['skillLabel'],                item['publishTime'],item['company'],item['companyField'],item['companyLabelList'],item['positionAdvantage'],item['detailLink'],item['detailCompany']]  # 把数据中每一项整理出来        self.ws.append(line)        self.workbook.save('lagou.xlsx')  # 保存xlsx文件        #line = json.dumps(dict(item), ensure_ascii=False)+ "\n"        #self.file.write(line)        return item    def spider_closed(self, spider):        self.file.close()

最后为了防止拉勾网的反爬虫机制，在setting里设置拒绝遵守robot协议，并且设置爬取时延，防止被认为是爬虫。

ROBOTSTXT_OBEY = False DOWNLOAD_DELAY = 10

最终效果如下：