rvest爬取链家网数据

来源：互联网发布：python网络爬虫代码编辑：程序博客网时间：2024/05/22 12:51

一、工具说明

火狐浏览器
fireBug插件
R软件
revest包、stringr包

二、数据说明

想要获取链家网南京楼盘的信息，如：楼盘名称、地址、面积、是否在售、住宅性质、价格。最后在R里生成数据框
这里写图片描述

三、代码

Part1:加载包，rvest用于爬取数据、stringr处理字符串

# 加载包 ------------------------------------------#加载rvest，没有则先安装后加载tryCatch({  library(rvest)}, error = function(e) {  print("No This Package")},finally = {  install.packages("rvest")  library(rvest)})library(stringr)

Part2:读取网页，求页数

想要获取该信息页数，如下图所示：
这里写图片描述
使用Firebug插件，很容易定位元素。
点击红框处图标，再点击黄框处10.自动定位元素位置，可以分析标签值等信息

# 读取网页，求页数 ----------------------------------------------------------------url <- 'http://nj.fang.lianjia.com/loupan/'web <- read_html(url)#html_attr("page-data") 是从html_nodes('div.page-box')筛选出的标签中，查找page-data属性的值page <-  web %>% html_nodes('div.page-box') %>% html_attr("page-data")page_num <- str_extract(page, '[0-9]+')#取出字符串里面的数字，+表示可以是多位的page_num <- as.numeric(page_num)

Part3:循环读取每页上所需要的信息

# 循环读取每页上所需要的信息---------------------------#所需列name = area = price = type = address = status = NULLfor (i in 1:page_num) {  #楼盘名称  name <- c(name,            web %>% html_nodes('div.info-panel') %>%              html_nodes('a') %>% html_text())  #地址  address <- c(    address,    web %>% html_nodes('div.info-panel') %>%      html_nodes('div.where') %>% html_nodes('span.region') %>%      html_text()  )  #面积  area_ass <-    web %>% html_nodes('div.info-panel') %>% html_nodes('div.area')  %>% html_nodes('span') %>%    html_text()  area = c(area, str_extract(area_ass, '[0-9]+~[0-9]+|[0-9]+'))#找到形如11~12或者数字的字符串  price_ass <-    web %>% html_nodes('div.info-panel') %>% html_nodes('div.average')  %>% html_nodes('span') %>%    html_text()  price = c(price, as.numeric(price_ass))  #房屋性质  type <- c(    type,    web %>% html_nodes('div.info-panel') %>%      html_nodes('div.type') %>% html_nodes('span.live') %>% html_text()  )  #是否在售  status <- c(    status,    web %>% html_nodes('div.info-panel') %>%      html_nodes('div.type') %>% html_nodes('span.onsold') %>% html_text()  )  house_data <-    data.frame(      name = name,      area = area,      price = price,      type = type,      address = address,      status = status,      stringsAsFactors = F    ) }# Ending############################ --------------------------------------

四、结果

这里写图片描述

五、Ref

[1] 链家网地址
[2] 快速定位元素：http://jingyan.baidu.com/article/19192ad81ab005e53e5707d6.html
[3] 《rvest + CSS Selector 网页数据抓取的最佳选择》
[4] 语言爬虫初尝试-基于RVEST包学习
[5] 标签含义速查网站
[6] R语言学习：使用rvest包抓取网页数据

0 0