【大数据部落】r语言电商网站爬虫
来源:互联网 发布:低音炮软件下载 编辑:程序博客网 时间:2024/05/02 21:21
由于电商网站的数据的实时性要求,数据分析时一般直接从网页爬取。因此使用爬虫的方法显得十分重要。R作为数据分析的软件,可以直接对爬取的数据进行后续处理,加上上手快的特点,是电商网站数据爬取和分析的好工具。
下面以?http://cn.shopbop.com/为例 简单分享下使用Rcurl对网站进行数据爬取的过程。
首先需要在Rgui里安装需要的软件包
require("RCurl")
require("rjson")
require(stringr)
require(XML)
#得到网页地址,并将其转换成html源码
url = "http://cn.shopbop.com/"
doc = getURL(url)
txt = htmlParse(doc, asText = TRUE)
print(txt)
#由于获取网页中商品数据需要对html源码结构进行分析,因此可以直接在浏览器中查看后,再到R中进行编辑
在源码中很容易找到网站导航中子网站的网址
#因此可以通过xmlPath语言找到相应子网站的节点
a <- getNodeSet(txt, path = "//a[@class = 'parent topnav-logged-in ']")#找到子网页的xml路径?
如果得到的中文有乱码,则需要对编码进行转换
b <- sapply(a,xmlValue)
c <- iconv(b,"utf-8","gbk")
c
否则 可以通过xmlGetAttr函数 得到所需的attributes
?d <- sapply(a,xmlGetAttr , "href")#获取子网页
??由于得到的只是子网页的路径,要获取子网页的数据 需要用paste链接网站根目录地址
d1=paste(url,d[1],sep="" )
?#对于批量爬取商品的信息还需要获取商品展示子网页的页数
?每页显示40个商品,一共有1200个商品。
???通过网址,我们很容易了解商品展示页的地址规则。
#因此,可以通过一个简单的循环来获取所有网页的地址,从而获取每个网页的所有商品信息。???
a <- getNodeSet(txt, path = "//span[@class = 'page-number']")#找到子网页的xml路径?(部分代码省略)
d <- sapply(a,xmlGetAttr , "data-number-link")#获取子网页中的目录
pagenum=strsplit(d,"=")
maxpagenum=0;
for(i in 1:length(pagenum)){
}
maxpagenum=max(as.numeric(maxpagenum))
#[1] 1200
#在获得所有网页后,获取所有商品的信息就变得简单了,只要循环对每个网页的信息进行xml关键字的爬取
#名称信息?
?图片信息
?价格信息
?通过文本处理和输出,就可以将其进行保存和后续的数据分析。
- 【大数据部落】r语言电商网站爬虫
- 【大数据部落】R语言RFM模型在电商行业的应用
- 【大数据部落】用R语言挖掘Twitter数据
- 【大数据部落】r语言多均线量化策略回测
- 【大数据部落】R语言对推特数据进行文本情感分析
- 【大数据部落】r语言618电商大数据分析可视化报告
- 【大数据部落】用R进行网站评论文本挖掘聚类
- 【大数据部落】R语言求风险价值VaR Value at Risk
- 【大数据部落】R语言逻辑回归logistic regression对用户收入进行预测
- 【大数据部落】R语言GAM(广义相加模型)对物业耗电量进行预测
- 【大数据部落】R语言多元Copula GARCH 模型时间序列预测
- 【大数据部落】R语言实现:混合正态分布EM最大期望估计法
- 【大数据部落】用R挖掘Twitter数据
- 【大数据部落】r语言如何找到患者数据中具有差异的指标?(PLS—DA分析)
- 网页数据爬虫-R语言
- 电商网站处理大数据和并发架构网站
- R语言处理大数据
- R语言和大数据
- centos linux mysql 10060远程错误代码
- HashMap源代码解析
- 1.3—一个典型的JAVA程序的编写和运行过程
- 高德地图如何接入谷歌碎片
- HDU1075静态数组实现字典树
- 【大数据部落】r语言电商网站爬虫
- Springboot + Mybatis+Dubbo+Zookeeper+nginx+redis+HTML
- oracle数据库 sql查找换行符
- 解决TabLayout+viewpager 滑动切换时 布局文件不是从头显示
- 【JavaWeb_Part02】与 MySQL 人鬼情未了
- 3、Kafka的message存储数据结构
- 图片懒加载
- What is the difference between error active and error passive?
- ARM与x86 CPU架构对比