spark sql 统计pv uv
来源:互联网 发布:餐厅绩效指标数据 编辑:程序博客网 时间:2024/04/30 23:37
话不多说,在开始之前先介绍下pv uv
uv:user views,count(distinct guid)
pv:page views,count(url)
直接上代码
import com.alibaba.fastjson.JSON
import org.apache.spark.sql.SQLContext
import org.apache.spark.{SparkContext, SparkConf}
case class Log(appv:String, userid:String)
object DailyUV {
def main(args: Array[String]) {
val conf = new SparkConf().setAppName(“DailyUV”).setMaster(“local”)
val sc = new SparkContext(conf)
val sqlContext = new SQLContext(sc)
//过滤产品id为3的数据
val data = sc.textFile(“D:\work\data\row.dat”).filter(line=>line.contains(“\”pid\”:\”3”))
val mapData = data.map(line=>{
val json = JSON.parseObject(line)
//appv版本号
val appv = json.getString(“appv”)
//aid 用户唯一标示
val userid = json.getString(“aid”)
(appv,userid)
})
import sqlContext.implicits._
//将RDD转换为DF
val DF = mapData.map(log => Log(log._1,log._2)).toDF()
DF.registerTempTable(“log”)
val sqlStr =
s”“”
|select appv,
|count(userid) as pv ,
|count(distinct userid) as uv
| from log
| group by appv
“”“.stripMargin
val result = sqlContext.sql(sqlStr)result.show()sc.stop()
}
}
运行结果:
+——+—+—+
| appv| pv| uv|
+——+—+—+
|4.35.1| 1| 1|
|4.35.2| 1| 1|
| | 1| 1|
+——+—+—+
- spark sql 统计pv uv
- 统计UV和PV
- python统计pv、uv
- 统计pv uv-
- mapreduce 统计PV UV
- 使用Spark计算PV、UV
- 使用Spark计算PV、UV
- nginx 日志pv uv统计
- spark实现UV统计
- 网站流量统计之PV和UV
- Shell 统计PV, UV ,独立IP
- 网站统计IP PV UV实现原理
- 网站数据统计 PV UV IP 是什么意思
- Shell 统计PV, UV ,独立IP
- 使用二维数组统计UV,PV
- 网站流量统计之PV和UV
- 网站pv uv 停留时间 等统计
- 网站访问量统计之UV/PV/IP
- 来淄博旅游
- JZOJ3639 COCI2013 odasiljaci
- 文章标题
- 2017蚂蚁金服暑期实习生内推一面
- 三国佚事——巴蜀之危
- spark sql 统计pv uv
- 谈谈我对MySQL外键字段必须索引的一些理解
- C++作业3
- Hibernate和Spring的整合
- 《TCP/IP详解 卷1:协议》第五章 RARP:逆地址解析协议
- emulator:ERROR:This AVD's configuration is missing a kernel file! 解决方法
- Android分享功能,微博、QQ、QQ空间等社交平台分享之入门与进阶
- 利用DOM对HTML元素进行操作
- AndroidStudio修改主题