SparkStreaming体会:1.提纲

来源:互联网 发布:乌鲁木齐有4g网络吗 编辑:程序博客网 时间:2024/06/15 01:15

SparkStreaming体会:1.提纲

1.要做件什么事?

为了收集线上系统的用户行为日志,一是用来建立app流量的漏斗模型,二是为了之后的用户个性化推荐做数据etl工作,三是为了顺便监控一下每个页面实时的访问情况。
Created with Raphaël 2.1.0logstashlogstashkafkakafkaSparkStreamingSparkStreamingRedisRedisHiveHiveMySQLMySQLCollect Logs from App Serverlogstash agent 收集tomcat日志,过滤为json格式Send the Queued Logs to Spark ClusterAnalysis the PV&UV Data for each page over a windowStore Logs every 10 windowsFlush data back to rmdb

2.为何要这么设计?

  • 因为线上环境已经部署了ELK,用以分析日志,所以没必要再布Flume
  • 既然日志要落地,不如一块做了,也充分利用了Spark Streaming的cache

3.核心代码:

算了,不贴了,不是教程

0 0
原创粉丝点击
热门问题 老师的惩罚 人脸识别 我在镇武司摸鱼那些年 重生之率土为王 我在大康的咸鱼生活 盘龙之生命进化 天生仙种 凡人之先天五行 春回大明朝 姑娘不必设防,我是瞎子 报考的南京驾照不退学费怎么办 驾照报名可以退吗?不退怎么办 科目三学时已满公里数未满怎么办 预约驾照考试收不到验证码怎么办 a2驾照违章被扣24分怎么办 出车祸后划分赔偿对方不鉴字怎么办 驾驶证过期了被交警抓到怎么办 摩托车驾驶证6年到期在增驾怎么办 驾照年检时色盲图过不了怎么办 驾驶证扣12分超过两年怎么办 驾驶证被注销后超过两年怎么办 a2照驾驶证年审过期一个月怎么办 车被别人追尾行驶证过期怎么办 骑魔头车没驾照车祸保险拒赔怎么办 行驶证过了两个多月没年检怎么办 驾照没满一年扣了3分怎么办 6年免检但是行驶证到期怎么办 驾驶证和行驶证一起丢了怎么办 身份证驾驶证行驶证一起丢了怎么办 在银行柜圆机取款时忘了取卡怎么办 中国建设银银行取款密码忘了怎么办 买到证件不全的二手电动车怎么办 光大乐惠金卡信用卡还了怎么办 增驾期间被扣3分怎么办 a2驾驶证被扣12分后怎么办 我手机换号码了驾驶证档案怎么办 手机号码换了查不到驾照分了怎么办 金牛区源泉幼儿园摇不到号怎么办 b2驾驶证被扣12分后怎么办 福建省超过一年驾照未年审要怎么办 为缓解交通拥堵现状人们应该怎么办 告对方不知道对方出身日期怎么办 上海业余围棋4进3老不过怎么办 孩子想上学但又怕同学议论怎么办 在菲律宾黑了博彩老板的钱怎么办 九阴真经3d先遣服更新失败怎么办 公司核名通过不想用了怎么办 公司核名下来了不想注册了怎么办 家人受到小贷公司催款威胁怎么办 商标抽签资料提交上去有问题怎么办 花椒直播助手苹果版下载不了怎么办