根据目前业务优化的新架构

来源:互联网 发布:淘宝浏览单佣金3 3 3 编辑:程序博客网 时间:2024/06/16 01:41

接收的数据量目前有10倍增长,行为数据每天已有6000w数据量,后续肯定还会有10倍的增长。

1数据的接收、接收数据决定就用kafka(高的数据吞吐量,还可以作为短期的缓存,可作为数据核查和补数据用)。

2数据清洗、mr直接从kafka从获取数据进行清洗(去重,过滤,编码),生成宽表文件放到hdfs上,(这一步千万不要做拆表,不然后续需要join就会很耗时,此处是空间换时间)。

3hbase使用、会入hbase的数据,需要走增量更新的数据,和标签。

4标签的处理方式、标签不能走实时打的方式,因为如1、实时程序出现了bug,或数据出现了峰值,2、打标签的计算量会很大(用到的相关数据也会很大),会很耗时。

5标签的存储、hbase和es,hbase是打标签的时候使用和对批量用户做标签汇总是使用,es是方便按标签来筛选用户使用

6大表关联、把筛选后的人群,放到临时文件,入到gb表中, 供对该部分人群的行为分析。

0 0
原创粉丝点击
热门问题 老师的惩罚 人脸识别 我在镇武司摸鱼那些年 重生之率土为王 我在大康的咸鱼生活 盘龙之生命进化 天生仙种 凡人之先天五行 春回大明朝 姑娘不必设防,我是瞎子 生完二胎计生办强制要求上环怎么办 没办二代身份证户口被注销怎么办 川航特价儿童票名字写错怎么办 川航机票名字错一个字怎么办 买飞机票名字打错了一个字怎么办 坐飞机耳朵聋了下飞机还痛怎么办 小孩咳嗽两个月了还不好怎么办 生完小孩肚子瘦不下来怎么办 胆子小一个人在家里都害怕怎么办 怀了双胞胎两个宝宝很挤怎么办 飞机无人陪护如果接机延误该怎么办 过年要坐火车回家 狗狗怎么办 一岁八个月宝宝小腿弯怎么办 2岁宝不愿意坐马桶拉屎怎么办 宝宝两岁多肺炎出院还老咳嗽怎么办 去外国机场买机票不会说外语怎么办 坐飞机不能带的物品办理托运怎么办 深圳外地户口儿童要办身份证怎么办 网上订票错写了护照号怎么办 国航 在智能火车票订飞机票订反了怎么办 办社保卡的时候填错地址怎么办 两个人住酒店只有一张身份证怎么办 农村社保卡信息错了说改不了怎么办 社保卡与原医保卡信息错误怎么办 学校发的社保卡丢了怎么办 魔棒工具选中选区后再怎么办 微信每次打开都出现月球图案怎么办 仙人掌的刺扎手里弄不出来怎么办 保险交满15年领了一年死了怎么办 狗咬了出了点血怎么办 被小狗咬到了吃了海鲜怎么办 想给一个人道歉又不敢说怎么办 被尘封的故事中魔法师不见了怎么办 宝骏5602挡升3挡有点卡怎么办 剥开的榴莲没熟壳又扔了怎么办 视频播放器激活码设备超限了怎么办 ai如何把右边菜单栏隐藏了怎么办 矫正牙齿粘牙齿的胶掉了怎么办 3m双面胶生产的时候胶不干怎么办 新房赠送面积没地热想接地热怎么办 教育网注册报名的用户名忘了怎么办