data analysis & deeplink sdk 备忘1

来源:互联网 发布:工业4.0软件 编辑:程序博客网 时间:2024/05/01 00:56

sdk:
两个队列,一个存event,一个存quest,存在memory和sqlite3中(备份)。操作成功后删除sqlite中的备份。count > 5或time > 60时打包event为quest, 并批量上传

backend:
1、getevent->save to kafka(queue)
2、kafka->storm
kafka->es
kafka->cassandra(store)
kafka->hdfs->cassandra(batch)

0 0
原创粉丝点击