日志分析系统和推荐平台的模块组成以及对应的开源技术简介
来源:互联网 发布:sql limit 数据库优化 编辑:程序博客网 时间:2024/06/08 14:25
日志分析系统的模块组成以及对应的开源技术
日志分析系统有以下两类:
离线日志分析系统:日志收集(scribe,flume等),日志存储(hdfs等),日志离线计算(mapreduce、hive、pig,spark sql 等)
实时日志分析系统:日志收集(scribe,flume等),消息队列(RabbitMQ、kafka等),实时计算框架(storm、spark streaming等)
两类日志分析系统主要由三个模块组成, 分别是:
日志集中模块、 日志存储模块和日志分析模 块。 日志集中模块完成日志的生成、 发送和接收功能; 日志存储模块实现了日志 的文件存储和数据库存储; 而日志分析模块则包括日志分析和分析结果的展示两 个子模块。
推荐平台的各个组成模块及开源技术
推荐平台由3个模块组成
- 数据加载
- 推荐模型
- 服务层
数据加载涉及的的开源技术:hdfs,mysql,hbase
HDFS/MySQL/Oracle等不同数据源中的数据导入Hbase,通过mapreduce并行导入与多线程两种方式实现数据加载
推荐模型涉及的开源计算模型:mapreduce、spark
服务层涉及的开源技术有:mysql、memcached、redis、cassandra,couchbase
0 0
- 日志分析系统和推荐平台的模块组成以及对应的开源技术简介
- Linux 系统日志的组成
- Linux系统日志的组成
- Spark-ML-基于云平台和用户日志的推荐系统
- 蓝牙车载系统的组成结构和应用规范分析
- AWStats: Apache/IIS的日志分析工具——在GNU/Linux和Windows平台上的使用简介
- TOP 10 开源的推荐系统简介
- TOP 10开源的推荐系统简介
- 开源的推荐系统简介TOP 10
- TOP 10开源的推荐系统简介
- 开源的推荐系统简介TOP 10
- TOP 10 开源的推荐系统简介
- TOP 10 开源的推荐系统简介
- TOP 10 开源的推荐系统简介
- TOP 10 开源的推荐系统简介
- TOP 10 开源的推荐系统简介
- TOP 10 开源的推荐系统简介
- TOP 10开源的推荐系统简介
- (OK)(OK) NS3 - MANET - OLSR can not work in bridge NODE
- 2-4提问(prompt 消息对话框)
- c常用字符串处理函数
- Centos环境下将修改后的MAC地址永久保存的正确
- java对象和json对象互相转换
- 日志分析系统和推荐平台的模块组成以及对应的开源技术简介
- git常用命令
- android 颜色渲染
- python实现简单神经网络算法
- Java String vs StringBuilder vs StringBuffer Concatenation Performance Micro Benchmark
- iOS 批量打包脚本 转
- 网络蜘蛛--抓取一个网页的邮箱
- 一个微信公众号接入另一个微信公众号的内容
- WPF中的binding(七)- 使用LINQ检索作为Binding的数据源