数据仓库相关开源技术
来源:互联网 发布:淘宝监管记录怎么消除 编辑:程序博客网 时间:2024/06/05 23:59
1、理论基础
论文:
PowerDrill:
Dremel:
架构:
大数据Lambda架构
相关关键词:map/reduce hadoop;MPP数据库;流式计算系统
2、基础平台相关技术
接入层技术:
canal:阿里巴巴开源项目: 基于mysql数据库binlog的增量订阅&消费
sqoop:Sqoop是一款开源的工具,主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql...)间进行数据的传递,可以将一个关系型数据库(例如 : MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中。
kafka:
redis:
存储层技术:
hdfs,hbase,kafka,redis
调度层:
yarn,mesos
计算层:
map/reduce
hive,presto
spark
flink
impala
druid
Storm
百度OLAP引擎 Palo
Tez :一个运行在YARN之上支持DAG作业的计算框架,apache二级项目
Oozie:可以把多个Map/Reduce作业组合到一个逻辑工作单元中,从而完成更大型的任务
其他:
MPP架构的实时查询系统有EMC Greenplum、HP Vertica和Google Dremel,
3、参考文章
大数据计算引擎的发展 https://www.ibm.com/developerworks/cn/opensource/os-cn-apache-flink/
PowerDrill,Google又一个大数据分析大杀器 http://www.infoq.com/cn/news/2012/08/powerdrill-in-memory-column-stor
大数据分析平台架构 http://www.360doc.com/content/15/0402/09/20625606_459996914.shtml
董西成博客 http://dongxicheng.org/
Apache YARN/Mesos与Google Borg差距多远?(详见参考文档) http://dongxicheng.org/mapreduce-nextgen/yarn-mesos-borg/
阅读全文
1 0
- 数据仓库相关开源技术
- 利用开源技术建立数据仓库
- 数据仓库相关
- 数据仓库相关
- 数据仓库技术
- 数据仓库源数据的提取技术小结
- 数据仓库相关概念
- 数据仓库相关概念
- 数据仓库的相关概念
- 数据仓库相关资料索引
- 数据仓库相关术语
- 数据仓库相关术语
- 数据仓库相关概念
- 数据仓库的相关概念
- Hive数据仓库相关操作
- 数据仓库技术简介
- 数据仓库技术简介
- 数据仓库技术解决方案
- SpringMVC学习(2)
- SpringMVC 注解2
- ASCII,Unicode,UTF-8
- 用注解实现springmvc
- 又是一个莫名的WA【极其不爽】洛谷 [USACO1.2]方块转换
- 数据仓库相关开源技术
- springMVC对静态资源访问的处理
- spring事务
- SpringMVC
- 生理周期(枚举)
- 绑定点击事件注意的一个小细节
- 网络知识点总结
- Python 爬虫实践:《战狼2》豆瓣影评分析
- CSS揭秘 第一章 引言