大数据平台有哪些
来源:互联网 发布:厦门大学网络 编辑:程序博客网 时间:2024/05/17 06:23
Hadoop
Storm是Twitter开源的一个类似于Hadoop的实时数据处理框架(原来是由BackType开发,后BackType被Twitter收购,将Storm作为Twitter的实时数据分析)。
Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于map reduce算法实现的分布式计算,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的map reduce的算法。
Impala是Cloudera公司主导开发的新型查询系统,它提供SQL语义,能查询存储在Hadoop的HDFS和HBase中的PB级大数据。
MPI
Mesos集群管理软件,Google Borg的开源实现。提供了有效的、跨分布式应用或框架的资源隔离和共享,可以运行Hadoop、MPI、Hypertable、Spark。
0 0
- 大数据平台有哪些
- Java大数据就业方向有哪些?
- 有哪些可以获取数据的网站?[大数据]
- 大数据在电力行业的应用前景有哪些?
- R+Hadoop大数据方案有哪些坑?
- 大数据在物流领域有哪些应用呢?
- 大数据具体有哪些类型你知道吗
- O2O平台盈利模式有哪些
- App推广平台有哪些
- 代码托管平台有哪些
- 有哪些自媒体平台?
- 大肠癌并发症有哪些
- 证券公司信息化_什么是大数据?大数据在证券公司的应用怎样?数据价值发掘的陷阱有哪些?
- 数据访问有哪些模式?
- 数据访问有哪些模式?
- 数据挖掘有哪些算法
- 数据存储方式有哪些?
- 数据备份有哪些种类?
- MYSQL用法(九) 索引用法
- fopen使用注意问题
- MYSQL用户管理
- 完全背包问题
- Vim中的高亮查找操作
- 大数据平台有哪些
- 流程在企业内的作用及成熟度
- 国内最长的地铁投影画廊在上海地铁诞生
- linux常用命令
- 游标
- SQLiteAPI函数详解
- POJ 3264——Balanced Lineup(RMQ ,segment tree,树状数组)
- 公交车身广告的好处
- 操作系统笔试题汇总