Spark的5大优势
来源:互联网 发布:php api接口源码 编辑:程序博客网 时间:2024/04/30 00:06
一、Spark 的5大优势:
1、 更高的性能。因为数据被加载到集群主机的分布式内存中。数据可以被快速的转换迭代,并缓存用以后续的频繁访问需求。在数据全部加载到内存的情况下,Spark可以比Hadoop快100倍,在内存不够存放所有数据的情况下快hadoop10倍。
2、通过建立在Java,Scala,Python,SQL(应对交互式查询)的标准API以方便各行各业使用,同时还含有大量开箱即用的机器学习库。
3、与现有Hadoop 1和2.x(YARN)生态兼容,因此机构可以无缝迁移。
4、方便下载和安装。方便的shell(REPL: Read-Eval-Print-Loop)可以对API进行交互式的学习。
5、借助高等级的架构提高生产力,从而可以讲精力放到计算上。
二、MapReduce与Spark相比,有哪些异同点:
1、基本原理上:
(1) MapReduce:基于磁盘的大数据批量处理系统
(2)Spark:基于RDD(弹性分布式数据集)数据处理,显示将RDD数据存储到磁盘和内存中。
2、模型上:
(1) MapReduceL可以处理超大规模的数据,适合日志分析挖掘等较少的迭代的长任务需求,结合了数据的分布式的计算。
(2) Spark:适合数据的挖掘,机器学习等多轮迭代式计算任务。
在Spark中,一个应用程序包含多个job任务
在MapReduce中,一个job任务就是一个应用
0 0
- Spark的5大优势
- Spark相比MapReduce的优势
- Spark相对于MapReduce的优势
- MOSS的十大优势
- MOSS的十大优势
- hibernate的11大优势
- mouckps的三大优势!
- SpringMVC的几大优势
- 大数据核心开发spark技术有什么优势?
- Spark的天然优势--内存计算
- spark相比hadoop的 优势如下
- B2B电商较传统商务的5大优势
- AIM系统的优势的三大优势
- 使用hibernate的11大优势
- 使用hibernate的11大优势
- 使用hibernate的11大优势
- 使用hibernate的11大优势
- iPhone不可超越的6大优势
- linux用nfs共享文件夹
- Servlet中怎么取得session和application
- 冬季护肤方法:拒绝“高原红”
- 汉诺塔(难点)
- xmonad设置
- Spark的5大优势
- 炫酷的折叠布局FoldingLayout
- Bookmark
- redis集群节点新增、删除、重新分配slot实战
- centos桌面版环境打造
- Android开源库-仿360手机助手底部动画菜单布局
- Nginx负载均衡配置实例
- 老王的心路历程(一):那个做了五年的产品经理
- Java 和 C# 最大的不同是什么?