Spark特点
来源:互联网 发布:打谱软件哪个好索呢 编辑:程序博客网 时间:2024/04/30 08:05
Spark特点
1、先进架构
Spark采用Scala语言编写,底层采用了actor mode的akka作为通讯框架,代码十分简洁高效。
基于DAG图的执行引擎,减少多次计算之间中间结果写到hdfs的开销。
建立在统一抽象的RDD(分布式内存抽象)之上,使得它可以以基本一致的方式应对不同的大数据处理场景。
2、高效
提供Cache机制来支持需要反复迭代的计算或者多次数据共享,减少数据读取的IO开销。
3、易用
Spark提供广泛的数据集操作类型(20+种),不像Hadoop只提供了Map和Reduce两种操作。
Spark支持Java,Python 和Scala API
4、提供整体解决方案
Spark内存承诺狐狸
Spark SQL交互式处理
Spark Streaming 是建立在Spark上的实时计算框架,通过它提供丰富的API、基于内存的高速执行引擎,用户可以结合流式、批处理和交互式查询应用。
Spark MLlib 是Spark对常用的机器学习算法的实现库,同时包括相关的测试和数据生成器。
Spark GraphX 是一个分布式图处理框架,基于Spark平台提供对图计算和图挖掘简洁易用的而丰富多彩的接口,极大方便了大家对分布式图处理的需求。
5、与Hadoop无缝连接
Spark可以使用YARN作为他的集群管理器
读取HDFS,HBase等一切Hadoop的数据
0 0
- Spark特点
- spark特点
- Spark概述、Spark特点
- spark原理入门详解:包括生态、特点、概念等
- spark原理入门详解:包括生态、特点、概念等
- 特点
- Hadoop, Spark, MPI三种计算框架的特点以及分别适用于什么样的场景
- Hadoop, Spark, MPI 三种计算框架的特点以及分别适用于什么样的场景
- Spark RDD概念学习系列之RDD的5大特点
- 简要描述一下Hadoop, Spark, MPI三种计算框架的特点以及分别适用于什么样的场景
- spark
- spark
- Spark
- spark
- Spark
- spark
- Spark
- Spark
- ZCMU—1781
- selenium之元素定位
- SVG 与 HTML5 的 canvas 优缺点
- 读取数据库中数据,在页面上直接显示图片(点击该图片变大)
- CS231 Lecture 1: Introduction
- Spark特点
- unity在移动设备上打开相机
- java中格式化数字的类DecimalFormat
- android jackson解析,对象转json,json转对象,map...
- python多线程编程(2): 线程的创建、启动、挂起和退出
- day14
- C++11多线程std::thread的简单使用
- iOS 保持界面流畅的技巧
- 自己动手写操作系统学习笔记(一)