Spark是什么?
来源:互联网 发布:网络名称大全5个字 编辑:程序博客网 时间:2024/06/05 22:30
(本人初次接触spark可能有些地方理解的不够到位,希望各位读者多多指正,对于不恰当的地方也会进行改进)
一、spark:快速通用的大规模数据处理引擎。(想对spark的定义和特点有较具体的认识可参考其官方网站:http://spark.apache.org/)
官方文档:
二、spark的特点:
1、速度快
在上篇文章中已经提到过spark的计算速度快是基于两原因:
一是:spark的计算是基于内存的;
二是:spark具有优秀的作业调度策略。
2、易使用
spark提供了支持多种语言的API(scala、python、javan、R等),其中scala的使用最为广泛(spark是基于scala语言开发的)
3、通用性
spark提供了Spark SQL 、Spark Streaming 、Mlib、Graghx组件:
(1)Spark Core :实现了 Spark 的基本功能(任务调度、内存管理、错误恢复、与存储系统交互等模块)。内部定义 了RDD(spark通过RDD将各组件联系在一起! ),提供了很多的API来创建和操作RDD。
(2)Spark SQL 是:Spark 用来操作结构化数据的程序包,可以用SQL语句进行数据查询。
(3)Spark Streaming : 实时数据流处理组建,提供了用来操作数据流的 API。
(4)MLlib:MLlib 提供了很多种机器学习算法(分类、回归、聚类、协同过滤等)。
( 5 ) GraphX :用来操作图的程序库,可以进行并行的图计算。
阅读全文
0 0
- Spark是什么?
- Spark是什么?
- Spark是什么?
- 科普spark,spark是什么
- spark 之 spark是什么?
- 科普Spark,Spark是什么,如何使用Spark
- spark是什么呢?
- spark是什么,就看看
- Spark是什么(初识)
- Spark是什么,如何使用Spark(之一)
- Spark-Hadoop、Hive、Spark 之间是什么关系?
- Spark-Hadoop、Hive、Spark 之间是什么关系?
- Spark是什么?用Spark进行数据分析
- spark是什么及体系概述
- Spark核心是什么,如何使用Spark(之二)
- Hadoop,HBase,Storm,Spark到底是什么?
- Hadoop,HBase,Storm,Spark到底是什么?
- Hadoop,HBase,Storm,Spark到底是什么?
- 计算 5,7的倍数和;等差数列算法;
- 一些事件的问题
- Android单元测试(五):网络接口测试
- 关于矩阵分解在推荐系统中的应用
- 字符串一些基础
- Spark是什么?
- Maven小结
- 广州java实习面试经历17年12月
- Struts2中DTD文件的添加
- MySQL半同步复制--transmit_start
- CUDA:核函数未执行,错误检查
- 将普通用户提升为域管理员
- 笔记:余凯 基于深度学习的自动驾驶之路
- 流年不利