spark的组件
来源:互联网 发布:通过网线共享网络 编辑:程序博客网 时间:2024/05/17 01:39
Spark的组件介绍
1.Spark Core(任务调度,内存管理)
Spark Core 实现了Spark 的基本功能,包括任务调度,内存管理,错误恢复,和存储系统交互等模块。Spark Core 包括了弹性分布式数据集RDD的API定义,
2.Spark SQL(结构化数据)
Spark SQL 是Spark用来操作结构化数据的程序包,通过spark sql 可以使用SQL或者Hive查询数据,
3.Spark Streaming(实时计算)
Spark Streaming是Spark 提供的实时数据进行流式计算的组件,
4.MLlib(机器学习)
MLlib提供机器学习的程序库,它提供了很多机器学习的算法, 包括分类、回归、聚类、协同过滤等,还提供了模型评估,数据导入等支持功能
5.GraphX(图计算)
GraphX是用来操作图的程序库,可以进行并行的图计算。它扩展了Spark的RDD API,能用来创建一个顶点和边都包含任意属性的有向图。
0 0
- Spark组件的benchmark
- spark的组件
- flex4的spark组件的皮肤制作方法
- 从Spark组件来剖析Spark的执行流程
- 关于自定义spark组件的学习体会
- Flex 可编辑的 Spark List 组件
- Hadoop与Spark的核心组件对比
- 自定义Flex4+的Spark组件part1:使用ActionScript3开发Spark组件Component类
- 自定义Flex4+的Spark组件part1:使用ActionScript3开发Spark组件Component类
- spark入门之一 spark组件
- Spark 容器和组件
- Spark 容器和组件
- Flex4 Spark 组件生命周期
- spark学习-核心组件
- <转>Spark 生态系统组件
- Spark 生态系统组件
- Spark组件介绍
- Spark 架构和组件集的简要概述
- 剑指Offer:二叉树的镜像
- lightoj 1214 - Large Division 大数对小数取余
- eclipse neno中tomcat配置servers locations地址的文件
- When I delete a java project containing 200.000 code from eclipse,there is a prolem : An unexpected
- JavaScript整理篇
- spark的组件
- 单例的写法
- 安卓开发debug-app卸载不干净,导致安装、升级不成功问题的解决办法
- linux网络命令 netstat
- 聊聊高并发系统之队列术
- htaccess使用指南
- 算法-百度真题 来自牛客网
- bzoj 2301 -莫比乌斯函数反演+分块优化
- ImageView设置背景