Spark概述
来源:互联网 发布:现场工程师 linux维护 编辑:程序博客网 时间:2024/05/16 01:10
Spark概述
Spark特点
- 内存计算
- 中间处理数据也放在内存中,减少磁盘I/O
- 支持复杂查询:包括filter、SQL查询、流式查询等
- 支持实时流处理(Hadoop只能离线处理)
- 迭代计算
Spark应用框架
Spark Streaming
Tachyon
过去,Spark的计算功能和内存管理都是在JVM中,导致JVM负载较高,且JVM崩溃后数据会丢失。
Tachyon的目的是分离Spark的计算功能和内存管理功能,使内存管理脱离JVM,专门设计Tachyon在JVM外管理内存数据。这解决了Spark在数据共享、缓存数据丢失情况下的效率较低的问题,还减少了JVM因数据量过多而导致的大量GC操作,提高了Spark效率。
0 0
- spark 概述
- Spark概述
- Spark概述
- Spark概述
- Spark概述
- Spark概述
- Spark概述
- Spark概述
- Spark概述
- spark概述
- Spark 概述
- Spark概述、Spark特点
- spark 概述与安装
- Spark集群模式概述
- 1.spark概述
- 1. spark ML概述
- Spark集群概述
- Spark源码走读概述
- 免费、高性能的人脸检测库
- 如何判断一个二叉树是否为平衡二叉树。
- json字符串转化为复杂的java对象问题解决分享
- Hadoop和Spark的联系和区别
- 基于i2c子系统的驱动分析
- Spark概述
- typedef的用法
- 欢迎使用CSDN-markdown编辑器
- 通过设置Weblogic设置线程数提高系统并发
- var 全局变量 局部变量
- 解决jquery easyui-datagrid列过多且无数据时列显示不全的bug
- iOS开发手机震动效果
- SQL多表连接查询
- QCustomplot整理