Spark简介
来源:互联网 发布:淘宝宝贝排序 编辑:程序博客网 时间:2024/05/20 16:32
Spark是用Scala语言中实现的,它将Scala用作其他应用程序框架,与Hadoop不同,Spark和Scala能够紧密继承,其中的Scala可以向操作本地集合对象一样轻松操作分布式数据集。
什么是Spark?
1.UC Berkeley AMP lab出品
2、类Hadoop的分布式数据分析平台
3、基于MapReduce的通用的并行计算框架
Spark和Hadoop MapReduce的比较
1、MapReduce是一种磁盘计算框架,非常适合数据密集型计算,而不适合迭代计算和交互式计算。
2、Spark是基于内存迭代的计算框架。适用于需要多次操作特定数据集的应用场合。
Spark作业原理
什么是RDD
RDD(Resilient Distributed Datasets)弹性分布式数据集,是分布式内存的一个抽象概念
RDD特性
RDD是只读、分区记录的集合。RDD支持容错。RDD不需要物化、RDD可以相互依赖。
假设用户提交一条SQL给Spark:
select * from table where id= “001”
假设数据量很大,在HDFS中有三个分片:
0 0
- spark简介
- spark简介
- Spark简介
- Spark简介
- spark简介
- Spark简介
- Spark简介
- Spark简介
- spark简介
- Spark简介
- Spark简介
- Spark简介
- Spark简介
- Spark简介
- Spark简介
- Spark简介
- Spark简介
- Spark简介
- storm api
- 2016.10.05【初中部 NOIP普及组 】模拟赛
- 使用Apache POI绘制折线图
- 利用SetUnhandledExceptionFilter获取程序异常时的DUMP文件
- (五)Servlet就是这样-ServletConfig和ServletContext对象
- Spark简介
- 出现java.lang.NoClassDefFoundError: javax/servlet/jsp/jstl/core/ConditionalTagSupport
- 基数排序
- Java中的字节流、缓冲流
- (六)Servlet就是这样-JSP
- 微信开发(从申请微信到注册上线的一整套流程)第四章 实现天气预报功能
- Cocos2D-X学习2:使用cocos-console创建项目工程
- OpenCV3 for Python3的安装方法
- Android Fragment使用小结