Spark 基础(一)
来源:互联网 发布:js文件上传原理 编辑:程序博客网 时间:2024/05/29 08:23
最近一直在学习Spark,Spark 是hadoop 的改进加强版,相比于hadoop,对迭代运算支持更好,加上内存运算,某些方面速度更快。
在Spark中,将RDD作为其中的基本运算单元,也就是以rdd为基本数据结构,程序开发人员的操作都是在rdd上进行操作,rdd对于开发人员,逻辑上可以认为就是一个分布式存储的大数组,没个rdd下包含若干分区,这些不同的分区可以存储在同一台机器,也可以存储在不同的机器上。对于rdd,提供了多种算子,就是相当于将对于数据的常用操作,具体抽象为不同的函数,利用这些官方提供的接口,去对rdd中的数据进行操作。在sql中,group by,where 这些就类似于算子,利用这些算子的组合,加上udf,可以实现对数据的复杂操作,spark也是如此,利用提供的rdd的操作函数,加上你自己定义的函数,可以实现丰富的操作。
Spark是用scala语言写的,Scala 是一种多范式编程语言,非常灵活,其重要的是结合了函数式编程的优点,将函数看成一种对象,与变量一样进行传递,函数就是一种运算规则,在大数据处理框架中,运算单元之间由于io的限制,尽量减少数据传递,尽量多传递运算。这一点跟scala中,将函数跟对象,变量看成平等的,可以传递的特性是一致的。 对于spark应用开发而言,java,scala都可以,两者都是运行在jvm上,都是面向对象语言。有了c++/java的基础,学习面向对象语言都是一件较为轻松的事情。
0 0
- Spark 基础(一)
- Spark基础学习(一)
- Spark基础入门(一)--------RDD基础
- Spark 基础 —— RDD(一)
- Spark学习(一)基础数据预处理
- Spark学习(一)基础介绍
- Spark RDD基础(一)
- Spark基础学习一
- spark基础(一)----------spark集群模型
- spark调优(基础)
- spark学习笔记一:scala语言基础
- Spark Streaming基础学习【一】WordCount
- Spark GraphX(一)
- spark简介(一)
- Spark总结(一)
- spark原理(一)
- Spark进阶(一)
- Spark原理(一)
- 虚幻UE4碰撞系统
- android 网络框架性能优化分析
- 集合简单总结
- CSS中display/float/position属性值的相互影响
- RecyclerView的使用(2)之多Item布局的加载
- Spark 基础(一)
- C++基本概念——构造函数
- 【HDU5630】Rikka with Chess(模拟)
- 李少鹏的网络日志移步到lishaopeng.com
- 【Linux 开发篇】之 计划任务
- HDFS介绍
- poj 1961 Period(KMP)
- Vim 快捷键 & 基本命令
- HDU 2571 命运