Spark进阶（二）
来源：互联网 发布：office2016for mac安装 编辑：程序博客网 时间：2024/05/17 02:56
Spark Stream
将Stream数据分成小的时间片段，以类似batch批处理的方式来处理这一部分数据，兼容实时数据处理的逻辑和算法和兼容批量处理。
Spark MLlib
SparkSQL
1.MapReduce计算过程大量的磁盘落地消耗了大量的io，降低运行效率。此时shark应运而生，同期的还有Impala和Drill。
shark（在hive的基础上，把HQL翻译成Spark的RDD操作。实现基于内存的SQL查询）运作：通过Hive的HQL解析，把HQL翻译成Spark的RDD操作，然后通过Hive的metadata获取数据库的表信息，shark获取HDFS上的数据和文件并放到Spark上运行。修改了hive的内存管理，物理计划，执行三个模块：shark使用Hive的API来实现query parsing和Logic Plan generation，最后的Physical Plan Generation阶段用Spark代替Hadoop的Map Reduce。
2.Shark对于hive的太多依赖（如采用hive的语法解析器、查询优化器等等），制约了Spark的统一栈管理的原则，故有了SparkSQL的出现。
- SparkSQL汲取了Shark的优点，如内存列存储，hive的兼容性等
- 同时还兼容RDD、parquet文件、Json文件中获取数据
- 性能方面，除了内存列存储，还引进了Cost Model对查询进行动态评估
3.Spark和Impala在并发性还有一定的差距
GraphX
1.Pregel
google继mapReduce之后提出的又一计算模型，主要用于图的计算。
2.GraphX
有Table和Graph的两种图，但只需要一种物理存储，Table视图将图看成顶点属性和边属性的组合。
3.GraphX与Pregel的关系
Tachyon（HDFS（磁盘）tachyon（cache））
主从架构
分布式内存文件系统，用于缓存常用数据（HDFS是存储海量数据）
通过Zookeeper做HA，可以部署多台Standby Master
0 0
- Spark进阶（二）
- Spark进阶（一）
- Spark进阶（三）
- Spark进阶（四）
- spark进阶（五）
- Spark进阶（八）
- Spark修炼之道（进阶篇）——Spark入门到精通：第五节 Spark编程模型（二)
- Spark修炼之道（进阶篇）——Spark入门到精通：第五节 Spark编程模型（二)
- SparkSQL（Spark-1.4.0)实战系列（二）——DataFrames进阶
- javascript进阶（二）
- requirejs进阶（二）
- RequireJS进阶（二）
- Python进阶（二）
- RequireJS进阶（二）
- makefile进阶（二）
- Dagger2 进阶（二）
- Javascript进阶（二）
- hibernate进阶（二）
- springMVC+shiro异常处理总结
- 图片adjustviewbound属性 和Scaletype
- hash_map介绍与使用
- mysql的视图
- 操作系统——基本概念
- Spark进阶（二）
- 51Nod 1049 最大子段和
- Python实例：网络爬虫抓取豆瓣3万本书（8）
- SlidingMenu实现透明状态栏
- 公私钥数据签名
- java Method用法
- 【Python】从爬虫开始吧——爬取妹子图整站
- 安装Android应用出错：Failure [INSTALL_FAILED_UPDATE_INCOMPATIBLE]
- ubuntu + nohup
