Spark概述
来源:互联网 发布:彩票免费计划软件 编辑:程序博客网 时间:2024/05/20 14:42
Spark是一个基于大数据处理的快速并且综合的引擎。
通过逻辑回归分析,如果基于内存进行运算,Spark比Hadoop MapReduce快100倍;如果基于硬盘进行运算,Spark比Hadoop MapReduce快10倍。究其主要原因是因为Spark的高级DAG执行引擎,该引擎支持循环数据流和内存计算。
Spark的程序编写及其方便,目前支持的语言有Java、Scala、Python、R。其中Scala、Python和R shells支持交互式操作。
Spark通过提供80多种高水平的操作,使得编写并行apps很容易。
Spark提供了一堆包含SQL、DataFrames、MLlib的库为机器学习、Graphx和Spark Streaming,并且支持在一个程序中无缝的混合使用。
Spark可以在Hadoop、Mesos、Standalone和cloud上运行,数据存储在HDFS、Cassandra、HBase、Hive以及任何Hadoop数据源。另外,其可以在EC2、Hadoop YARN和Mesos上以单节点的模式运行。
摘自:http://spark.apache.org/
1 0
- spark 概述
- Spark概述
- Spark概述
- Spark概述
- Spark概述
- Spark概述
- Spark概述
- Spark概述
- Spark概述
- spark概述
- Spark 概述
- Spark概述、Spark特点
- spark 概述与安装
- Spark集群模式概述
- 1.spark概述
- 1. spark ML概述
- Spark集群概述
- Spark源码走读概述
- C#-Web服务器
- poj 1112 Team Them Up! (补图+dp)
- 队列(1)
- Java图形化界面
- vim查看头文件和库
- Spark概述
- 检测是否为回文字符串 C++实现
- JavaScript中的参数传递方式
- 图像分割(Image Segmentation)
- C#-DUP
- android学习的小总结
- POJ 2138 最长路
- 2016.10.29
- C#-Socket(TCP)