001-spark生态系统介绍

1、Spark简介-概念

Spark是基于内存计算的大数据分布式计算框架。Spark基于内存计算，提高了在大数据环境下数据处理的实时性，同时保证了高容错性和高可伸缩性，允许用户将Spark部署在大量廉价硬件之上，形成集群。

主要特点：

分布式计算

内存计算

容错

多计算范式

Spark于2009 年诞生于加州大学伯克利分销AMPLab。目前，已经成为Apache软件基金会旗下顶级开源项目。

在“One Stack to rule them all”思想的引领下，Spark成功的使用Spark SQL、Spark Streaming、MLLib、GraphX近乎完美的解决了大数据中Batch Processing、Streaming Processing、Ad-hoc Query等三大核心问题。

2、Spark简介-历史

2009年：Spark诞生于AMPLab

2010年：开源

2013年6月：Apache孵化器项目

2014年2月：Apache顶级项目

Now：Contribututors>450人

3、Spark简介-BDAS生态系统

3.1 BDAS(the Berkeley Data Analytics Stack) 伯克利数据分析栈

3.2 Spark Ecosystem  

Spark成功的使用Spark SQL、Spark Streaming、MLLib、GraphX近乎完美的解决了大数据中Batch Processing、Streaming Processing、Ad-hoc Query等三大核心问题，更为美妙的是在Spark中Spark SQL、Spark Streaming、MLLib、GraphX四大子框架和库之间可以无缝的共享数据和操作。