Spark的简介和在大数据领域的地位

spark的github地址--------->https://github.com/apache/spark

spark官网地址---------------〉http://spark.apache.org/

Spark是什么

Spark是一种通用的大数据计算框架。类似于传统的大数据处理技术例如:hadoop得MR、hive执行引擎，以及storm历史实时计算引擎。

spark的几大特点

Speed【速度快】

Run programs up to 100x faster than HadoopMapReduce in memory, or 10x faster on disk.

Spark has an advanced DAG execution enginethat supports cyclic data flow and in-memory computing.

Ease of Use【易用】

Write applications quickly in Java, Scala,Python, R.

Spark offers over 80 high-level operatorsthat make it easy to build parallel apps. And you can use it interactively fromthe Scala, Python and R shells.

Generality【通用】

Combine SQL, streaming, and complexanalytics.

Spark powers a stack of libraries includingSQL and DataFrames, MLlib for machine learning, GraphX, and Spark Streaming.You can combine these libraries seamlessly in the same application.

Runs Everywhere【不同模式都能运行】

Spark runs on Hadoop, Mesos, standalone, orin the cloud. It can access diverse data sources including HDFS, Cassandra,HBase, and S3.

You can run Spark using its standalonecluster mode, on EC2, on Hadoop YARN, or on Apache Mesos. Access data in HDFS, Cassandra,HBase, Hive, Tachyon, and any Hadoop data source.

此外

Spark包含了大数据领域常见的各种计算框架：比如SparkCore用于离线计算，Spark SQL用于交互式查询，Spark Streaming用于实时流式计算，Spark MLlib用于机器学习，SparkGraphX用于图计算。

     Spark主要用于大数据的计算，而Hadoop以后主要用于大数据的存储（比如HDFS、Hive、HBase等），以及资源调度（Yarn）。

     Spark+Hadoop的组合，是未来大数据领域最热门的组合，也是最有前景的组合！

Spark的介绍

Spark，是一种"One Stackto rule them all"的大数据计算框架，期望使用一个技术堆栈就完美地解决大数据领域的各种计算任务。Apache官方，对Spark的定义就是：通用的大数据快速处理引擎。(Apache Sparkis a fast and general-purpose cluster computing system)

     Spark使用Spark RDD、Spark SQL、Spark Streaming、MLlib、GraphX成功解决了大数据领域中，离线批处理、交互式查询、实时流计算、机器学习与图计算等最重要的任务和问题。

     Spark除了一站式的特点之外，另外一个最重要的特点，就是基于内存进行计算，从而让它的速度可以达到MapReduce、Hive的数倍甚至数十倍！

     现在已经有很多大公司正在生产环境下深度地使用Spark作为大数据的计算框架，包括eBay、Yahoo!、BAT、网易、京东、华为、大众点评、优酷土豆、搜狗等等。

     Spark同时也获得了多个世界顶级IT厂商的支持，包括IBM、Intel等

Spark的整体架构

Spark的历史沿革

2009年，Spark诞生于伯克利大学的AMPLab实验室。最出Spark只是一个实验性的项目，代码量非常少，属于轻量级的框架。

2010年，伯克利大学正式开源了Spark项目。

2013年，Spark成为了Apache基金会下的项目，进入高速发展期。第三方开发者贡献了大量的代码，活跃度非常高。

2014年，Spark以飞快的速度称为了Apache的顶级项目。

2015年~，Spark在国内IT行业变得愈发火爆，大量的公司开始重点部署或者使用Spark来替代MapReduce、Hive、Storm等传统的大数据计算框架。

Spark的特点

速度快

Spark基于内存进行计算（当然也有部分计算基于磁盘，比如shuffle）

容易上手开发

Spark的基于RDD的计算模型，比Hadoop的基于Map-Reduce的计算模型要更加易于理解，更加易于上手开发，实现各种复杂功能，比如二次排序、topn等复杂操作时，更加便捷。

超强的通用性

Spark提供了Spark RDD、Spark SQL、SparkStreaming、Spark MLlib、Spark GraphX等技术组件，可以一站式地完成大数据领域的离线批处理、交互式查询、流式计算、机器学习、图计算等常见的任务。

集成hadoop

Spark并不是要成为一个大数据领域的“独裁者”，一个人霸占大数据领域所有的“地盘”，而是与Hadoop进行了高度的集成，两者可以完美的配合使用。Hadoop的HDFS、Hive、HBase负责存储，YARN负责资源调度；Spark复杂大数据计算。实际上，Hadoop+Spark的组合，是一种“double win”的组合。

极高的活跃度

Spark目前是Apache基金会的顶级项目，全世界有大量的优秀工程师是Spark的committer。并且世界上很多顶级的IT公司都在大规模地使用Spark。

大数据概览之spark的地位

详情查看官网  http://spark.apache.org/