薪资差一倍！Spark真的那么优于Hadoop吗？

薪资差一倍！Spark真的那么优于Hadoop吗？

 

这几天在网上看到这么一个问题，贵州的大数据工程师年薪都40万不止？

一下勾起了我的兴趣，今天就来简单分析下，到底是什么原因。贵州如今是大数据之都，而贵州大数据背后是马云的阿里云。

 

先来看看 马云爸爸的阿里巴巴的级别定义：

•阿里薪资结构：一般是12+1+3=16薪

•年底的奖金为0-6个月薪资，90%人可拿到3个月

 

看看阿里巴巴大数据工程师的对应薪资年薪。

                           

也就是说做到P7或者P8这个级别就差不多达到年薪40W的范围了。

 

再来看看，成为阿里的大数据工程师需要具备什么条件：

 

呵呵，内行的朋友应该看出来了：在阿里，只有存储数据部分仍然依赖Hadoop（分布式文件系统HDFS），而整个数据的分布式处理模块均以来Spark完成。当然，有的朋友会说：这很正常，阿里这种数据规模的企业，Spark可以弥补MapReduce读取100GB的数据或几个TB的数据时的缺陷。但这就可以构成你和40W年薪的差距吗？在这里，我来把Spark的优势彻底说清楚。

 

 

什么是Spark?

Spark 是 Apache 高级项目里面较火的大数据处理的计算引擎，包括离线计算或交互式查询、数据挖掘算法、流式计算以及图计算等。

与 Mapreduce 相比，Spark 具备 DAG 执行引擎以及基于内存的多轮迭代计算等优势，在SQL 层面上，比Hive/Pig引入了更多关系数据库的特性，以及内存管理技术。

Spark作为新一代大数据计算引擎，因为内存计算的特性，具有比hadoop更快的计算速度。本教程涉及Spark基础概念RDD，KeyValueRDD，RDD的常用Transformation和Action操作等。

 

 

Spark为何优于 Hadoop

 

操作更简单

相比MapReduce来讲，Spark操作简单，甚至可以说非常便捷。即使对于一个简单逻辑或算法，MapReduce也需要100行代码；但使用Spark，一个简单逻辑，几行代码就可以完成。这就引出了一个关键因素，叫做用途广泛。许多对于MapReduce来讲不可能完成的机器学习或图表问题的高级算法，都可以由Spark完成。这让Spark的采用率相当高。

MapReduce没有交互模块。尽管Hive和Pig包含命令行接口，这些系统的性能仍然依赖MapReduce。MapReduce对于批处理仍然十分受用。

Spark 在内存中处理数据，而MapReduce却将处理后的数据传送回磁盘。所以Spark将优于MapReduce。

Spark占用大量内存。如果我们运行Spark的同时运行其他占用内存的服务，其性能可能大打折扣。但是，我们可以有把握地说，Spark在迭代处理方面占上风（需要多次传递同一数据）。

 

运行成本更低

这两者在计算能力、磁盘和网络环境方面的硬件要求都十分相似。内存越大，Spark表现越好。这两者都使用商品服务器。

MapReduce编程费力，市场上这方面的专家并不多。即便有为数不多的Spark专家，但这也仅仅是因为Spark是初创产品。所以学习Spark编程比MapReduce要容易的多。

脱离了Hadoop 的Spark

运行Spark其实并不需要Hadoop的支持。如果我们没有从分布式文件系统（HDFS）中读取数据，Spark也可以自行运行。Spark也可以从诸如S3, Cassandra等其他存储中读写数据。在这种架构下，Spark可在独立模式下运行，并不需要Hadoop 组件的支持。

 

产品使用快捷

近期研究表明在产品中使用Spark的用户激增。许多用户同时运行Spark和Cassandra, 或者Spark和Hadoop ，又或者在Apche Mesos上运行Spark. 尽管Spark用户数量有所增长，但并没有在大数据社区造成恐慌。MapReduce使用率可能会下降，但具体降幅未知。

许多人预测Spark会促使另一种更优质堆栈的发展。但这种新型堆栈可能会与Hadoop 及其软件包生态系统非常相似。

Spark的最大优点是简洁。但它并不会彻底消灭MapReduce，因为使用MapReduce依然大有人在。即便Spark成为大赢家，除非研发新分布式文件系统，我们将同时使用Hadoop 和Spark处理数据。

 

 

——那么“如何去学习SPARK技术呢？别跟我说花1W多去报培训班。”

——当然不，你先要做的只是不花一分钱，加入宅客学院Spark大数据微信交流群。

加群的好处：

1.     与Spark大数据导师、大咖、业内同行交流学习。

2.     享受独一无二的宅客学院Spark大数据课程拼团价格。

宅客学院《Spark 大数据管理与开发》直播班已经开启报名，花一两千元收获年薪几十万。以最低的成本，学最值钱的技术。

 

群内价更低！

长按上图二维码进群、拉同学好友进群、想办法让更多的人进群。

12月4日24点前，进群人数越多，课程群内价越低，100人进群即可半价！：

 

选择本课程的三大理由

1. 深入浅出的讲解scala语言的语法和特征，并应用scala语言，讲解spark生态系统下的大数据开发技术。

2. 讲授高阶函数编程，使得你可以在胜任项目中的开发之外，还可以读懂Spark源码，为以后研究Spark架构和自己编写架构奠定扎实的基础。 

3. 在Scala语言的基础上，深入理解Spark常用算子和高级算子的使用场景，使得学生在以后的开发过程中能够灵活运用Spark核心技术。 

 

学完有哪些收获

      1.  熟练使用Spark， 理解Spark原理，熟知Spark内幕

      2.  掌握Spark 2.0新增特性并熟练使用

 

 

主讲老师

 

赵强，Oracle(中国)有限公司原厂高级技术顾问

13年IT行业从业经历，清华大学软件工程专业毕业，曾在摩托罗拉、北电网络、BEA等世界500强公司担任高级软件架构师或咨询顾问，现任Oracle(中国)有限公司原厂高级技术顾问，在甲骨文公司服务年限已超过10年；大数据专家、Oracle数据库专家和Weblogic中间件专家；受聘于多家知名培训和咨询公司，培训学员已超过万人。

 

 

开课时间

2017年12月5日

 

学习方式

在线直播，共30小时

每周3次（周二、周四晚上20:00-22:00及周日下午14：00-18：00）

直播后提供录制回放视频

可在线反复观看，有效期1年

课程大纲

第一篇：Scala编程语言

• Scala基础语法

• Scala基础语法(续)

• Scala面向对象基础语法

• Scala面向对象高级语法

• Scala函数式编程

• Scala高级函数式编程

• Scala高级特性

• Scala的Actor编程

第二篇：Spark Core

一、什么是Spark？（官网：http://spark.apache.org）

二、Spark的体系结构与安装部署

三、执行Spark Demo程序

四、Spark运行机制及原理分析

五、Spark的算子

六、Spark RDD的高级算子

七、Spark基础编程案例

第三篇：Spark SQL

一、Spark SQL简介

二、使用DataFrames和Datasets

三、使用Spark SQL操作数据源

四、性能调优

五、Spark SQL案例分析

第四篇：Spark Streaming

一、Spark Streaming课程概述

二、Spark Streaming的原理和DStream的使用

三、Spark Streaming的性能优化

四、集成Spark Streaming

 

进群查看详细大纲

 

 

关于宅客

宅客学院——中软国际（香港上市公司，股票代码354）旗下教育品牌

宅客学院是中软国际人才战略的核心组成部分之一，承担着集团发展过程中人才储备和培养的任务，是软件及外包业务快速发展的重要人才支撑平台。中软国际大数据业务部拥有超过1,000名专业化、各级大数据和商业智能人才，核心团队成员在数据整合及分析领域，具有15年的咨询和实施经验的积累，是目前国内积累时间最长、经验实力最雄厚的专业大数据咨询和实施服务团队。

15年企业级数据分析和大数据经验

1,000名大数据业务线专家

联盟企业超过3万家

累计推荐学生5万人

 

 

长按下图二维码进入Spark微信交流群