你为什么学习Hadoop
来源:互联网 发布:网络剧发行步骤 编辑:程序博客网 时间:2024/06/05 04:06
记得11年的时候在百度知道搜Hadoop相关的问题每天只有零星几个,那会我基本每天都要去看看有没我能回答的问题。现在去百度知道搜索Hadoop已经有800多万个问题。12年的时候我在百度空间发了一篇博文<<给hadoop新手的一封信>>可通过左下角阅读原文进行查看。两年来陆续收到一些同学的来信。因工作原因帮助了一些同学,也忽略了一些同学,当年的新手也成为现在Hadoop的实践者和先知者,今天主要谈谈现在关于Hadoop的工作岗位都有哪些,希望对现在初学者能有一些帮助。
Hadoop是什么?hadoop是一个存储系统+计算框架的!主要解决海量数据存储与计算的问题。Hortonworks首席技术官Eric Baldeschwieler在2012年的Hadoop和大数据峰会上提到过:2015年,全球一半数据中都将通过Hadoop来处理。我们已经看到越来越多的数据都在往Hadoop上迁移。
Hadoop相关的工作目前大致可以分为三类:
1.Hadoop应用:主要工作是编写MapReduce、pig、hive等脚本,进行数据分析或者数据挖掘,Hadoop对其只是个工具,实现业务仍然是主要目标。从事这方面工作你至少要懂一门编程语言,如java、python等。现在大部分的Hadoop书籍,培训机构都是往这方面培养。你只需要对Hadoop的框架有一个基本的认识,理解mapreduce编程模式,掌握一些调优技巧,那么你也就掌握了这门工具。从wordcount入手吧!推荐入门书籍<<Hadoop权威指南>>,<<Hadoop实战手册>>。
2.Hadoop运维:主要负责集群的搭建,各种配置参数调优,一般故障处理,负责整个集群的稳定运行,这部分人才相对比较稀缺,也是用人单位非常需要的。从事这部分工作的同学理论上他可以不懂java,性格上要求做事比较严谨。如果你是比较喜欢钻研,你可以自己通过实验获取一些调优的方案,当然你也可以通过跟业界大牛交流获得一些方案。这些都不重要,重要的是你遇到问题能够很快的找到解决方案。这部分的工作经验就是靠积累出来的,跟你运维的集群规模大小也有关系。若有机会去大公司大集群进行这方面的工作,你的成长会很快。你若想通过看几个帖子的结论去蒙混过关,很容易被识破的。推荐书籍<<pro hadoop>>、Hadoop官网。
3.Hadoop框架改造:不是所有的企业都设立这样的岗位,主要工作就是对Hadoop框架本身进行打补丁,改BUG,研究新特性,规划版本升级等。这方面就需要你深入Hadoop源码,时刻关注Hadoop官网,了解最新的版本的特性,把握Hadoop未来的发展方向。推荐书籍<<Hadoop技术内幕丛书>>。
这三类的工作是可以完全独立开来的,人的精力是有限的,每个人的性格兴趣也是不一样的,搞清楚你喜欢做的是哪块,再有的放矢去学习。
祝大家都能找到自己喜欢的那个岗位!
- 你为什么学习Hadoop
- (转载)你为什么学习Hadoop
- hadoop学习笔记(为什么hadoop的出现)
- 为什么你应该学习编程?
- Haskell语言为什么值得你去学习
- 生活之你为什么不学习
- 为什么你该开始学习编程了?
- 为什么你的学习总是无效?
- 为什么你该开始学习编程了?
- 为什么你该开始学习编程了?
- 为什么你应该开始学习编程了?
- 为什么你该开始学习编程了?
- [学习]_转帖:为什么你应该写博客
- 九个理由告诉你,为什么要学习SQL
- HR,你的员工为什么痛恨学习?(上篇)
- 告诉你个人站长为什么要学习思维导图
- 为什么要用hadoop
- hadoop为什么出现
- Android的知识点(待补充)
- Xcode6中添加pch文件
- Centos6.5 编译安装php扩展curl
- JQuery UI 控件随笔
- Java普通类获取Spring XML中Bean的方法总结
- 你为什么学习Hadoop
- Qt5 文件读写
- MFC 获取文件和文件夹的路径
- Linux GPIO驱动分析
- 与IT技术相关的微信公众号
- java 获取 hbase数据 springdatahadoop -- hbasetemplate
- 算法学习之插入算法
- UIView 和Calyer的区别
- JVM GC FINALIZE