Hadoop2.x的学习路线

来源:互联网 发布:java download failed 编辑:程序博客网 时间:2024/05/17 06:33
正如人类社会的发展,计算机的计算开始了一场计算框架蜕变的运动,由“高富大”走向了“屌丝”计算的演变过程,而hadoop在这演变的过程中充当了急先锋的角色。从接触hadoop2.x开始,已经有很长一段时间,总结一下自己的学习路线:

1:原理篇
HDFS原理(计划中)
MapReduce原理(计划中)
YARN原理(计划中)

2:运维
hadoop2.2.0测试环境搭建
Hadoop2.2.0生产环境模拟 
hadoop2.2.0源码编译(ubuntu) 
hadoop2.2.0源码编译(CentOS6.4)  
hadoop2.2.0源码编译(eclipse)
hadoop的优化之CentOS篇(计划中)
hadoop优化之HDFS篇(计划中)
hadoop优化之MapReduce篇(计划中)
hadoop优化之YARN篇(计划中)

3:HDFS
在HDFS方面,hadoop2.x比hadoop1.x有了很大的进展,主要是解决了1.x的单点故障和NN的负载,解决方案就是HA和Federation。
HDFS HA系列实验之一:基础环境搭建 
HDFS HA系列实验之二:HA+JournalNode+zookeeper  
HDFS HA系列实验之三:HA+NFS+zookeeper
HDFS HA系列实验之四:HA+Federation
HDFS HA系列实验之五:client 配置
HDFS HA系列实验之六:Federation之增减NN和Balancer  
HDFS HA系列实验之七:NN故障转移处理 
HDFS HA系列实验之八:机架感知(计划中)
HDFS HA系列实验之经验总结 

4:YARN
YARN的提出使得Hadoop2.x更像是一个操作平台,扩展了hadoop的应用范围
Spark原理(计划中)
Spark安装和测试(YARN模式)
Storm原理(计划中)
Storm安装和测试(计划中)
Tez原理(计划中)
Tez安装和测试(计划中)

5:老当益壮的MapReduce
尽管MapReduce的计算模型有很多缺点,但在海量数据的批量处理上还是有其存在价值,这里陈列一系列场景模拟和MR代码解决方案
MapReduce之helloworld(计划中)
单表关联和多表关联(计划中)
云存储模拟(计划中)

6:hadoop生态环境
hbase之学习路线(计划中)
hive之学习路线(计划中)
mahout之学习路线(计划中)
spark之学习路线(计划中)

7:开发和源码研读
eclipse开发hadooop2.2.0程序


本篇为指导性文章,将持续补充和更新......
0 0
原创粉丝点击