Hadoop企业级完整训练:HDFS&MapReduce&HBase&Hive&Zookeeper&Pig&Project)
来源:互联网 发布:c语言中auto是什么意思 编辑:程序博客网 时间:2024/05/01 18:51
Hadoop是云计算的事实标准软件框架,是云计算理念、机制和商业化的具体实现,是整个云计算技术学习中公认的核心和最具有价值内容。
如何从企业级开发实战的角度开始,在实际企业级动手操作中深入浅出并循序渐进的掌握Hadoop是本课程的核心。
云计算学习者的心声:
如何从企业级开发的角度,不断动手实际操作,循序渐进中掌握Hadoop,直到能够直接进行企业级开始,是困惑很多对云计算感兴趣的朋友的核心问题,本课程正是为解决此问题而生,学习者只需要按照一步步的跟着视频动手操作,即可完全无痛掌握Hadoop企业级开发。
同时本课程会对Hadoop的核心源码进行剖析,使学习者具备一定的修改Hadoop框架的能力,从而能够根据实际的业务情况来打造自己的框架。
Hadoop领域4个开创先河
1,全程覆盖Hadoop的所有核心内容
2,全程注重动手实作,循序渐进中掌握Hadoop企业级实战技术
3,在授课的过程中会对Hadoop的核心源码进行深度剖析,使得学员具有改造Hadoop框架的能力
4,具备掌握Hadoop完整项目的分析、开发、部署的全过程的能力
---讲师:
王家林 :(联系邮箱18610086859@126.com 电话:18610086859 QQ:1740415547 微信号:18610086859)
Spark亚太研究院院长和首席专家,中国目前唯一的移动互联网和云计算大数据集大成者。
在Spark、Hadoop、Android等方面有丰富的源码、实务和性能优化经验。彻底研究了Spark从0.5.0到0.9.1共13个版本的Spark源码,并已完成2014年5月31日发布的Spark1.0源码研究。
Hadoop源码级专家,曾负责某知名公司的类Hadoop框架开发工作,专注于Hadoop一站式解决方案的提供,同时也是云计算分布式大数据处理的最早实践者之一;
Android架构师、高级工程师、咨询顾问、培训专家;
通晓Spark、Hadoop、Android、HTML5,迷恋英语播音和健美;
致力于Spark、Hadoop、Android、HTML5的软、硬、云整合的一站式解决方案;
超过10本的IT畅销书作者;
Total Hadoop Professional
培训对象
1,对云计算、分布式数据存储于处理、大数据等感兴趣的朋友
2,传统的数据库,例如Oracle、MaySQL、DB2等的管理人员
3,Java开发者
4,网站服务器端的开发人员
参加课程基础要求
对云计算有强烈的兴趣,能够看懂基本的Java语法。
培训后的目标能力
直接上手Hadoop工作,具备直接胜任Hadoop开发工程师的能力和系统管理员的能力。
培训技能目标
• 彻底理解Hadoop 代表的云计算实现技术的能力
• 具备构建并驾驭Hadoop集群能力
• 具备修改Hadoop框架的能力
• 具备开发自己网盘的能力
• 具备修改HDFS具体源码实现的能力
• 从代码的角度剖析MapReduce执行的具体过程并具备开发MapReduce代码的能力
• 具备掌握Hadoop如何把HDFS文件转化为Key-Value让供Map调用的能力
• 具备掌握MapReduce内部运行和实现细节并改造MapReduce的能力
• 具体Hadoop企业管理员的实际能力
• 具备理解并通过命令行和Java两种方式操作ZooKeeper的能力
• 具备掌握HBase企业级开发和管理的能力
• 具备掌握Pig企业级开发和管理的能力
• 具备掌握Hive企业级开发和管理的能力
• 具备使用Sqoop自由转换传统关系型数据库和HDFS中数据的能力
• 具备使用Flume收集和管理分布式日志的能力
• 具备掌握Hadoop完整项目的分析、开发、部署的全过程的能力
培训职业目标
• Hadoop工程师,能够开发任意复杂程度的Hadoop分布式应用
• Hadoop管理员,能够构建并管理Hadoop集群
• Hadoop框架源码研究和修改的能力
• Hadoop完整项目的分析、开发、部署的全过程的能力
培训内容
时间
内容
备注
第一天
第1个主题:Hadoop三问(彻底理解Hadoop)
1、 Hadoop为什么是云计算分布式大数据的事实开源标准软件框架?
2、Hadoop的具体是如何工作?
3、Hadoop的生态架构和每个模块具体的功能是什么?
第2主题:彻底掌握HDFS(具备开发自己网盘的能力)
1、HDFS体系架构剖析
2、NameNode、DataNode、SecondaryNameNode架构
3、保证NodeName高可靠性最佳实践
4、DataNode中Block划分的原理和具体存储方式
5、修改Namenode、DataNode数据存储位置
6、使用CLI操作HDFS
7、使用Java操作HDFS
第3主题:彻底掌握HDFS(具备修改HDFS具体源码实现的能力)
1、RPC架构剖析
2、源码剖析Hadoop构建于RPC之上
3、源码剖析HDFS的RPC实现
4、源码剖析客户端与与NameNode的RPC通信
第4个主题:彻底掌握MapReduce(从代码的角度剖析MapReduce执行的具体过程并具备开发MapReduce代码的能力)
1、MapReduce执行的经典步骤
2、wordcount运行过程解析
3、Mapper和Reducer剖析
4、自定义Writable
5、新旧API的区别以及如何使用就API
6、把MapReduce程序打包成Jar包并在命令行运行
时间
内容
备注
第二天
第1个主题:彻底掌握MapReduce(具备掌握Hadoop如何把HDFS文件转化为Key-Value让供Map调用的能力)
1、 Hadoop是如何把HDFS文件转化为键值对的?
2、 源码剖析Hadoop读取HDFS文件并转化为键值对的过程实现
3、 源码剖析转化为键值对后供Map调用的过程实现
第2个主题:彻底掌握MapReduce(具备掌握MapReduce内部运行和实现细节并改造MapReduce的能力)
1、 Hadoop内置计数器及如何自定义计数器
2、 Combiner具体的作用和使用以及其使用的限制条件
3、 Partitioner的使用最佳实践
4、 Hadoop内置的排序算法剖析
5、 自定义排序算法
6、 Hadoop内置的分组算法
7、 自定义分组算法
8、 MapReduce常见场景和算法实现
第3个主题:实战ZooKeeper(具备理解并通过命令行和Java两种方式操作ZooKeeper的能力)
1、ZooKeeper架构剖析及集群搭建
2、使用命令行操作ZooKeeper
3、使用Java操作ZooKeeper
第4个主题:实战HBase(具备掌握HBase企业级开发和管理的能力)
1、 HBase架构实现
2、 HBase的数据模型和存储模型
3、 使用CLI操作HBase
4、 使用Java操作HBase
5、 使用MapReduce代码向HBase中导入批量数据
时间
内容
备注
第三天
第1个主题:实战Pig(具备掌握Pig企业级开发和管理的能力)
1、 Pig架构
2、 使用Pig操作数据的内幕
3、 使用Pig实例数据
第2个主题:实战Hive(具备掌握Hive企业级开发和管理的能力)
1、 Hive架构剖析
2、 Hive在HDFS中存储实现
3、 使用MySQL作为Hive的Metastore
4、 内部表、分区表、外部表、桶表
5、 视图
6、 自定义Hive的函数
第3个主题:某知名电商Hadoop项目(具备掌握Hadoop完整项目的分析、开发、部署的全过程的能力)
通过电信商搜集用户接打电话、上网等产生的日志对用户的电话和网络行为进行分析和监控,初步贯穿前面讲解的主要内容,使大家熟悉Hadoop一个完整项目的分析、开发、部署的全过程。
- Hadoop企业级完整训练:HDFS&MapReduce&HBase&Hive&Zookeeper&Pig&Project)
- Hadoop,hbase,hive,zookeeper,mapreduce,hdfs
- 王家林最受欢迎的一站式云计算大数据和移动互联网解决方案课程 V1(20140809)之Hadoop企业级完整训练:Rocky的16堂课(HDFS&MapReduce&HBase&Hive&Zookee
- Hadoop中Zookeeper,HDFS,Hbase,Hive,Pig的概念介绍与比较
- Hadoop中Zookeeper,HDFS,Hbase,Hive,Pig的概念介绍与比较
- 大数据开源框架之一: HADOOP/MAPREDUCE HBASE HIVE PIG ZOOKEEPER
- Hadoop核心架构体系(HDFS+MapReduce+Hbase+Hive+Yarn)
- 大数据时代之hadoop(六):hadoop 生态圈(pig,hive,hbase,ZooKeeper,Sqoop)
- 大数据时代之hadoop(六):hadoop 生态圈(pig,hive,hbase,ZooKeeper,Sqoop)
- 大数据时代之hadoop(六):hadoop 生态圈(pig,hive,hbase,ZooKeeper,Sqoop)
- hadoop-2.5.0,hbase,hive,pig,sqoop,zookeeper 集群安装
- HDFS+MapReduce+Hbase+Hive
- Hadoop主要子项目介绍(Pig Zookeeper Hbase Hive Sqoop Avro Chukwa Cassandra )
- Hadoop核心架构HDFS+MapReduce+Hbase+Hive内部机理详解
- Hadoop核心架构HDFS+MapReduce+Hbase+Hive内部机理详解
- Hadoop核心架构HDFS+MapReduce+Hbase+Hive内部机理详解
- Hadoop核心架构HDFS+MapReduce+Hbase+Hive内部机理详解
- Hadoop核心架构HDFS+MapReduce+Hbase+Hive内部机理详解
- OC数据储存
- iOS学习之UIActionSheet的使用
- 创建一个directshow应用程序一
- 使用jquery隐藏和移动dom
- 二三线城市产业园区发展的机遇
- Hadoop企业级完整训练:HDFS&MapReduce&HBase&Hive&Zookeeper&Pig&Project)
- ubuntu配置skynet
- Apache shiro(2)—first Demo(web+spring+shiro)
- 认识java.security.MessageDigest 类
- 10米USB延长线制作方法
- Python data structure
- HTML5三屏合一的架构设计
- 杂
- 随机取数组,打乱数组元素