[置顶]01_Hadoop学习笔记内容说明
来源:互联网 发布:梦幻邮箱数据 编辑:程序博客网 时间:2024/06/05 15:35
Hadoop学习笔记内容说明_00
1、 观看云帆大数据梦琪老师的《企业级 Hadoop 1.x 应用开发基础课程》2014年4月左右版本。
2、 博客是在梦琪老师的随堂笔记上改动的,方便的是自己以后回顾学习,也或许能给需要改方面帮助的同行提供些许帮助,在此非常感谢梦琪老师。
3、 本系列是在CentOS6.4+hadoop1.2.1上实验通过的。
4、 由于本人刚刚接触,对Linux也只是初步了解,实验过程中遇到比较奇葩的问题,也在此博客写出。
5、 云帆大数据官网公布了一些公开的视频资源,大家可以前往学习。
第一个专题
Linux 系统环境搭建和基本命令使用:上课使用虚拟机,CentOS 6.4 64 位操作系统,基本命令要 熟悉,一次课时。
第二至五个专题(Hadoop 1.x 系列的核心,基础)
Hadoop 本地(单机)模式和伪分布式模式安装:Hadoop 1.x 理论知识,架构体系,安装模式, 认识 HDFS 文件系统,运行 MapReduce 程序 WordCount,如何查看 Hadoop 源码,Hadoop 1.x 包的 结构等等,三次课时。
HDFS 的体系结构、Shell 操作、Java API 使用和应用案例:深入讲解 HDFS 相关内容,包括 HDFS 架构与设计,优缺点,如何存储文件;如何访问 HDFS 文件系统,HDFS Shell 命令行、JAVA API 方式 方式;讲解一些企业中的小案例,比如小文件存储处理、类似百度网盘的分析(使用 HDFS)等等,三到四次课时。
MapReduce 入门、框架原理、深入学习和相关 MR 面试题:深入讲解 MapReduce,架构体系,执 行流程,MapReduce 执行细节,讲解 MapReduce 编写(WordCount):数据类型、输入输出格式、 Combine、Partitioner、Sort 和 Group,插入企业中 MapReduce 简单使用案例,七到八次课时。
Hadoop 集群安装管理、NameNode 安全模式和 Hadoop 1.x 串讲复习:属于 Hadoop 运维工程师 的课程,集群的安装部署(建立在伪分布式安装基础上)、NN SafeMode、Hadoop 管理员命令的使用。 添加节点(机器)、卸载节点(机器),监控 Hadoop 集群,三次课时。
第六至十个专题(Hadoop 1.x 生态系统,HBase 和 Hive)
HBase 入门、存储原理、Shell 命令、Java API 操作和应用案例:分布式数据库(NoSql 数据库),
类似于 Oracle 数据库,存储几十亿行数据,上万列数据。准实时查询,与 MR 很好的集成,进行计算 处理数据。体系架构、访问(Shell 和 API)、MapReduce、管理,深入的讲解,四次课时左右。
Zookeeper 集群安装、回顾 HBase 和 MySql 5.1 安装与基本使用:主要为 HBase 和 Hive 基础理论 讲解。Zookeeper 协调 HBase,MySql 作为 Hive 元数据管理。两次课时。
Hive 安装、配置元数据、HiveQL 语句学习和应用案例
串讲复习 HDFS、MapReduce、HBase、Hive 和 Sqoop 安装与数据导入导出:整体复习,串讲 Hadoop、 HBase 和 Hive,在企业中如何使用,如何考虑,结合三者进行考虑。Sqoop 用于数据的导入导出,将 关系型数据库中的数据与 HBase 和 Hive 之间的相互导入导出。三次课时。
答疑总结、任务调度 Azkaban 安装和使用:进行整个 Hadoop 1.x 课程的答疑,与项目的讲解, 讲 解任务调度框架,如何管理 Job、管理 Hive。
第十一个专题
Hadoop 2.2.0 介绍、集群安装和商业版 Hadoop 介绍:Hadoop 2.X 介绍,Hadoop 2.4.0 为基础讲解, 理论讲解:与 Hadoop 1.x 不同;优点在哪里。安装:分布式安装,HDFS 和 MapReduce 程序测试。 介绍商业版的 Hadoop:对 Apache 开源 Hadoop 版本的包括,CDH Hortonworrsk,Interl,华为,IBM; 两次课时。
第十二个专题
Cloudera Hadoop 介绍、CM4.8 安装和部署 CDH4.5:商业版 hadoop CDH 的介绍,以及管理工具
CM 的安装,两次课时。
- [置顶]01_Hadoop学习笔记内容说明
- 终生学习的内容(置顶)
- [置顶] 【Git 学习笔记】 置顶索引
- 机器学习_hadoop搭建
- 机器学习_hadoop + python
- [置顶]live555学习笔记8
- [置顶] ZF框架学习笔记
- 01_hadoop发展简史
- 机器学习_hadoop探究_wordcount
- Hadoop学习9_hadoop常用命令
- [置顶]C++学习笔记之模板篇
- [置顶]学习笔记:HTML+CSS 基础知识
- [置顶]学习笔记:JavaScript-入门篇
- [置顶]学习笔记:JavaScript-进阶篇
- 置顶说明篇
- 机器学习_hadoop探究_文件系统
- SRILM学习笔记说明
- 计算机网络学习笔记说明
- 026_默认的MapReduce Driver(最小驱动问题)
- springframework(六)AOP之静态代理
- 027_编写MapReduce的模板类Mapper、Reducer和Driver
- 028_MapReduce中的计数器Counter的使用
- 虚拟机(VMWare)NAT 模式,配置静态IP上网的问题
- [置顶]01_Hadoop学习笔记内容说明
- 14. Longest Common Prefix
- lightoj-1381 - Scientific Experiment dp
- springframe(七)AOP之动态代理
- HDOJ 2027 统计元音
- 点击相应的按钮出现相应的页面的实现
- Struts2中的值栈
- 【POJ】[1423]Big Number
- jquery基础篇(二)— —属性与样式