初识Hdoop
来源:互联网 发布:永宏编程手册 编辑:程序博客网 时间:2024/05/29 07:53
1.什么是Haoop?
Hadoop是一个由Apache基金会所开发的分布式系统基础架构
主要用以解决,海量数据的存储和海量数据的分析计算问题。
Hadoop的组成:
- HDFS:一个高可靠、高吞吐量的分布式文件系统。
- MapReduce:一个分布式的离线并行计算框架。
- Yarn:作业调度与集群资源管理的框架。
- Common:支持其他模块的工具模块。
1.HDFS包含:
1)NameNode节点:存储文件的元数据(元数据就用于管理数据的数据),如文件名,文件目录结构,文件属性(生成时间、副本数、文件权限),以及每个文件的块列表和块所在的DataNode等。
2)DataNode节点:在本地文件系统存储文件块数据,以及块数据的校验和。
3)SecondaryNameNode节点:用来监控HDFS状态的辅助后台程序,每隔一段时间获取HDFS元数据的快照。
2.MapReduce包含Map和Reduce两个阶段。
1)Map阶段并行处理输入的数据
2)Reduce阶段对Map的阶段的输出结果进行处理汇总
3.Yarn包含:
1)ResourceManager:处理客户端请求、启动/监控ApplicationMaster、监控NodeManager、资源分配与调度;
2)NodeManager:单个节点上的资源管理、处理来自ResourceManager的命令、处理来自ApplicationMaster的命令;
3)ApplicationMaster:数据切分、为应用程序申请资源,并分配给内部任务、任务监控与容错。
4)Container:对任务运行环境的抽象,封装了CPU、内存等多维资源以及环境变量、启动命令等任务运行相关的信息。
阅读全文
0 0
- 初识Hdoop
- hdoop
- Hdoop的核心思想
- hdoop 文本数据按列去重
- Hdoop 3.0 分布式配置
- hadoop是什么?hdoop能作什么?
- Hdoop实战学习之单表关联程序分析
- Mac系统下, Hdoop 2.6.2 + Hive 2.0.1 配置
- 记录历史时刻:hdoop完全分布式安装配置完成
- Mac系统下, Hdoop 2.6.2 + Hive 2.0.1 配置
- 初识
- 初识
- 初识
- (Hdoop Distributed File System )分布式文件系统原理;HDFS文件系统基本架构和运行机制
- Hdoop 启动:localhost: Error: JAVA_HOME is not set and could not be found.
- js初识,博客初识
- TableLayout初识初识
- 初识Blog
- redis初理解
- caffe加层
- Linux命令详解-sar
- PAT a1124题解
- PAT a1125题解
- 初识Hdoop
- 使用Java实现多线程下载断点续传功能案例
- PAT a1126题解
- python : trans position cipher
- python3编码转换
- PAT a1127题解
- unity3D学习之声音的采集与处理-audio菜鸟笔记1
- PoEdu_Python_Lesson009_类的基础用法、使用dump写数据到json文件的注意点
- 1065. A+B and C (64bit) (20)