hadoop 学习笔记(hadoop架构)
来源:互联网 发布:淘宝收货人姓名大全 编辑:程序博客网 时间:2024/05/14 14:53
如下图所示:
client —用户
switch—交换机
rack—机架
namenode—名称节点,是hdfs(分布式文件系统)的守护程序,起到一个总控制的作用,记录文件是如何分割成数据块以及这些数据块是存在哪些节点上的。对内存和io进行集中管理,它是一个单点,所以一旦namenode崩溃,整个hadoop将崩溃。用户是先通过访问namenode,来明确文件所在的数据节点位置。(核心的功能)
secondlynamenode—辅助名称节点,是namenode的后备,namenode会与其进行通讯,将文件信息备份到secondlynamenode上,减少namenode的压力,但必须手动修补集群崩溃的问题,所以namenode还是单点形式的。
datanode—负责文件的具体读写,数据的存放。
jobtracker—处理用户提交的作业、将作业切割成若干个task(程序)分配到datanode(数据)里。重启失败的task,释放空间。与namenode相同,在一个集群里也只有一个。
tasktacker—任务跟踪器,与datanode结合(程序+数据),管理各自节点的tasktacker,每个节点只有一个tasktacker但可以执行多个jvm用于执行mapreduce任务。它会与jobtacker交互。
master—运行namenode、secondlynamenode、jobtacker的机器,一般会namenode、jobtacker一台机器,secondlynamenode一台机器。
slave—运行tasktacker、datanode。
0 0
- hadoop 学习笔记(hadoop架构)
- Hadoop学习笔记 --- HDFS架构笔记
- Hadoop学习笔记 --- YARN架构学习
- hadoop学习笔记四 -- hadoop集群HA架构设计
- Hadoop学习笔记 --- hadoop1.0 与 hadoop 2.0架构图
- C# Hadoop学习笔记(二)—架构原理
- Hadoop学习笔记(九)HDFS架构分析
- Hadoop学习笔记(1):概念和整体架构
- Hadoop学习笔记之:HDFS体系架构
- hadoop学习笔记(3) 初识Hadoop
- hadoop学习笔记(3) 初识Hadoop
- hadoop学习笔记(3) 初识Hadoop
- hadoop 学习笔记(一)hadoop 数据流
- Hadoop学习笔记(一)初识Hadoop
- 【hadoop】Hadoop学习笔记(四):Hadoop中的streaming
- Hadoop学习笔记-Hadoop初识
- hadoop学习笔记-hadoop起源
- hadoop学习笔记 Hadoop进程
- Action委托
- 黑马程序员------C语言中sizeof运算符的使用
- 黑马程序员——银行业务调度系统
- 【Linux】安装DNS域名解析服务
- mac 下配置php环境
- hadoop 学习笔记(hadoop架构)
- Android Notification的简单应用
- CSS (一)
- 众里寻她千百度,那人却在优衣库。
- SOA&RESTful软件架构
- Android Studio 问题总结
- 什么是JSON格式
- Android开发数据库之LitePal用法
- IDO分享 | 如何在centos下安装OpenCMS