关于hadoop集群你需要知道的知识点
来源:互联网 发布:列强瓜分中国知乎 编辑:程序博客网 时间:2024/05/24 03:28
记录每天在成为大数据工程师路上的成长点滴
- 什么是job
- 什么是task
- 关于NameNode
- namespace镜像文件(namespace image)和操作日志文件(edit log)文件的作用
- 关于DataNode
- NameNode,DataNode,namespace,Edit log之间的关系
- 关于JobTracker
- 关于TaskTracker
PS:之前瞎鼓捣在实验室两台主机搭建了伪分布式hadoop集群,今天由于遇到datanode开启却无法显示等小问题搞的很头疼!想想还是要脚踏实地,要了解hadoop运行机制!
关于上述几点问题解释如下:
关于job,task
在MapReduce中,一个准备提交执行的应用程序称为job,从一个job中划分出来并运行在各个节点的工作单元称为task。关于NameNode
首先,NameNode管理文件系统的命名空间(namespace)。它维护着文件系统树及整棵树内所有的文件和目录。这些信息以两个文件形式永久保存在本地磁盘上:命名空间镜像文件(namespace image)和编辑日志文件(edit log)。NameNode也记录着每个文件中各个块所在的数据节点信息,但它并不永久保存块的位置信息,因为这些信息在系统启动时由数据节点重建。
阅读全文
0 0
- 关于hadoop集群你需要知道的知识点
- 关于Hadoop你需要知道的几件事情
- 关于 Hadoop 你需要知道的一些事项
- 关于MongoDB你需要知道的几件事
- 关于MongoDB你需要知道的几件事
- 关于MongoDB你需要知道的几件事
- 关于MongoDB你需要知道的几件事
- 关于MongoDB你需要知道的几件事
- 关于 MongoDB 你需要知道的几件事
- 关于MongoDB你需要知道的几件事
- 你需要知道的关于VPN技术
- 关于MongoDB你需要知道的几件事
- 关于MongoDB你需要知道的几件事
- 关于git你需要知道的
- 关于MongoDB你需要知道的几件事
- 关于MongoDB你需要知道的几件事
- 关于Weex你需要知道的一切
- 关于AnsycTask你需要知道的几个问题
- 浅谈C语言中常用函数
- 热修复框架Tinker最完整讲解(01)——集成之路
- LTE学习笔记-PHY-PHY层概述
- [leetcode]42. Trapping Rain Water
- Git新建分支出现fatal: Not a valid object name: 'master'错误
- 关于hadoop集群你需要知道的知识点
- C++深浅拷贝
- Java 线程的同步(synchronized)与死锁
- 数据分析(入门篇)-第二章-玩转数据分析-Part5(Excel数据分析工具库-相关分析)
- bzoj 2118 墨墨的等式 dijkstra
- 奇偶校验 累加和校验 CRC校验
- stm8s开发(八) IIC的使用:IIC主机通信!
- LTE学习笔记-PHY-E-arfcn
- 1117. Eddington Number(25)