hadoop 配置文件 masters 以及 namenode, jobtracker, secondary namenode
来源:互联网 发布:变形金刚玩具淘宝 编辑:程序博客网 时间:2024/05/19 19:41
hadoop配置文件里面有一个是masters 和slaves,从字面意思来理解的话呢就是masters设置运行namenode,和jobtracker的结点,其实不然啊!!
今天看了HADOOP the definitive guid 第二版的影印版,在配置hadoop集群中介绍到,其实,masters设置的是运行secondary namenode的结点,并且可以在masters里面设置多个结点来运行secondary namenode。
那哪个是主机呢,里面有一段原文是这样的: You don't need to specify which machine(or machines) the namenode and jobtracker runs on in the masters file,as this is determined by the machine the scripts run on.(page-268) 。什么意思呢,就是,你在哪个机器上执行了scripts(就是控制hadoop的命令,start-*.sh),哪个就是master。
start-dfs.sh命令的功能
1.在本机器(即执行此命令的机器)启动namenode
2.在slaves文件里所列出的所有结点上启动datanode
3.在masters文件里所列出的所有结点上启动secondary namenode
start-mapred.sh命令的功能
1.在本机器启动jobtracker
2.在slaves文件里所列出的所有结点上启动一个tasktracker
namenode 和 jobtracker 可以分开在独立的结点上运行,start-dfs.sh命令在哪个结点执行,则namenode就在这个结点运行,同样,可以在另外一个结点执行start-mapred.sh则jobtracker就在那个结点执行
- hadoop 配置文件 masters 以及 namenode, jobtracker, secondary namenode
- hadoop 配置文件 masters 以及 namenode, jobtracker, secondary namenode
- hadoop中NameNode、DataNode、Secondary、NameNode、JobTracker TaskTracker介绍
- hadoop中NameNode、DataNode、Secondary、NameNode、JobTracker TaskTracker介绍
- hadoop中NameNode、DataNode、Secondary、NameNode、JobTracker TaskTracker介绍
- hadoop中NameNode、DataNode、Secondary、NameNode、JobTracker TaskTracker介绍
- hadoop中NameNode、DataNode、Secondary、NameNode、JobTracker TaskTracker介绍
- hadoop中NameNode、DataNode、Secondary、NameNode、JobTracker TaskTracker介绍
- hadoop中NameNode、DataNode、Secondary、NameNode、JobTracker TaskTracker介绍
- hadoop中NameNode、DataNode、Secondary、NameNode、JobTracker TaskTracker介绍
- Hadoop:NameNode和Secondary NameNode
- hadoop Secondary namenode
- hadoop Secondary NameNode作用
- hadoop Secondary NameNode作用
- Hadoop之Secondary NameNode
- Hadoop的Secondary NameNode(1)
- hadoop中NameNode、DataNode、Secondary、NameNode、ResourceManager、NodeManager 介绍
- hadoop中NameNode、DataNode、Secondary、NameNode、ResourceManager、NodeManager 介绍
- HTK在windows下的配置说明
- 直接拿来用!最火的Android开源项目(完结篇)
- opencv中测量运行时间的函数
- 多线程的使用(1)-performSelectorOnMainThread
- 环境变量的设置
- hadoop 配置文件 masters 以及 namenode, jobtracker, secondary namenode
- Python服务端,通过TCP发送一张图片给Android客户端,客户端把图片显示出来
- Nginx定时器的实现及定时事件的使用
- android EditText自定义样式
- mysql 的 job创建与执行 - event
- 人脸识别之人眼定位、人脸矫正、人脸尺寸标准化---<Mastering OpenCV with Practical Computer Vision Projects >
- [LeetCode]Remove Duplicates from Sorted Array
- [noj 1552] Minecraft Server Bug
- 怎么理解Stringbuffer是线程安全的stringbuilder是线程不安全的