Hadoop 2.x HDFS和YARN的启动方式
来源:互联网 发布:mac版单机游戏 编辑:程序博客网 时间:2024/04/29 05:11
一.三种启动方式介绍
方式一:逐一启动(实际生产环境中的启动方式)
hadoop-daemon.sh start|stop namenode|datanode| journalnode
yarn-daemon.sh start |stop resourcemanager|nodemanager
方式二:分开启动
start-dfs.sh
start-yarn.sh
方式三:一起启动
start-all.sh
二.脚本解读
start-dfs.sh脚本:
(1) 通过命令bin/hdfs getconf –namenodes查看namenode在那些节点上
(2) 通过ssh方式登录到远程主机,启动hadoop-deamons.sh脚本
(3) hadoop-deamon.sh脚本启动slaves.sh脚本
(4) slaves.sh脚本启动hadoop-deamon.sh脚本,再逐一启动
start-all.sh脚本:
说明:start-all.sh实际上是调用sbin/start-dfs.sh脚本和sbin/start-yarn.sh脚本
三.三种启动方式的关系
start-all.sh其实调用start-dfs.sh和start-yarn.sh
start-dfs.sh调用hadoop-deamon.sh
start-yarn.sh调用yarn-deamon.sh
如下图:
四.为什么要设置ssh协议
当执行start-dfs.sh脚本时,会调用slaves.sh脚本,通过ssh协议无密码登陆到其他节点去启动进程。
为了能自动启动远程节点的进程,需要进行免密码登录。
五.采用第二种启动方式
上面已经配置好了ssh公钥登录,接下来用第二种启动方式启动
Step1:先停止所以进程(如果已经启动)
[hadoop@hadoop-yarn hadoop-2.2.0]$sbin/yarn-daemon.sh stop nodemanager
[hadoop@hadoop-yarn hadoop-2.2.0]$sbin/yarn-daemon.sh stop resourcemanager
[hadoop@hadoop-yarn hadoop-2.2.0]$sbin/hadoop-daemon.sh stop datanode
[hadoop@hadoop-yarn hadoop-2.2.0]$sbin/hadoop-daemon.sh stop secondarynamenode
[hadoop@hadoop-yarn hadoop-2.2.0]$sbin/hadoop-daemon.sh stop namenode
Step2:启动所以进程
[hadoop@hadoop-yarn hadoop-2.2.0]$sbin/start-dfs.sh
[hadoop@hadoop-yarn hadoop-2.2.0]$ sbin/start-yarn.sh
Step3:查看管理界面
YARN: http://hadoop-yarn.dragon.org:8088/
HDFS: http://hadoop-yarn.dragon.org:50070/
转:http://blog.csdn.net/cloudyhadoop/article/details/42341165
- Hadoop 2.x HDFS和YARN的启动方式
- Hadoop 2.x HDFS和YARN的启动方式
- 企业级Hadoop 2.x入门系列之八HDFS和YARN的启动方式
- YARN和HDFS的调用方式汇总
- Hadoop系列二:启动HDFS和YARN过程日志
- 企业级Hadoop 2.x入门系列之四HDFS文件系统和YARN资源管理框架简介
- hadoop之hdfs和yarn
- hadoop 2.x yarn 的工作机制
- Hadoop集群搭建(HDFS和Yarn集群)
- hadoop 2.x之HDFS HA讲解之九HDFS HA测试启动服务进程、页面监控查看和解决问题
- hadoop2.x入门:Hadoop的启动方式
- Hadoop 容错之1.X的单点故障 到 2.X的HA和HDFS Federation
- hadoop 2.x之HDFS HA讲解之五 HA管理命令、元数据同步和基于QJM方式存储的硬件配置说明
- Hadoop 配置本篇主要就是配置HDFS和YARN
- Hadoop 2.x环境搭建之三配置部署启动YARN及在YARN上运行MapReduce程序
- Hadoop 2.x HDFS使用和配置步骤
- HDFS 和 YARN 的 HA 故障切换
- HDFS 和 YARN 的 HA 故障切换
- UVA540
- TI_BLE软件开发者指导5-HCI
- C语言深度解剖之——for循环优化
- NoSQL 在腾讯应用实践
- HBase 常用Shell命令
- Hadoop 2.x HDFS和YARN的启动方式
- PAT甲级练习1008. Elevator (20)
- hdu4496
- 腾讯任职职级
- 从Git版本控制中删除文件
- 在腾讯开发QQ IM 的工作体验
- ShopWWI S3版本修复计划任务功能
- String,StringBuffer,StringBuilder个人认为较重要的区别
- 论游戏中Buff的实现