linux中spark启动进程命令以及顺序
来源:互联网 发布:网站搜索引擎优化方案 编辑:程序博客网 时间:2024/06/06 05:40
1)首先启动hadoop
① 在Master节点上进入hadoop安装目录下,执行sbin/start-dfs.sh
② 在Slave1节点上进入hadoop安装目录下,执行sbin/start-yarn.sh
③ 在Master节点上进入hadoop安装目录下,执行sbin/mr-jobhistory-daemon.sh start historyserver
④ 在Slave1节点上进入hadoop安装目录下,执行sbin/yarn-daemon.sh start proxyserver
在Master节点命令中输入jps,显示进程为NodeManager, JobhistoryServer, DataNode, NameNode
在Slave1节点中输入jps,显示进程为DataNode, NodeManager, WebAppProxyServer, ResourceManager
在Slave2节点中输入jps,显示进程为SecondaryNameNode, DataNode, NodeManager
2)启动spark
在Master节点上,进入spark安装目录,执行sbin/start-master.sh 然后执行sbin/start-slaves.sh
Master节点
[root@Master 桌面]# jps3646 JobHistoryServer3219 DataNode3119 NameNode3482 NodeManager3923 Worker10217 Jps3820 Master
Slave1节点
[root@Slave1 桌面]# jps2837 Worker2359 NodeManager2710 WebAppProxyServer4514 Jps2120 DataNode2257 ResourceManager
Slave2节点
[root@Slave2 桌面]# jps2508 Worker2186 SecondaryNameNode2327 NodeManager5136 Jps2127 DataNode
此时,Master节点多了Master和Worker进程,两个子节点上多了Worker进程,则全部启动成功,Spark UI地址为:Master:4040
阅读全文
0 0
- linux中spark启动进程命令以及顺序
- linux启动顺序和进程概念
- linux中进程命令
- spark启动顺序-笔记
- Linux环境变量配置文件以及启动顺序
- Spark启动命令
- spark 启动命令
- linux 自启动以及chkconfig命令
- Linux命令-查看进程以及进程的删除
- Linux下的几个配置文件以及启动先后顺序
- Linux中安装nginx以及启动、关闭和重启命令
- Linux中安装nginx以及启动、关闭和重启命令
- Linux中命令运行的顺序
- linux 中查看进程、杀死进程、进入进程的命令
- 【linux 命令】环境启动时访问的配置文件顺序
- Linux启动中init进程的处理
- 定时执行spark-submit命令--Linux中使用crontab命令
- Linux 中进程的定义以及查看
- DOM内部插入append()与appendTo()
- android笔记
- 微信小程序时间选择器
- Shell脚本的基本介绍
- AngularJS入门-(9)HTML DOM
- linux中spark启动进程命令以及顺序
- NDN安全问题
- Vegas素材导入有哪些方法?
- 如何判断当前主机是物理机还是虚拟机?
- SpringMVC中如何获取Spring应用上下文环境
- 如何在神箭手上快速开发爬虫——第二课 如何爬取JS动态生成的数据【豌豆荚游戏排行榜】
- 数据库索引的实现原理
- 开源项目 Android-oss 的踩坑之旅
- Word2Vec提取关键词,词语相似度