操作Hadoop集群
来源:互联网 发布:大数据迁移方案 编辑:程序博客网 时间:2024/06/18 14:16
所有必要的配置完成后,将文件分发到所有机器上的HADOOP_CONF_DIR目录。这应该是所有机器上相同的目录。
一般来说,建议HDFS和YARN作为单独的用户运行。在大多数安装中,HDFS进程作为“hdfs”执行。YARN通常使用“纱线”帐户。
Hadoop启动
要启动Hadoop集群,您需要启动HDFS和YARN集群。
首次升级HDFS时,必须格式化。将新的分布式文件系统格式化为hdfs:
[hdfs] $ $ HADOOP_HOME / bin / hdfs namenode -format <cluster_name>
在指定的节点上使用以下命令启动HDFS NameNode作为hdfs:
[hdfs] $ $ HADOOP_HOME / bin / hdfs --daemon start namenode
在每个指定的节点上使用以下命令启动HDFS DataNode :hdfs:
[hdfs] $ $ HADOOP_HOME / bin / hdfs --daemon start datanode
如果配置了etc / hadoop / worker和ssh信任访问(请参阅单节点安装),则可以使用实用程序脚本启动所有HDFS进程。作为hdfs:
[hdfs] $ $ HADOOP_HOME / sbin / start-dfs.sh
开始使用以下命令,在指定的ResourceManager为运行纱线纱:
[纱线] $ $ HADOOP_HOME / bin / yarn --daemon启动资源管理器
运行一个脚本来在每个指定的主机上启动一个NodeManager作为纱线:
[纱线] $ $ HADOOP_HOME / bin / yarn --daemon启动nodemanager
启动独立的WebAppProxy服务器。在WebAppProxy服务器上作为纱线运行。如果使用多个服务器进行负载平衡,则应在每个服务器上运行:
[纱线] $ $ HADOOP_HOME / bin / yarn --daemon启动代理服务器
如果配置了etc / hadoop / worker和ssh信任访问(请参阅单节点安装),则可以使用实用程序脚本启动所有YARN进程。由于纱线:
[纱线] $ $ HADOOP_HOME / sbin / start-yarn.sh
使用以下命令启动MapReduce JobHistory服务器,在映射的指定服务器上运行:
[mapred] $ $ HADOOP_HOME / bin / mapred --daemon启动历史记录服务器
Hadoop关机
使用以下命令停止NameNode,在指定的NameNode上运行hdfs:
[hdfs] $ $ HADOOP_HOME / bin / hdfs --daemon stop namenode
运行脚本来停止DataNode作为hdfs:
[hdfs] $ $ HADOOP_HOME / bin / hdfs --daemon stop datanode
如果配置了etc / hadoop / worker和ssh可信访问(请参阅单节点安装),所有HDFS进程可能会使用实用程序脚本停止。作为hdfs:
[hdfs] $ $ HADOOP_HOME / sbin / stop-dfs.sh
停止使用下面的命令,在指定的ResourceManager作为运行的ResourceManager 纱:
[纱线] $ $ HADOOP_HOME / bin / yarn --daemon停止资源管理器
运行一个脚本来停止一个工作的NodeManager作为纱线:
[纱线] $ $ HADOOP_HOME / bin / yarn - daemon stop nodemanager
如果配置了etc / hadoop / worker和ssh信任访问(请参阅单节点安装),则可以使用实用程序脚本停止所有YARN进程。由于纱线:
[纱线] $ $ HADOOP_HOME / sbin / stop-yarn.sh
停止WebAppProxy服务器。在WebAppProxy服务器上作为纱线运行。如果使用多个服务器进行负载平衡,则应在每个服务器上运行:
[纱线] $ $ HADOOP_HOME / bin /纱线停止代理服务器
使用以下命令停止MapReduce JobHistory服务器,在映射的指定服务器上运行:
[mapred] $ $ HADOOP_HOME / bin / mapred --daemon stop historyserver
- hadoop集群操作常用命令
- 操作Hadoop集群
- 操作Hadoop集群
- 操作Hadoop集群
- Hadoop集群安装、扩容等操作
- java api操作远程hadoop集群
- Hadoop常用操作指令和Hadoop集群配置
- Hadoop集群
- hadoop集群
- hadoop 集群
- Hadoop集群
- Hadoop集群
- Hadoop集群
- Hadoop 集群
- hadoop集群
- 在eclipse中对hadoop集群文件的简单操作
- 利用JSCH实现远程操作Linux系统和hadoop集群
- windows下eclipse远程操作hadoop集群执行mapreduce
- 集群搭建
- 集群使用初步
- hadoop 3.0.0 alpha3 安装、配置
- vim常用快捷键
- Git 命令 操作
- 操作Hadoop集群
- HDFS详解
- Java xml 操作(Dom4J修改xml   + xPath技术  + SAX解析 + XML约束)
- Junit 单元测试、BeanUtils、Properties类
- Linux 基本命令
- 如何开发一个Servlet
- 最小二乘法理论基础
- servlet中cookie和session操作
- Java Jsp使用