hadoop 的命令

来源:互联网 发布:叮叮监控软件介绍 编辑:程序博客网 时间:2024/05/02 00:02

维护的命令

  • start-all.sh/stop-all.sh:启动/关闭所有,包括 nodeName、dataNode、secordaryNode、resourcManage(yarn),不过,这两个命令已经废弃了,所谓长江后浪推前浪,下面来看一下新秀命令
  • stop-dfs.sh/start-dfs.sh:启动/关闭 nodeName、dataNode、secordaryNode
  • stop-yarn.sh/start-yarn.sh:启动/关闭资源管理器
  • 最后,不要忘记 jps 命令,来查看 nodeName、dataNode 是否启动

Hadoop 的 shell 命令

hdfs 文件系统 shell 命令式模拟 Linux 的系统,所以会 Linux 的文件相关的命令就会 hdfs 的命令。在官方的文档里面即可查看。官方hdfs shell

遇到的几个问题

hadoop datanode -format

此命令只是格式化 datanode 的节点的工作目录,而没有初始化 DataNode 的节点。所以在 DataNode 节点的服务器上是看不到 DataNode 的初始化文件的。在初始化的过程中,会生成 blockPoolId、clusterId 的标识,然后 DataNode 初始化后,会将 nameNode 的这两个 ID 复制到自己的工作目录中。如果在 namenode 重新初始化后,DataNode 中的 ID 就失效了。

还有个问题,我先是按照 Hadoop 默认的配置是伪集群,回来才配置的集群,所以使用start-dfs.sh命令一直启动不了 namenode,最后,我重新运行hadoop datanode -format就还了。