hadoop2.x常用端口、定义方法及默认端口、hadoop1.X端口对比
来源:互联网 发布:淘宝抓取图片软件 编辑:程序博客网 时间:2024/05/19 23:13
今天修改了hadoop集群的配置文件而需要重启集群,但是却报错如下:
<code class="hljs vbscript" style="display: block; padding: 0.5em; background: rgb(255, 255, 255);">[hadoop@master ~]# <span class="hljs-keyword" style="color: rgb(0, 0, 136);">stop</span>-dfs.shStopping namenodes <span class="hljs-keyword" style="color: rgb(0, 0, 136);">on</span> [master]master1: no namenode <span class="hljs-keyword" style="color: rgb(0, 0, 136);">to</span> <span class="hljs-keyword" style="color: rgb(0, 0, 136);">stop</span>master2: no namenode <span class="hljs-keyword" style="color: rgb(0, 0, 136);">to</span> <span class="hljs-keyword" style="color: rgb(0, 0, 136);">stop</span>slave2: no datanode <span class="hljs-keyword" style="color: rgb(0, 0, 136);">to</span> <span class="hljs-keyword" style="color: rgb(0, 0, 136);">stop</span>slave1: no datanode <span class="hljs-keyword" style="color: rgb(0, 0, 136);">to</span> <span class="hljs-keyword" style="color: rgb(0, 0, 136);">stop</span></code>
问题的原因是hadoop在stop的时候依据的是datanode上的journalnode和dfs的pid。而默认的进程号保存在/tmp下,linux 默认会每隔一段时间(一般是一个月或者7天左右)去删除这个目录下的文件。
因此删掉hadoop-hadoop-journalnode.pid和hadoop-hadoop-datanode.pid两个文件后,namenode自然就找不到datanode上的这两个进程了。
在配置文件hadoop_env.sh中配置export HADOOP_PID_DIR可以解决这个问题, 也可以在hadoop-deamon.sh中修改,它会调用hadoop_env.sh。修改HADOOP_PID_DIR的路径为“/var/hadoop_pid”,记得手动在“/var”目录下创建hadoop_pid文件夹并将owner权限分配给hadoop用户。
<code class="hljs scala" style="display: block; padding: 0.5em; background: rgb(255, 255, 255);">[hadoop<span class="hljs-meta">@slave</span>3 ~]$ ls /<span class="hljs-keyword" style="color: rgb(0, 0, 136);">var</span>/hadoop_pid/hadoop-hadoop-datanode.pid hadoop-hadoop-journalnode.pid</code>
然后手动在出错的Slave上杀死Datanode的进程(kill -9 pid),再重新运行start-dfs..sh时发现没有“no datanode to stop”和“no namenode to stop”的出现,问题解决。
<code class="hljs sql" style="display: block; padding: 0.5em; font-size: 15px; line-height: 35px; background: rgb(255, 255, 255);">[hadoop@master1 ~]$ <span class="hljs-keyword" style="color: rgb(0, 0, 136);">start</span>-dfs.sh<span class="hljs-number" style="color: rgb(0, 102, 102);">16</span>/<span class="hljs-number" style="color: rgb(0, 102, 102);">04</span>/<span class="hljs-number" style="color: rgb(0, 102, 102);">13</span> <span class="hljs-number" style="color: rgb(0, 102, 102);">17</span>:<span class="hljs-number" style="color: rgb(0, 102, 102);">20</span>:<span class="hljs-number" style="color: rgb(0, 102, 102);">26</span> WARN util.NativeCodeLoader: Unable <span class="hljs-keyword" style="color: rgb(0, 0, 136);">to</span> <span class="hljs-keyword" style="color: rgb(0, 0, 136);">load</span> <span class="hljs-keyword" style="color: rgb(0, 0, 136);">native</span>-hadoop <span class="hljs-keyword" style="color: rgb(0, 0, 136);">library</span> <span class="hljs-keyword" style="color: rgb(0, 0, 136);">for</span> your platform... <span class="hljs-keyword" style="color: rgb(0, 0, 136);">using</span> builtin-<span class="hljs-keyword" style="color: rgb(0, 0, 136);">java</span> classes <span class="hljs-keyword" style="color: rgb(0, 0, 136);">where</span> applicable<span class="hljs-keyword" style="color: rgb(0, 0, 136);">Starting</span> namenodes <span class="hljs-keyword" style="color: rgb(0, 0, 136);">on</span> [master1 master2]master1: <span class="hljs-keyword" style="color: rgb(0, 0, 136);">starting</span> namenode, <span class="hljs-keyword" style="color: rgb(0, 0, 136);">logging</span> <span class="hljs-keyword" style="color: rgb(0, 0, 136);">to</span> /<span class="hljs-keyword" style="color: rgb(0, 0, 136);">data</span>/usr/hadoop/<span class="hljs-keyword" style="color: rgb(0, 0, 136);">logs</span>/hadoop-hadoop-namenode-master1.outmaster2: <span class="hljs-keyword" style="color: rgb(0, 0, 136);">starting</span> namenode, <span class="hljs-keyword" style="color: rgb(0, 0, 136);">logging</span> <span class="hljs-keyword" style="color: rgb(0, 0, 136);">to</span> /<span class="hljs-keyword" style="color: rgb(0, 0, 136);">data</span>/usr/hadoop/<span class="hljs-keyword" style="color: rgb(0, 0, 136);">logs</span>/hadoop-hadoop-namenode-master2.outslave4: <span class="hljs-keyword" style="color: rgb(0, 0, 136);">starting</span> datanode, <span class="hljs-keyword" style="color: rgb(0, 0, 136);">logging</span> <span class="hljs-keyword" style="color: rgb(0, 0, 136);">to</span> /<span class="hljs-keyword" style="color: rgb(0, 0, 136);">data</span>/usr/hadoop/<span class="hljs-keyword" style="color: rgb(0, 0, 136);">logs</span>/hadoop-hadoop-datanode-slave4.outslave3: <span class="hljs-keyword" style="color: rgb(0, 0, 136);">starting</span> datanode, <span class="hljs-keyword" style="color: rgb(0, 0, 136);">logging</span> <span class="hljs-keyword" style="color: rgb(0, 0, 136);">to</span> /<span class="hljs-keyword" style="color: rgb(0, 0, 136);">data</span>/usr/hadoop/<span class="hljs-keyword" style="color: rgb(0, 0, 136);">logs</span>/hadoop-hadoop-datanode-slave3.outslave2: <span class="hljs-keyword" style="color: rgb(0, 0, 136);">starting</span> datanode, <span class="hljs-keyword" style="color: rgb(0, 0, 136);">logging</span> <span class="hljs-keyword" style="color: rgb(0, 0, 136);">to</span> /<span class="hljs-keyword" style="color: rgb(0, 0, 136);">data</span>/usr/hadoop/<span class="hljs-keyword" style="color: rgb(0, 0, 136);">logs</span>/hadoop-hadoop-datanode-slave2.outslave1: <span class="hljs-keyword" style="color: rgb(0, 0, 136);">starting</span> datanode, <span class="hljs-keyword" style="color: rgb(0, 0, 136);">logging</span> <span class="hljs-keyword" style="color: rgb(0, 0, 136);">to</span> /<span class="hljs-keyword" style="color: rgb(0, 0, 136);">data</span>/usr/hadoop/<span class="hljs-keyword" style="color: rgb(0, 0, 136);">logs</span>/hadoop-hadoop-datanode-slave1.out<span class="hljs-keyword" style="color: rgb(0, 0, 136);">Starting</span> journal nodes [master1 master2 slave1 slave2 slave3]slave3: <span class="hljs-keyword" style="color: rgb(0, 0, 136);">starting</span> journalnode, <span class="hljs-keyword" style="color: rgb(0, 0, 136);">logging</span> <span class="hljs-keyword" style="color: rgb(0, 0, 136);">to</span> /<span class="hljs-keyword" style="color: rgb(0, 0, 136);">data</span>/usr/hadoop/<span class="hljs-keyword" style="color: rgb(0, 0, 136);">logs</span>/hadoop-hadoop-journalnode-slave3.outmaster1: <span class="hljs-keyword" style="color: rgb(0, 0, 136);">starting</span> journalnode, <span class="hljs-keyword" style="color: rgb(0, 0, 136);">logging</span> <span class="hljs-keyword" style="color: rgb(0, 0, 136);">to</span> /<span class="hljs-keyword" style="color: rgb(0, 0, 136);">data</span>/usr/hadoop/<span class="hljs-keyword" style="color: rgb(0, 0, 136);">logs</span>/hadoop-hadoop-journalnode-master1.outslave1: <span class="hljs-keyword" style="color: rgb(0, 0, 136);">starting</span> journalnode, <span class="hljs-keyword" style="color: rgb(0, 0, 136);">logging</span> <span class="hljs-keyword" style="color: rgb(0, 0, 136);">to</span> /<span class="hljs-keyword" style="color: rgb(0, 0, 136);">data</span>/usr/hadoop/<span class="hljs-keyword" style="color: rgb(0, 0, 136);">logs</span>/hadoop-hadoop-journalnode-slave1.outmaster2: <span class="hljs-keyword" style="color: rgb(0, 0, 136);">starting</span> journalnode, <span class="hljs-keyword" style="color: rgb(0, 0, 136);">logging</span> <span class="hljs-keyword" style="color: rgb(0, 0, 136);">to</span> /<span class="hljs-keyword" style="color: rgb(0, 0, 136);">data</span>/usr/hadoop/<span class="hljs-keyword" style="color: rgb(0, 0, 136);">logs</span>/hadoop-hadoop-journalnode-master2.outslave2: <span class="hljs-keyword" style="color: rgb(0, 0, 136);">starting</span> journalnode, <span class="hljs-keyword" style="color: rgb(0, 0, 136);">logging</span> <span class="hljs-keyword" style="color: rgb(0, 0, 136);">to</span> /<span class="hljs-keyword" style="color: rgb(0, 0, 136);">data</span>/usr/hadoop/<span class="hljs-keyword" style="color: rgb(0, 0, 136);">logs</span>/hadoop-hadoop-journalnode-slave2.out<span class="hljs-number" style="color: rgb(0, 102, 102);">16</span>/<span class="hljs-number" style="color: rgb(0, 102, 102);">04</span>/<span class="hljs-number" style="color: rgb(0, 102, 102);">13</span> <span class="hljs-number" style="color: rgb(0, 102, 102);">17</span>:<span class="hljs-number" style="color: rgb(0, 102, 102);">20</span>:<span class="hljs-number" style="color: rgb(0, 102, 102);">40</span> WARN util.NativeCodeLoader: Unable <span class="hljs-keyword" style="color: rgb(0, 0, 136);">to</span> <span class="hljs-keyword" style="color: rgb(0, 0, 136);">load</span> <span class="hljs-keyword" style="color: rgb(0, 0, 136);">native</span>-hadoop <span class="hljs-keyword" style="color: rgb(0, 0, 136);">library</span> <span class="hljs-keyword" style="color: rgb(0, 0, 136);">for</span> your platform... <span class="hljs-keyword" style="color: rgb(0, 0, 136);">using</span> builtin-<span class="hljs-keyword" style="color: rgb(0, 0, 136);">java</span> classes <span class="hljs-keyword" style="color: rgb(0, 0, 136);">where</span> applicable<span class="hljs-keyword" style="color: rgb(0, 0, 136);">Starting</span> ZK <span class="hljs-keyword" style="color: rgb(0, 0, 136);">Failover</span> Controllers <span class="hljs-keyword" style="color: rgb(0, 0, 136);">on</span> NN <span class="hljs-keyword" style="color: rgb(0, 0, 136);">hosts</span> [master1 master2]master1: <span class="hljs-keyword" style="color: rgb(0, 0, 136);">starting</span> zkfc, <span class="hljs-keyword" style="color: rgb(0, 0, 136);">logging</span> <span class="hljs-keyword" style="color: rgb(0, 0, 136);">to</span> /<span class="hljs-keyword" style="color: rgb(0, 0, 136);">data</span>/usr/hadoop/<span class="hljs-keyword" style="color: rgb(0, 0, 136);">logs</span>/hadoop-hadoop-zkfc-master1.outmaster2: <span class="hljs-keyword" style="color: rgb(0, 0, 136);">starting</span> zkfc, <span class="hljs-keyword" style="color: rgb(0, 0, 136);">logging</span> <span class="hljs-keyword" style="color: rgb(0, 0, 136);">to</span> /<span class="hljs-keyword" style="color: rgb(0, 0, 136);">data</span>/usr/hadoop/<span class="hljs-keyword" style="color: rgb(0, 0, 136);">logs</span>/hadoop-hadoop-zkfc-master2.out</code><p style="margin-top: 0px; margin-bottom: 0px; padding-top: 0px; padding-bottom: 0px; color: rgb(85, 85, 85); font-size: 15px; line-height: 35px; background-color: rgb(255, 255, 255);"></p>
0 0
- hadoop2.x常用端口、定义方法及默认端口、hadoop1.X端口对比
- hadoop2.x常用端口、定义方法及默认端口、hadoop1.X端口对比
- hadoop2.x常用端口、定义方法及默认端口、hadoop1.X端口对比
- hadoop2.x常用端口、定义方法及默认端口、hadoop1.X端口对比
- hadoop2.x常用端口、定义方法及默认端口、hadoop1.X端口对比
- hadoop2.x常用端口、定义方法及默认端口、hadoop1.X端口对比
- hadoop2.x常用端口、定义方法及默认端口、hadoop1.X端口对比
- hadoop2.x常用端口、定义方法及默认端口、hadoop1.X端口对比(转)
- hadoop2.x常用端口、定义方法及默认端口、hadoop1.X端口对比
- hadoop2.x常用端口、定义方法及默认端口、hadoop1.X端口对比
- hadoop2.x常用端口、定义方法及默认端口、hadoop1.X端口对比
- hadoop2.x常用端口、定义方法及默认端口、hadoop1.X端口对比
- hadoop2.x常用端口、定义方法及默认端口、hadoop1.X端口对比
- hadoop2.x常用端口、定义方法及默认端口、hadoop1.X端口对比
- hadoop2.x常用端口、定义方法及默认端口、hadoop1.X端口对比
- hadoop2.x常用端口、定义方法及默认端口、hadoop1.X端口对比
- hadoop2.x常用端口、定义方法及默认端口、hadoop1.X端口对比
- hadoop2.x常用端口、定义方法及默认端口、hadoop1.X端口对比
- Tomcat-Session共享实现-Redis
- POJ2236(Wireless Network)
- 基于线程池的线程调度管控系统
- 安卓sdk更新代理
- 使用NOSQL的MongoDB时建立索引需要注意的几点建议和Explain优化分析
- hadoop2.x常用端口、定义方法及默认端口、hadoop1.X端口对比
- 通过up、down、enter键实现搜索结果选择功能(模拟搜索引擎)
- 被改错的密码
- 为什么使用Composer?
- wxpython入门级笔记
- java 执行命令、调用bat文件、调用外部程序的两种方法
- 欢迎使用CSDN-markdown编辑器
- 百度地图的定位
- 《计算机系统概论》