腾讯云hadoop集群搭建步骤,namenode/datanode启动问题
来源:互联网 发布:追星必备软件 编辑:程序博客网 时间:2024/06/05 19:17
步骤:
- 防火墙处理/关闭防火墙【仅在服务器安全级别要求不高的环境下进行】
- 配置完全分布式hadoop集群
- namenode/ datanode 启动问题
1. 防火墙处理
最直接的方式,关闭防火墙,简单省事。当然这也是笔者本人作为新手处理服务器比较简单粗暴的方式。
sudo ufw disable
2. 配置完全分布式hadoop集群
注意: 修改etc/hosts文件时,会遇到修改后重启服务器还遇到unable to resolve host ***** 的问题。
# 修改/etc/hosts127.0.0.1 localhost localhost.localdomain10.135.98.54 node110.135.80.32 node210.135.47.49 node310.135.153.113 node4#修改/etc/hostname 与集群中命名一致,以下是node1的hostname文件node1
集群的搭建详细步骤可参见
3. namenode/datanode 启动问题
首先启动集群遇到如下问题,表示集群core-site.xml 中hdfs默认端口9000拒绝访问。笔者遇到这个问题,是因为在/etc/hosts配置主机名和IP时,或者在hadoop目录中的etc/hadoop下的*-site.xml文件中配置IP:Port时采用的是云服务的外网IP。
》解决方式: 腾讯云服务需要采用内网IP配置集群间通信。report: Call From node1-64GB/10.104.XX.XX to XXXXXXXX:9000 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused
集群搭建好,运行程序出现如下问题。表示节点虽然都启动了,但是集群并不能正常运行,通信还是存在问题。
》解决方式:笔者将这个网站http://wiki.apache.org/hadoop/ConnectionRefused中给出的所有情况都排查了,发现在配置/etc/hosts时,出现主机名的多次命名。也即,在127.0.0.1后面命名主机名1,又在内网IP后面命名主机名2。所以去掉主机名1,保留主机名2就行。org.apache.hadoop.yarn.server.resourcemanager.RMAuditLogger: USER=XXX OPERATION=Application Finished - Failed TARGET=RMAppManager RESULT=FAILURE DESCRIPTION=App failed with state: FAILED PERMISSIONS=Application application_1496888779647_0001 failed 2 times due to Error launching appattempt_1496888779647_0001_000002. Got exception: java.net.ConnectException: Call From localhost/127.0.0.1 to localhost:43484 failed on connection exception: java.net.ConnectException: Connection refused; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused
重启集群
#关闭集群stop-all.sh#删除namenode和datanode的临时文件hadoopdata和日志文件rm -rf hadoop目录/hadoopdata/*rm -rf hadoop目录/logs/*
hadoopdata设置在hdfs-site.xml文件中
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///home/hadoop-2.6.0/hadoopdata/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///homehadoop-2.6.0/hadoopdata/dfs/data</value>
</property>
- 腾讯云hadoop集群搭建步骤,namenode/datanode启动问题
- Hadoop问题:hadoop集群NameNode成功启动,而datanode未启动
- hadoop集群启动namenode成功,而datanode未启动!
- hadoop集群搭建datanode,nodemanager启动不了
- Hadoop DataNode, NameNode无法启动
- Hadoop启动namenode和datanode
- hadoop集群只有一个datanode启动问题
- hadoop集群只有一个datanode启动问题
- hadoop namenode -format之后datanode无法启动问题
- hadoop集群namenode启动不了问题
- Hadoop获得集群NameNode和DataNode状态
- 搭建hadoop伪集群时遇到的datanode不启动的问题
- hadoop namenode和datanode无法启动
- Hadoop的namenode datanode无法启动
- Hadoop无法启动NameNode和DataNode
- 【那些遇到的坑】—hadoop完全分布式集群搭建namenode找不到datanode,总显示0
- hadoop datanode 连接namenode的问题
- 如何解决Hadoop集群环境下DataNode无法连接NameNode问题
- 使用Tensorflow实现MTCNN遇到了nms作用不理想的问题
- Unity切换场景淡入淡出
- 自定义laravel表单请求验证类(FormRequest共用一个rules()),一个文件搞定
- 一行代码实现Okhttp,Retrofit,Glide下载上传进度监听
- Struts2自定义拦截器
- 腾讯云hadoop集群搭建步骤,namenode/datanode启动问题
- Vue生命周期适合做什么事情
- linux下 open() write() read() close函数
- Oracle远程创建表空间报错ORA-01119 ORA-27040 OSD-O4OO2
- Android mipmap 和 drawable 的区别
- Linux环境下部署TestLink指导手册--1
- vs2017 编译webrtc warning C4005: “AF_IPX”: 宏重定义的解决办法
- django后台汉化
- CSDN,开篇第一章