CentOS 6 安装Hadoop 2.6 (三)问题收集
来源:互联网 发布:微信h5棋牌源码 编辑:程序博客网 时间:2024/06/07 22:21
CentOS 6 安装Hadoop 2.6 (一)准备工作
CentOS 6 安装Hadoop 2.6 (二)配置Hadoop
CentOS 6 安装Hadoop 2.6 (三)问题收集
CentOS 6 安装Hadoop 2.6 (四)运行简单例子
排查错误的重要途径就是检查日志文件,如果按照上文的配置方法,配置文件在/opt/hadoop-2.6.4/logs/底下,主要需要关注的是后缀是log的几个文件。先检查你的主节点,再检查从节点。
1. 日志中出现XXX连接不上,一直重试
这种情况在从节点的日志中很常见。
(1) 确认hosts文件是否配置正确
以下是笔者的master节点的hosts文件
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain45.2.5.5 master5.2.8.5 slave15.2.9.7 slave2
(2)防火墙是否已经关闭
hadoop启动的时候,主节点和从节点之间通讯会使用到很多端口,请确保是否已经开启这些端口,或者是直接关闭防火墙。
(3)配置文件配置错误
配置文件中涉及地址的时候应该都使用主机名做前缀。
2. 日志中存在诸如localhost、0.0.0.0、127.0.0.1之类的本地地址
如果存在说明配置文件配错了,请检查配置文件。正常的情况应该是出现诸如master之类的主机名或者具体的IP地址(内网IP或者外网IP)。
3. 管理网页访问不了
(1)检查启动是否失败
按照CentOS 6 安装Hadoop 2.6 (二)配置Hadoop检查启动后应该存在进程是否都存在。
各节点启动日志是否有报错的地方。
(2)防火墙是否已经关闭
(3)该IP是否能否访问
ping一下该IP是否能通。如果你在外网环境中,应该使用外网IP或者域名进行访问。
4.访问hdfs异常
异常代码如下
16/04/11 06:31:31 INFO hdfs.DFSClient: Exception in createBlockOutputStreamjava.io.IOException: Bad connect ack with firstBadLink as 4.3.2.5:50010 at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.createBlockOutputStream(DFSOutputStream.java:1460) at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.nextBlockOutputStream(DFSOutputStream.java:1361) at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:588)16/04/11 06:31:31 INFO hdfs.DFSClient: Abandoning BP-1023463258-127.0.0.1-1460109965114:blk_1073741825_100116/04/11 06:31:31 INFO hdfs.DFSClient: Excluding datanode 4.3.2.5:50010
原因分析:出现这个异常,通常是有节点防火墙没关
使用/etc/init.d/iptables status
(CentOS)检查各个节点的防火墙状态,再使用/etc/init.d/iptables stop
关闭打开的防火墙。
1 0
- CentOS 6 安装Hadoop 2.6 (三)问题收集
- CentOS 6 安装Hadoop 2.6 (二)配置Hadoop
- CentOS 6 安装Hadoop 2.6 (一)准备工作
- CentOS 6 安装Hadoop 2.6 (四)运行简单例子
- hadoop(1):centos 安装 hadoop & hive
- hadoop(一)---安装centos
- Oracle安装和卸载问题收集(三)
- 大数据基础(三)CentOS下基于Hadoop 2.6.2的Mahout 0.12.1安装和使用
- hadoop安装指南收集
- CentOS 集群安装hadoop-2.6.0 心得
- Centos 7 下安装hadoop 2.6.x
- Centos 7 安装HADOOP 2.6.0
- Hadoop集群全分布式安装(CentOS)
- Hadoop完全分布式安装(centos下)
- hadoop centos 安装
- centos安装hadoop注意
- CentOS 安装hadoop
- CentOS hadoop 的安装
- Spark on YARN 部署实验
- OKNetWorkHttp基于 AFNetworking 二次封装 业务更加简单清晰
- 第七章 积累经验
- HashMap TreeMap 的区别
- 编程小练习
- CentOS 6 安装Hadoop 2.6 (三)问题收集
- Centos 6.5 密码破解
- 网址前缀www
- 编程小练习
- 算法时间复杂度分析
- iOS开发:多线程之NSThread、NSOperation
- mysql index
- 批量更新数据之hibernate或者jdbc执行效果对比
- 如何在Xcode中将软件调整为Release