hadoop环境搭建hbase的一些问题

最近在学习hadoop的相关的工具，首先从环境入手，发现一些在搭建过程中遇到的一些问题，现在总结一下。

1，hadoop的hdfs的问题，主要是进行多次格式化造成的

dfs的data，中的version与dfs的name中的version的clusterID不一致，造成datanode或者namenode启动异常。

这种问题的解决方法主要是可以将clusterID复制到对应的节点的version中。或是将对应的文件夹删除，重新格式化。

2，hbase的：60010的页面打不开，原因主要是由于在1.0版本之后需要在hbase-site.xml中配置

添加

<property>
<name>hbase.master.info.port</name>
<value>60010</value>
</property>

即可。

3，hbase的时间差值问题，最好将不同主机上的时间调整一下，最好不要差别太大。

对于时间不一致问题，可以使用手东区设置时间，时区。

还有就是使用服务器时间同步。

独立主机
rm -rf /etc/localtime
ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime #修改时区到东8区。
date -R #查看的时区设置。
接下来调整系统时间与时间服务器同步
Debian系统安装NTP校时包：
apt-get install ntpdate #安装ntp


CentOS系统安装NTP校时包：
yum -y install ntpdate ntp #安装ntp


Ubuntu系统安装NTP校时包：
sudo apt-get install -y ntpdate ntp


修改/etc/ntp.conf
vi /etc/ntp.conf    就会看到以下内容：
server 0.centos.ntp.org
server time.windows.com
server time.nist.gov
这是默认的ntp同步服务器，大家可以自己改，全球ntp服务器地址：http://www.pool.ntp.org/
可以改为下面的：
server cn.pool.ntp.org //这中国的ntp服务器
server time-a.nist.gov
server time.windows.com
server time.nist.gov
接着输入下面的命令：
ntpdate -d cn.pool.ntp.org #调试查看时间差异
ntpdate cn.pool.ntp.org #同步时间
date -R # 检查时间是否同步

4，遇到下面的问题就需要看一下hdfs的存储空间够不够了

could only be replicated to 0 nodes instead of minReplication (=1)

[grid@h4 ~]$ hadoop dfsadmin -report            h4 节点
Configured Capacity: 19865944064 (18.5 GB)      分配总容量
Present Capacity: 8934457344 (8.32 GB)          
DFS Remaining: 8933957632 (8.32 GB)             DFS剩余容量
DFS Used: 499712 (488 KB)                       DFS已使用容量
DFS Used%: 0.01%                                DFS已使用百分比
Under replicated blocks: 1                      复制成功块数
Blocks with corrupt replicas: 0                 复制失败块数
Missing blocks: 0                               丢失块数
-------------------------------------------------
Datanodes available: 2 (2 total, 0 dead)        数据节点有效
Name: 192.168.2.103:50010                       h2数据节点ip和端口
Decommission Status : Normal                    状态正常
Configured Capacity: 9932972032 (9.25 GB)       配置总容量
DFS Used: 249856 (244 KB)                       DFS使用量
Non DFS Used: 5350871040 (4.98 GB)              linux容量非DFS使用的
DFS Remaining: 4581851136(4.27 GB)              DFS剩余容量
DFS Used%: 0%                                   DFS已使用百分比
DFS Remaining%: 46.13%                          DFS未用百分比
Last contact: Tue Sep 18 19:34:32 CST 2012      最后的联接

Name: 192.168.2.105:50010                       h2数据节点ip和端口
Decommission Status : Normal                    状态正常
Configured Capacity: 9932972032 (9.25 GB)       配置总容量
DFS Used: 249856 (244 KB)                       DFS使用量
Non DFS Used: 5580615680 (5.2 GB)               linux容量非DFS使用的
DFS Remaining: 4352106496(4.05 GB)              DFS剩余容量
DFS Used%: 0%                                   DFS已使用百分比
DFS Remaining%: 43.81%                          DFS未用百分比
Last contact: Tue Sep 18 19:34:32 CST 2012      最后的联接

5，regionserver.HRegionServer: 16000 exiting问题是进入

zookeeper中使用./zkCli.sh中把 hbase的缓存给删掉就行。

重启hbase即可。

以上就是这几天大环境的一些认识。