hadoop集群遇到的奇怪问题

来源：互联网发布：淘宝链接里面的scm 编辑：程序博客网时间：2024/05/21 11:37

安装Hadoop-2.8.0集群问题整理

原因：主机名与ip映射出现问题，导致其它节点找不到namenode。主机名不能带有下划线。

问题描述：使用start-all.sh启动后，使用jps查看没有namenode进程。其它节点也没有datenode进程。

Log中报错（namenode）

java.lang.IllegalArgumentException: Does not contain a valid host:port authority: HadoopFlume_1:9000

Log中报错（datenode）

java.io.IOException: Incorrect configuration: namenode address dfs.namenode.servicerpc-address or dfs.namenode.rpc-address is not configured.

1， java环境良好。

2， vi /etc/hosts 主机名与Ip映射没有问题。可以ping通

3，修改配置文件vi slaves

HadoopFlume_1

HadoopFlume_2

HadoopFlume_3

4，修改hadoop-env.sh

export JAVA_HOME=/usr/local/jdk1.8.0_152

5，修改core-sitem.xml

<name>fs.defaultFS</name>

<value>hdfs://HadoopFlume_1:9000/</value>

</property>

<name>hadoop.tmp.dir</name>

<value>/root/hdptmp/</value>

</property>

</configuration>

6，修改hdfs-site.xml

<name>dfs.namenode.name.dir</name>

</property>

<name>dfs.datanode.data.dir</name>

</property>

</configuration>

7，vi /etc/profile

export JAVA_HOME=/usr/local/jdk1.8.0_152

export HADOOP_HOME=/usr/local/hadoop-2.8.0

export HADOOP_CONF_DIR=/usr/local/hadoop-2.8.0/etc/hadoop/

export PATH=.:$PATH:$JAVA_HOME/bin/:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

阅读全文

'); })();