Hadoop遇坑填坑汇总

1、修改只读readonly文件

修改/etc/profile文件，强制保存后面加"!"，用":wq!"

2、DEPRECATED: Use of this script to execute hdfs command is deprecated. Instead use the hdfs command

Hadoop命令变更

之前格式化hdfs，用hadoop namenode -format

新的版本命令有所变化，需要用hdfs namenode -format

3、17/05/21 17:15:53 WARN common.Util: Path /myFile/04.BigData/hadoop-2.8.0/name should be specified as a URI in configuration files. Please update hdfs configuration.

问题定位：hdfs-site.xml

问题原因：

1) 不合规范的URI格式

解决办法：

1) 把dfs.namenode.name.dir、dfs.datanode.data.dir的原路径格式改成使用完全路径。

如：

<property>

<name>dfs.namenode.name.dir</name>

<value>file:/myFile/04.BigData/hadoop-2.8.0/name</value>

</property>

4、在Eclipse中开发相关项目时,在控制台经常看到如下信息:

log4j:WARN No appenders could be found for logger

log4j:WARN Please initialize the log4j system properly.

log4j:WARN No appenders could be found for logger

解决办法：

在src下面新建file名为log4j.properties内容如下:

# Configure logging for testing: optionally with log file

log4j.rootLogger=WARN, stdout

# log4j.rootLogger=WARN, stdout, logfile

log4j.appender.stdout=org.apache.log4j.ConsoleAppender

log4j.appender.stdout.layout=org.apache.log4j.PatternLayout

log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n

log4j.appender.logfile=org.apache.log4j.FileAppender

log4j.appender.logfile.File=target/spring.log

log4j.appender.logfile.layout=org.apache.log4j.PatternLayout

log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n