hadoop日志

1.日志的配置完善

进入Hadoop的安装目录的logs的目录这个目录中记录的是yarn集群的进程的日志信息。在目录/opt/hadoop-2.6.0/logs下记录的是dfs各个进程的日志信息，日志信息的格式是框架名称+用户名+进程名+日志后缀

其中以.log结尾的是log4j记录的日志，主要记录了各个进程启动成功和失败的信息，查个这个日志我们就可以分析哪个进程成功启动了，哪个失败了，在对应失败的进程单独启动。查看日志有两种方法，more加日志文件名称，还有一种就是tail -f 日记文件名称  这个方法就是滚动查看日志，若有日志生成就滚动显示生成的日志。小tips：

启动hdfs系统的三个进程(namenode,datanode,secondarynamenode)：在hadoop安装目录下执行：sbin/start-dfs.sh

启动yan集群的两个进程（nodemanager，resoucemanager）在hadoop的安装目录下执行：sbin/start-yarn.sh

单独启动/结束hdfs的某个进程：sbin/hadoop-daemon.sh start/stop datanode/namenode/secondarynamenode;

单独启动/结束yarn的某个进程：sbin/yarn-daemon.sh start/stop nodemanager/resourcemanager

hdfs和yarn集群的各个进程都启动后我们可以进行一些简单的操作，比如运行一个词频统计的命令：

在运行bin/hadood命令 jar jar包 jar包中的方法 输入文件目录 输入文件目录（enter执行）

运行成功后会在logs目录下生成一个userlog目录，这个目录存放的就是提交的任务的日志

stderr是输出的错误日志，stdout是标准输出日志，syslog是完整任务日志。