flume+kafka+hdfs日志系统

来源：互联网发布：css布局书籍知乎编辑：程序博客网时间：2024/06/05 09:02

1. flume 1.7.0中的sink类型为hdfs 2.8.0，flume如何将文件发给hdfs中：

（1）要导入对应的包

commons-configuration-1.6.jarhadoop-annotations-2.8.0.jarhadoop-auth-2.8.0.jarhadoop-common-2.8.0.jarhadoop-hdfs-2.8.0.jarhadoop-hdfs-client-2.8.0.jar

将这些jar包从hadoop中拷贝到flume的lib目录下。

同时要修改flume的conf/flume-env.sh.template

# Note that the Flume conf directory is always included in the classpath.export FLUME_CLASSPATH="/home/sff/logSystem/apache-flume-1.7.0-bin/lib/"FLUME_CLASSPATH="/home/sff/logSystem/apache-flume-1.7.0-bin/lib/"

做到这一步的时候，运行的话会出现一个 No FileSystem for scheme:

（2）解决No FileSystem for scheme:错误

将hadoop中的hadoop-commom-x.jar里面的core-default.xml文件取出并修改，添加如下代码：

<property><name>fs.hdfs.impl</name><value>org.apache.hadoop.hdfs.DistributedFileSystem</value><description>The FileSystem for hdfs: uris.</description></property>

flume重新运行，flume发送文件，如果这是报DistributedFileSystem no class之类的错误，这是就需要再进一步修改：

解决方法：
vi ./hadoop-common-project/hadoop-auth/pom.xml
vi ./hadoop-common-project/hadoop-common/pom.xml

<dependency><groupId>org.apache.hadoop</groupId><artifactId>hadoop-annotations</artifactId><scope>compile</scope></dependency>

将节点hadoop-annotations的值由provide 改成compile

最终运行flume,sink hdfs发送文件。

2. hadoop 在hdfs namenode -format 的时候导致namenode的cluster和datanode的cluster id不一致导致datanode启动不起来

看linux下/tmp/hadoop-root/dfs/data/currentVERSION 中把datanode clusterId的值改成namenode clusterId

3. hadoop中的logs/hadoop-root-secondarynamenode-localhost.localdomain.log 文件报错

2016-06-09 18:07:04,364 ERROR org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode: Exception in doCheckpointjava.io.IOException: Inconsistent checkpoint fields.LV = -60 namespaceID = 584809856 cTime = 0 ; clusterId = CID-c602bccc-3af9-431d-8391-f57b9660d078 ; blockpoolId = BP-998352565-192.168.1.118-1465453069192.Expecting respectively: -60; 773040246; 0; CID-48c46c43-8a44-4096-93bf-61d9942c8e2b; BP-1325084739-192.168.1.108-1456487846292.

配置etc/hadoop/core-site.xml文件

<property>    <name>hadoop.tmp.dir</name>    <value>/data/hadoop/tmp</value></property>

hadoop.tmp.dir：临时文件夹，指定后需将使用到的所有子级文件夹都要手动创建出来，否则无法正常启动服务。（没有默认值）

下面有dfs文件夹，dfs下面有data name namesecondary三个文件夹。

4. hadoop中的logs/hadoop-root-namenode-localhost.localdomain.log 文件报错

java.io.IOException:NameNode is not formatter

这时候关掉hadoop，bin/hdfs dfs namenode -format 即可

0 0