storm、hbase、kafka整合过程中遇到的log4j冲突问题
来源:互联网 发布:apache loadfactor 编辑:程序博客网 时间:2024/06/03 17:04
文章来源:http://itindex.net/detail/55255-storm-hbase-kafka
标签: storm hbase kafka | 发表时间:2016-02-24 04:22 | 作者:ynp
出处:http://www.iteye.com
storm、hbase、kafka整合过程中遇到的log4j冲突问题
---》报错
SLF4J: Detected both log4j-over-slf4j.jar AND slf4j-log4j12.jar on the class path, preempting StackOverflowError.
SLF4J: See also http://www.slf4j.org/codes.html#log4jDelegationLoop for more details.
10059 [Thread-15-KafkaSpout] ERROR backtype.storm.util - Async loop died!
java.lang.NoClassDefFoundError: Could not initialize class org.apache.log4j.Log4jLoggerFactory
at org.apache.log4j.Logger.getLogger(Logger.java:39) ~[log4j-over-slf4j-1.6.6.jar:1.6.6]
at kafka.utils.Logging$class.logger(Logging.scala:24) ~[kafka_2.11-0.8.2.1.jar:na]
---》原因
log4j-over-slf4j.jar AND slf4j-log4j12.jar 循环调用冲突了,再进一步原因是kafka、hbase中用的是log4j。
---》解决方法
* 方案一:把storm中的log4j-over-slf4j 依赖排除;
<dependency> <groupId>org.apache.storm</groupId> <artifactId>storm-core</artifactId> <version>0.9.5</version> <scope>provided</scope> <exclusions> <exclusion> <groupId>org.slf4j</groupId> <artifactId>log4j-over-slf4j</artifactId> </exclusion> </exclusions> </dependency> <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.11</artifactId> <version>0.8.2.1</version> </dependency> <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client</artifactId> <version>1.0.1.1</version> </dependency>
* 方案二:把kafka和hbase中的slf4j-log4j12 依赖排除;
<dependency> <groupId>org.apache.storm</groupId> <artifactId>storm-core</artifactId> <version>0.9.5</version> <scope>provided</scope> <exclusions> <exclusion> <groupId>org.slf4j</groupId> <artifactId>log4j-over-slf4j</artifactId> </exclusion> <exclusion> <groupId>org.slf4j</groupId> <artifactId>slf4j-api</artifactId> </exclusion> </exclusions> --> </dependency> <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka_2.11</artifactId> <version>0.8.2.1</version> <exclusions> <exclusion> <groupId>org.slf4j</groupId> <artifactId>slf4j-log4j12</artifactId> </exclusion> <exclusion> <groupId>log4j</groupId> <artifactId>log4j</artifactId> </exclusion> </exclusions> </dependency> <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-client</artifactId> <version>1.0.1.1</version> <exclusions> <exclusion> <groupId>org.slf4j</groupId> <artifactId>slf4j-log4j12</artifactId> </exclusion> <exclusion> <groupId>log4j</groupId> <artifactId>log4j</artifactId> </exclusion> </exclusions> </dependency><!-- <dependency> <groupId>org.apache.hbase</groupId> <artifactId>hbase-common</artifactId> <version>1.0.1.1</version> </dependency> --> <dependency> <groupId>redis.clients</groupId> <artifactId>jedis</artifactId> <version>2.7.0</version> </dependency>
* 采用方案二便于集群发布
* storm的日志时采用的 SLF4J和Logback日志框架,所以自己写的storm代码统一使用 slf4j 的包,可以避免大多数包冲突问题。
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
public class MyBolt {
private static final Logger LOG = LoggerFactory
.getLogger(MyBolt.class);
}
---》参考
http://www.tuicool.com/articles/aIzyqiy
http://stackoverflow.com/questions/21630860/storm-topology-not-submit
http://blog.csdn.net/gongmf/article/details/40379547
- storm、hbase、kafka整合过程中遇到的log4j冲突问题
- Storm HBase遇到的问题
- storm 使用过程中遇到的问题
- Hbase安装过程中遇到的问题
- Storm-Kafka-Hbase 性能问题
- Storm、Kafka、Hbase 整合 java 例子
- kafka+storm+hbase整合试验(Wordcount)
- Storm开发过程中遇到的Topology “hang"问题
- hbase与storm的冲突
- Kafka 消费过程中遇到的一些问题
- SSH整合---遇到的包冲突问题
- hbase测试过程中遇到的一些问题及解决方案
- flume+kafka+storm整合02---问题
- 105-storm 整合 kafka之保存HBase数据库
- S2SH框架整合过程中遇到的问题
- spring4整合Hibernate4过程中遇到的事物管理问题
- struts2+hibernate+spring整合过程中遇到的问题
- Storm+Kafka+Hbase的wordcount统计
- c++第三次实验
- c语言定义max赋值和函数求平均分的问题
- C++走向远洋——34(友元函数,成员函数和一般函数的区别)
- malloc/free与new/delete异同点
- CQOI2016 day1 总结
- storm、hbase、kafka整合过程中遇到的log4j冲突问题
- iOS开发---阿里巴巴IconFont适配技术
- vi基本操作
- 解决 hybird 应用中重复获取 WebView,导致页面元素无法识别的问题
- 认识 Markdown
- setsockopt 设置 SO_LINGER 选项
- Java获取Tomcat启动中的spring管理的容器注入的实体,用来获取相应的bean
- 操作系统设计与实现 第一章 引言(三)
- Android Studio的基本操作及与SVN的相关关联操作