springboot【20】日志管理之log4j实现http请求日志入mongodb
来源:互联网 发布:发票软件哪里下载 编辑:程序博客网 时间:2024/05/16 16:21
当我们在集群中部署应用之后,应用请求的日志被分散记录在了不同应用服务器的文件系统上,这样分散的存储并不利于我们对日志内容的检索。解决日志分散问题的方案多种多样,本文思路以扩展log4j实现将日志写入MongoDB。
准备工作
以springboot【19】日志管理之使用AOP统一处理Web请求日志 为基础,进行本功能的改造。该工程实现了一个简单的REST接口,一个对web层的切面,并在web层切面前后记录http请求的日志内容。
通过自定义appender实现
思路:log4j提供的输出器实现自Appender接口,要自定义appender输出到MongoDB,只需要继承AppenderSkeleton类,并实现几个方法即可完成。
引入mongodb的驱动
在pom.xml中引入下面依赖
<dependency> <groupId>org.mongodb</groupId> <artifactId>mongodb-driver</artifactId> <version>3.2.2</version></dependency>
实现MongoAppender
编写MongoAppender.java类继承AppenderSkeleton,实现如下:
package com.lyd.log;import org.apache.log4j.AppenderSkeleton;import org.apache.log4j.spi.LoggingEvent;import org.bson.codecs.BsonRegularExpressionCodec;import com.mongodb.BasicDBObject;import com.mongodb.MongoClient;import com.mongodb.MongoClientURI;import com.mongodb.client.MongoCollection;import com.mongodb.client.MongoDatabase;public class MongoAppender extends AppenderSkeleton{private MongoClient mongoClient;private MongoDatabase mongoDatabase;private MongoCollection<BasicDBObject> logsCollection;private String connectionUrl;private String databaseName;private String collectionName;@Overrideprotected void append(LoggingEvent loggingEvent) {if(mongoDatabase == null){MongoClientURI connectionString = new MongoClientURI(connectionUrl);mongoClient = new MongoClient(connectionString);mongoDatabase = mongoClient.getDatabase(databaseName); logsCollection = mongoDatabase.getCollection(collectionName, BasicDBObject.class);}logsCollection.insertOne((BasicDBObject) loggingEvent.getMessage());}@Overridepublic void close() {if(mongoClient != null){mongoClient.close();}}@Overridepublic boolean requiresLayout() {return false;}// get/set方法public String getConnectionUrl() {return connectionUrl;}public void setConnectionUrl(String connectionUrl) {this.connectionUrl = connectionUrl;}public String getDatabaseName() {return databaseName;}public void setDatabaseName(String databaseName) {this.databaseName = databaseName;}public String getCollectionName() {return collectionName;}public void setCollectionName(String collectionName) {this.collectionName = collectionName;}}
定义MongoDB的配置参数,可通过log4j.properties配置:
- connectionUrl:连接mongodb的串
- databaseName:数据库名
- collectionName:集合名
定义MongoDB的连接和操作对象,根据log4j.properties配置的参数初始化:
- mongoClient:mongodb的连接客户端
- mongoDatabase:记录日志的数据库
- logsCollection:记录日志的集合
重写append函数:
- 根据log4j.properties中的配置创建mongodb连接
- LoggingEvent提供getMessage()函数来获取日志消息
- 往配置的记录日志的collection中插入日志消息
重写close函数:关闭mongodb的
配置log4j.properties
设置名为mongodb的logger:
- 记录INFO级别日志
- appender实现为com.didispace.log.MongoAppende
- mongodb连接地址:mongodb://localhost:27017
- mongodb数据库名:logs
- mongodb集合名:logs_request
# LOG4J配置log4j.rootCategory=INFO, stdoutlog4j.logger.mongodb==INFO, mongodb# 控制台输出log4j.appender.stdout=org.apache.log4j.ConsoleAppenderlog4j.appender.stdout.layout=org.apache.log4j.PatternLayoutlog4j.appender.stdout.layout.ConversionPattern=%d{yyyy-MM-dd HH:mm:ss,SSS} %5p %c{1}:%L - %m%n# mongodb输出log4j.appender.mongodb=com.lyd.log.MongoAppenderlog4j.appender.mongodb.connectionUrl=mongodb://localhost:27017log4j.appender.mongodb.databaseName=logslog4j.appender.mongodb.collectionName=logs_request
切面中使用mongodb logger
修改后的代码如下,主要做了以下几点修改:
- logger取名为mongodb的
- 通过getBasicDBObject函数从HttpServletRequest和JoinPoint对象中获取请求信息,并组装成BasicDBObject
- getHeadersInfo函数从HttpServletRequest中获取header信息
- 通过logger.info(),输出BasicDBObject对象的信息到mongodb
package com.lyd.aspect;import java.util.Arrays;import java.util.Enumeration;import java.util.HashMap;import java.util.Map;import javax.servlet.http.HttpServletRequest;import org.apache.log4j.Logger;import org.aspectj.lang.JoinPoint;import org.aspectj.lang.annotation.AfterReturning;import org.aspectj.lang.annotation.Aspect;import org.aspectj.lang.annotation.Before;import org.aspectj.lang.annotation.Pointcut;import org.springframework.core.annotation.Order;import org.springframework.stereotype.Component;import org.springframework.web.context.request.RequestContextHolder;import org.springframework.web.context.request.ServletRequestAttributes;import com.mongodb.BasicDBObject;@Aspect@Order(1)@Componentpublic class WebLogAspect {private Logger logger = Logger.getLogger("mongodb");ThreadLocal<Long> startTime = new ThreadLocal<>();@Pointcut("execution(public * com.lyd.web..*.*(..))")public void webLog(){}@Before("webLog()")public void doBefore(JoinPoint joinPoint) throws Throwable{startTime.set(System.currentTimeMillis());//接收到请求,记录请求内容ServletRequestAttributes attributes = (ServletRequestAttributes) RequestContextHolder.getRequestAttributes();HttpServletRequest request = attributes.getRequest();//获取要记录的日志内容BasicDBObject logInfo = getBasicDBObject(request, joinPoint);logger.info(logInfo);}private BasicDBObject getBasicDBObject(HttpServletRequest request,JoinPoint joinPoint){//基本信息BasicDBObject r = new BasicDBObject(); r.append("requestURL", request.getRequestURL().toString()); r.append("requestURI", request.getRequestURI()); r.append("queryString", request.getQueryString()); r.append("remoteAddr", request.getRemoteAddr()); r.append("remoteHost", request.getRemoteHost()); r.append("remotePort", request.getRemotePort()); r.append("localAddr", request.getLocalAddr()); r.append("localName", request.getLocalName()); r.append("method", request.getMethod()); r.append("headers", getHeadersInfo(request)); r.append("parameters", request.getParameterMap()); r.append("classMethod", joinPoint.getSignature().getDeclaringTypeName() + "." + joinPoint.getSignature().getName()); r.append("args", Arrays.toString(joinPoint.getArgs()));return r;}private Map<String, String> getHeadersInfo(HttpServletRequest request){ Map<String, String> map = new HashMap<>(); Enumeration headerNames = request.getHeaderNames(); while(headerNames.hasMoreElements()){ String key = (String) headerNames.nextElement(); String value = request.getHeader(key); map.put(key, value); } return map;}}
说明:
上述内容主要提供一个思路去实现自定义日志的输出和管理。我们可以通过jdbc实现日志记录到mongodb,也可以通过spring-data-mongo来记录到mongodb,当然我们也可以输出到其他数据库,或者输出到消息队列等待其他后续处理等。
对于日志记录到mongodb,也可以直接使用log4mongo实现更为方便快捷。
下面是完整项目结构:
- springboot【20】日志管理之log4j实现http请求日志入mongodb
- Spring Boot中使用log4j实现http请求日志入mongodb
- Spring Boot中使用log4j实现http请求日志入mongodb
- springboot【18】日志管理之log4j
- dubbo2.5-spring4-mybastis3.2-springmvc4-mongodb3.4-redis3.2整合(四)Spring AOP中使用log4j实现http请求日志入mongodb
- Spring boot 使用logback AOP实现HTTP请求日志入MongoDB
- log4j 实现日志管理
- SpringBoot进阶之AOP统一处理http请求日志
- selenium之日志管理-log4j
- SpringBoot启用log4j日志
- SpringBoot启用log4j日志
- springboot【19】日志管理之使用AOP统一处理Web请求日志
- springboot【17】日志管理之logback
- SpringBoot配置log4j输出日志
- SpringBoot日志管理
- Springboot 整合日志管理
- SpringBoot的日志管理
- SpringBoot的日志管理
- iOS FM源码、OFO共享单车源码、股票K线分时线源码等
- css-3.尺寸和颜色
- 设置meta标签 清除页面缓存,如:<meta http-equiv="Cache-Control" content="no-cache"/>
- centOS中mysql/mariaDB一些常用操作命令
- Unity鼠标点击手势识别(上、下、左、右滑动)
- springboot【20】日志管理之log4j实现http请求日志入mongodb
- 简单有趣的 NLP 教程:手把手教你用 PyTorch 辨别自然语言(附代码)
- 住建部BIM标准成功获批联袂国建融科合创打造BIM数据库
- 正态分布
- windows环境下在python2.7下安装Scrapy
- Mybatis中model内置方法细解
- <C语言>数组与指针详细知识点(全)
- 移动端web禁止长按选择文字以及弹出菜单
- 事物的隔离级别和传播特性