Spring Boot 使用 logback、logstash、ELK 记录日志文件的方法
spring boot 下,尝试使用 log4j 记录日志到 logstash,在src/main/resources 目录下添加 log4j.properties 文件进行自定义输出日志文件,未能成功。在 application.yml 中 配置 logging path 打印日志成功了,但是未能调试成功日志分文件记录。网上查阅资料,说是 spring boot 默认使用 logback 记录日志。log4j 多次尝试后无果,遂改为使用 logback 记录,最终测试成功。
1. 关于 spring boot 日志文件路径的疑惑?
同时配置了 logging.path 和 logging.file 属性,如下配置:
logging: path: /var/log file: test.log
仅仅只会在项目根路径下产生 test.log 文件,不会在指定路径下产生日志文件(期望日志路径为:logging.path + logging.file)。
原因:spring boot 中的 logging.path 和 logging.file 这2个属性,只需要配置其中之一即可,如果同时配置,则使用 logging.file 属性。
当配置了 loggin.path 属性时,将在该路径下生成 spring.log 文件,即:此时使用默认的日志文件名 spring.log。
当配置了 loggin.file 属性时,将在指定路径下生成指定名称的日志文件。默认为项目相对路径,可以为 logging.file 指定绝对路径。
logging:
path: /var/logs # 在/var/logs目录下生成spring.log文件 file: /var/logs/test.log # 在/var/logs目录下生成test.log文件
2. logback 取代 log4j的理由:
以下来在网络摘抄:
logback 和 log4j 是非常相似的,如果你对 log4j 很熟悉,那对 logback 很快就会得心应手。下面列了 logback 相对于 log4j 的一些优点:
1、更快的实现 logback 的内核重写了,在一些关键执行路径上性能提升10倍以上。而且logback 不仅性能提升了,初始化内存加载也更小了。
2、非常充分的测试 logback 经过了几年,数不清小时的测试。logback 的测试完全不同级别的。在作者的观点,这是简单重要的原因选择 logback 而不是 log4j。
3、logback-classic 非常自然实现了 slf4j logback-classic 实现了 slf4j。在使用slf4j中,你都感觉不到 logback-classic。而且因为 logback-classic 非常自然地实现了slf4j,所以切换到 log4j 或者其他,非常容易,只需要提供成另一个 jar 包就 ok,根本不需要去动那些通过 slf4japi 实现的代码。
4、非常充分的文档,官方网站有两百多页的文档。
5、自动重新加载配置文件,当配置文件修改了,logback-classic能自动重新加载配置文件。扫描过程快且安全,它并不需要另外创建一个扫描线程。这个技术充分保证了应用程序能跑得很欢在jee环境里面。
6、lilith,lilith 是 log 事件的观察者,和 log4j 的 chainsaw 类似。而 lilith 还能处理大数量的 log 数据 。
7、谨慎的模式和非常友好的恢复,在谨慎模式下,多个 fileappender 实例跑在多个 jvm 下,能够安全地写道同一个日志文件。rollingfileappender 会有些限制。logback 的fileappender 和它的子类包括 rollingfileappender 能够非常友好地从 i/o 异常中恢复。
8、配置文件可以处理不同的情况,开发人员经常需要判断不同的 logback 配置文件在不同的环境下(开发,测试,生产)。而这些配置文件仅仅只有一些很小的不同,可以通过,和来实现,这样一个配置文件就可以适应多个环境。
9、filters(过滤器),有些时候,需要诊断一个问题,需要打出日志。在log4j,只有降低日志级别,不过这样会打出大量的日志,会影响应用性能。在 logback,你可以继续保持那个日志级别而除掉某种特殊情况,如 alice 这个用户登录,她的日志将打在 debug 级别而其他用户可以继续打在warn 级别。要实现这个功能只需加4行xml配置。可以参考 mdcfilter 。
10、siftingappender(一个非常多功能的appender) 它可以用来分割日志文件根据任何一个给定的运行参数。如,siftingappender 能够区别日志事件跟进用户的 session,然后每个用户会有一个日志文件。
11、自动压缩已经打出来的 log,rollingfileappender 在产生新文件的时候,会自动压缩已经打出来的日志文件。压缩是个异步过程,所以甚至对于大的日志文件,在压缩过程中应用不会受任何影响。
12、堆栈树带有包版本,logback在打出堆栈树日志时,会带上包的数据。
13、自动去除旧的日志文件,通过设置 timebasedrollingpolicy 或者sizeandtimebasedfnatp 的 maxhistory 属性,你可以控制已经产生日志文件的最大数量。如果设置 maxhistory 12,那那些 log 文件超过12个月的都会被自动移除。
总之,logback 比 log4j 太优秀了,让我们的应用全部建立 logback 上吧 !
3. 引入 logback 到项目中
添加包依赖,maven style:
<dependency> <groupid>org.springframework.boot</groupid> <artifactid>spring-boot-starter-logging</artifactid> </dependency> <dependency> <groupid>net.logstash.logback</groupid> <artifactid>logstash-logback-encoder</artifactid> <version>4.11</version> </dependency> <dependency> <groupid>net.logstash.log4j</groupid> <artifactid>jsonevent-layout</artifactid> <version>1.7</version> </dependency>
4. 添加 logback.xml
添加 logback.xml 文件到 src/main/resources 目录下,系统会自动加载读取 logback.xml 配置。
logback.xml:
<?xml version="1.0" encoding="utf-8"?> <configuration scan="true" scanperiod="60 seconds" debug="false"> <include resource="org/springframework/boot/logging/logback/base.xml" /> <contextname>logback</contextname> <!-- 记录文件到特定目录 --> <!-- <property name="log.path" value="e:\\test\\logback.log" /> --> <property name="log.path" value="/users/chang/desktop/chlogs/logback.log" /> <appender name="stash" class="net.logstash.logback.appender.logstashtcpsocketappender"> <destination>192.168.220.83:9601</destination> <encoder class="net.logstash.logback.encoder.logstashencoder" /> </appender> <!--输出到控制台--> <appender name="console" class="ch.qos.logback.core.consoleappender"> <!-- <filter class="ch.qos.logback.classic.filter.thresholdfilter"> <level>error</level> </filter>--> <encoder> <pattern>%d{hh:mm:ss.sss} %contextname [%thread] %-5level %logger{36} - %msg%n</pattern> </encoder> </appender> <!--输出到文件--> <appender name="file" class="ch.qos.logback.core.rolling.rollingfileappender"> <file>${log.path}</file> <rollingpolicy class="ch.qos.logback.core.rolling.timebasedrollingpolicy"> <filenamepattern>logback.%d{yyyy-mm-dd}.log</filenamepattern> </rollingpolicy> <encoder> <pattern>%d{hh:mm:ss.sss} %contextname [%thread] %-5level %logger{36} - %msg%n</pattern> </encoder> </appender> <root level="info"> <appender-ref ref="stash"/> <appender-ref ref="console" /> <appender-ref ref="file" /> </root> <!-- logback为 java 中的包 <logger name="com.dudu.controller"/> logback.logbackdemo:类的全路径 <logger name="com.dudu.controller.learncontroller" level="warn" additivity="false"> <appender-ref ref="console"/> </logger> --> </configuration>
5. logstash-logback-encoder 版本问题
在 spring-boot 中,如果使用 logstash-logback-encoder ,可能需要告诉 maven 具体的版本号以此避免包依赖冲突。例如可以像下面这样设置 logback-core, logback-classic, and logback-access 的 dependencies:
<properties> <ch.qos.logback.version>1.2.3</ch.qos.logback.version> </properties> <dependencymanagement> <dependencies> <dependency> <groupid>ch.qos.logback</groupid> <artifactid>logback-core</artifactid> <version>${ch.qos.logback.version}</version> </dependency> <dependency> <groupid>ch.qos.logback</groupid> <artifactid>logback-classic</artifactid> <version>${ch.qos.logback.version}</version> </dependency> <dependency> <groupid>ch.qos.logback</groupid> <artifactid>logback-access</artifactid> <version>${ch.qos.logback.version}</version> </dependency> </dependencies> </dependencymanagement>
6. logstash 服务搭建
参考:
总结
以上所述是小编给大家介绍的spring boot 使用 logback、logstash、elk 记录日志文件的方法,希望对大家有所帮助