Kafka学习笔记之Kafka自身操作日志的清理方法(非Topic数据)

网友投稿 547 2022-11-01

Kafka学习笔记之Kafka自身操作日志的清理方法(非Topic数据)

0x00 概述

本文主要讲Kafka自身操作日志的清理方法(非Topic数据),Topic数据自己有对应的删除策略,请看​​这里​​。

Kafka长时间运行过程中,在kafka/logs目录下产生了大量的kafka-request.log.*和server.log.*文件,其中*代表日期和时间,比如kafka-request.log.2018-12-08-03和server.log.2018-12-06-03,这些文件对磁盘空间的消耗非常大,需要定期备份或者清理。目前没有发现kafka自身提供了这些操作日志备份或者清理的方法,需要用户自己实现。

0x01 更改日志输出级别

在Kafka安装目录,config/log4j.properties中日志的级别设置的是TRACE,在长时间运行过程中产生的日志大小吓人,所以如果没有特殊需求,强烈建议将其更改成INFO级别。具体修改方法如下所示,将config/log4j.properties文件中最后的几行中的TRACE改成INFO,修改前如下所示:

log4j.logger.kafka.network.RequestChannel$=TRACE, requestAppenderlog4j.additivity.kafka.network.RequestChannel$=false#log4j.logger.kafka.network.Processor=TRACE, requestAppender#log4j.logger.kafka.server.KafkaApis=TRACE, requestAppender#log4j.additivity.kafka.server.KafkaApis=falselog4j.logger.kafka.request.logger=TRACE, requestAppenderlog4j.additivity.kafka.request.logger=falselog4j.logger.kafka.controller=TRACE, controllerAppenderlog4j.additivity.kafka.controller=false log4j.logger.state.change.logger=TRACE, stateChangeAppenderlog4j.additivity.state.change.logger=false

修改后如下所示:

log4j.logger.kafka.network.RequestChannel$=INFO, requestAppenderlog4j.additivity.kafka.network.RequestChannel$=false#log4j.logger.kafka.network.Processor=INFO, requestAppender#log4j.logger.kafka.server.KafkaApis=INFO, requestAppender#log4j.additivity.kafka.server.KafkaApis=falselog4j.logger.kafka.request.logger=INFO, requestAppenderlog4j.additivity.kafka.request.logger=falselog4j.logger.kafka.controller=INFO, controllerAppenderlog4j.additivity.kafka.controller=falselog4j.logger.state.change.logger=INFO, stateChangeAppenderlog4j.additivity.state.change.logger=false

0x02 定期任务备份删除日志

备份操作日志的方式是定期拷贝操作日志到指定大容量存储设备,然后将其删除。我在项目中采取的方式是直接清理过期操作日志,方法非常简单,利用linux操作系统提供的crontab功能,定期清理操作日志,方法如下:

在/etc/crontab文件中添加删除操作日志的语句,然后执行crontab -f /etc/crontab命令即可,我的/etc/crontab文件如下所示,语句的含义是每4天在23:59执行清理操作:

[root@h10p11 logs]# vim /etc/crontab SHELL=/bin/bashPATH=/sbin:/bin:/usr/sbin:/usr/binMAILTO=rootHOME=/# For details see man 4 crontabs# Example of job definition:# .---------------- minute (0 - 59)# | .------------- hour (0 - 23)# | | .---------- day of month (1 - 31)# | | | .------- month (1 - 12) OR jan,feb,mar,apr ...# | | | | .---- day of week (0 - 6) (Sunday=0 or 7) OR sun,mon,tue,wed,thu,fri,sat# | | | | |# * * * * * user-name command to be executed59 23 */4 * * rm -fr /root/kafka/kafka_2.8.0-0.8.0/logs/*-*-*

直接修改/etc/crontab文件重启机器不用重复设置。

或者采用如下的定时任务:

3.1 .删除文件命令

find 对应目录 -mtime +天数 -name "文件名" -exec rm -rf {} \;

实例命令:

find /opt/soft/log/ -mtime +30 -name "*.log" -exec rm -rf {} \;

说明:

将/opt/soft/log/目录下所有30天前带".log"的文件删除。

具体参数说明如下:

find:linux的查找命令,用户查找指定条件的文件;/opt/soft/log/:想要进行清理的任意目录;-mtime:标准语句写法;+30:查找30天前的文件,这里用数字代表天数;"*.log":希望查找的数据类型,"*.jpg"表示查找扩展名为jpg的所有文件,"*"表示查找所有文件,这个可以灵活运用,举一反三;-exec:固定写法;rm -rf:强制删除文件,包括目录;{} \; :固定写法,一对大括号+空格+\+;

3.2 添加计划任务

若嫌每次手动执行语句太麻烦,可以将这小语句写到一个可执行shell脚本文件中,再设置cron调度执行,那就可以让系统自动去清理相关文件。

3.2.1 创建shell:

touch /opt/soft/bin/auto-del-30-days-ago-log.shchmod +x auto-del-30-days-ago-log.sh

新建一个可执行文件auto-del-30-days-ago-log.sh,并分配可运行权限

3.2.2 编辑shell脚本

vi auto-del-30-days-ago-log.sh

编辑auto-del-30-days-ago-log.sh文件如下:

#!/bin/shfind /opt/soft/log/ -mtime +30 -name "*.log" -exec rm -rf {} \;

ok,保存退出(:wq)。

3.2.3 计划任务

# crontab -e

将auto-del-30-days-ago-log.sh执行脚本加入到系统计划任务,到点自动执行

输入:

10 0 * * * /opt/soft/log/auto-del-7-days-ago-log.sh

这里的设置是每天凌晨0点10分执行auto-del-7-days-ago-log.sh文件进行数据清理任务了

版权声明:本文内容由网络用户投稿,版权归原作者所有,本站不拥有其著作权,亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容,请联系我们jiasou666@gmail.com 处理,核实后本网站将在24小时内删除侵权内容。

上一篇:rs485接口EMC电路设计方案(防雷/滤波及防护电路原理图)
下一篇:Kafka学习笔记之如何永久删除Kafka的Topic
相关文章

 发表评论

暂时没有评论,来抢沙发吧~