欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页  >  IT编程

日志段信息过滤

程序员文章站 2022-06-24 14:45:14
在日常的日志解析当中,我们可能需要实现对日志中的某一特殊段进行信息的过滤, 下面介绍一下我的常用方法。 针对这个日志输出信息,其实我主要关注的是下面这个日志段内的信息 那么其实我就是想获取含有'loops-fast'这个字符串的数据,而过滤掉其他的干扰数据,我分为以下几个步骤实现 首先要确定边界值, ......

在日常的日志解析当中,我们可能需要实现对日志中的某一特殊段进行信息的过滤,

下面介绍一下我的常用方法。

日志段信息过滤

  

针对这个日志输出信息,其实我主要关注的是下面这个日志段内的信息

日志段信息过滤

    

  那么其实我就是想获取含有'loops-fast'这个字符串的数据,而过滤掉其他的干扰数据,我分为以下几个步骤实现

  • 首先要确定边界值,也就是你要截取的段的开头和结尾的特殊字段,这个很重要
  • 接着我们需要设置一个tag值,通过这个tag值我们可以判断当前是不是在需要过滤的日志段内
  • 编码的时候主要是通过tag值和关键字一起进行判断
  • 考虑到性能可以适当调整判断的顺序,也就是将需要大部分可能出现的判断提前了,并且在判断结束之后及时退出判断

  下面是实现的代码

    file_data = ""
    tag = 0
    with open(filename, "rb") as file:
        temp = str(file.read().decode('utf-8','ignore'))
        list = temp.split('\n')
        file.close()

    #主要过滤实现
    for line in list:
        if tag == 0:
            file_data = file_data + line + '\n'
        if "ir  file:function" in line:
            tag = 1
            file_data = file_data + '--------------------------------------------------------------------------------\n'
        if ‘loops-fast’ in line and tag == 1:
            file_data = file_data + line + '\n'
            functionir2dict(line,dire_ir)
        if "auto-annotated source" in line and tag == 1:
            tag = 0
            file_data = file_data + '--------------------------------------------------------------------------------\n'
            file_data = file_data + line + '\n'

    with open(filename,'w',encoding='utf-8') as file:
        file.write(file_data)
        file.close()