学习python的第二十一天(logging模块,程序日志模板)

6.11自我总结

1.logging模块

用于程序的运行日志

1.初级

#首先程序运行分会出现5中情况
1.logging.info('info')      #程序正常运行级别为10
2.logging.debug('debug')     #程序调试级别为20
3.logging.warning('warning')  #程序运行出现警告级别为30
4.logging.error('error')       #程序运行出现报错级别为40
5.logging.critica('critica')     #程序运行出现程序崩溃级别为50

2.完善他终端显示

1.用logging.basicconfig()配置文件来完成

import logging
logging.basicconfig(filename='access.log',
                    format='%(asctime)s - %(name)s - %(levelname)s -%(module)s: %(message)s',
                    datefmt='%y-%m-%d %h:%m:%s %p',
                    level=10)
#level 最低级别
#datefmt 时间格式
#format 日志内文本格式
#filename 保存文件名

logging.info('info')
logging.debug('debug')
logging.warning('warning')
logging.error('error')
logging.critical('critical')

2.不使用logging.basicconfig()来实现

import logging
# logging.basicconfig(filename='access.log',
#                     format='%(asctime)s - %(name)s - %(levelname)s -%(module)s: %(message)s',
#                     datefmt='%y-%m-%d %h:%m:%s %p',
#                     level=10)

#1.对于该执行文件我们对其产生日志
logger = logging.getlogger(__file__)  #__file__为执行文件的当前文件的绝对路径,被当模块调用时候是模块的绝对路径

#2.我们自定义文件是输出文件夹还是打印终端

#输出内容用函数logging.filehandler('文件路径')
show_fil = logging.filehandler('logger.log')
# 输出内容至终端显示用函数logging.streamhandler()

#3.设置格式
format_logger = logging.formatter('%(asctime)s - %(name)s - %(levelname)s -%(module)s: %(message)s',
                                  datefmt='%y-%m-%d %x')

#4.级别设置
logger.setlevel(10)

#5.格式与显示拼接  这一步我们可以不写,不写的话默认格式就是里面的内容了
show_fil.setformatter(format_logger)

#6.把logger进行添加
logger.addhandler(show_fil)


#7.执行测试 
logger.info('info')
logger.debug('debug')
logger.warning('warning')
logger.error('error')
logger.critical('critical')

3.格式里面设置的内容

常用

1.%(asctime)s

默认格式是 “2003-07-08 16:49:45,896”。逗号后面的是毫秒,用datefmt='%y-%m-%d %x'进行调整

2.%(name)s

logger的名字也就是其中的.getlogger里的路径,或者我们用他的文件名看我们填什么

3.%(levelname)s

级别的名称

4.%(module)s: %

调用日志输出函数的模块名

%(name)s logger的名字         #也就是其中的.getlogger里的路径,或者我们用他的文件名看我们填什么
%(levelno)s 数字形式的日志级别  #日志里面的打印的对象的级别
%(levelname)s 文本形式的日志级别 #级别的名称
%(pathname)s 调用日志输出函数的模块的完整路径名，可能没有
%(filename)s 调用日志输出函数的模块的文件名
%(module)s 调用日志输出函数的模块名
%(funcname)s 调用日志输出函数的函数名
%(lineno)d 调用日志输出函数的语句所在的代码行
%(created)f 当前时间，用unix标准的表示时间的浮 点数表示
%(relativecreated)d 输出日志信息时的，自logger创建以 来的毫秒数
%(asctime)s 字符串形式的当前时间。默认格式是 “2003-07-08 16:49:45,896”。逗号后面的是毫秒
%(thread)d 线程id。可能没有
%(threadname)s 线程名。可能没有
%(process)d 进程id。可能没有
%(message)s用户输出的消息

4.设置多个不同类型的日志

import os
import logging

# 1、logger对象：负责产生日志，然后交给filter过滤，然后交给不同的handler输出
logger = logging.getlogger(__file__)

# 2、filter对象：不常用，略

# 3、handler对象：接收logger传来的日志，然后控制输出
h1 = logging.filehandler('t1.log')  # 打印到文件
h2 = logging.filehandler('t2.log')  # 打印到文件
sm = logging.streamhandler()  # 打印到终端

# 4、formatter对象：日志格式
formmater1 = logging.formatter('%(asctime)s - %(name)s - %(levelname)s -%(module)s:  %(message)s',
                               datefmt='%y-%m-%d %h:%m:%s %p',)

formmater2 = logging.formatter('%(asctime)s :  %(message)s',
                               datefmt='%y-%m-%d %h:%m:%s %p',)

formmater3 = logging.formatter('%(name)s %(message)s',)


# 5、为handler对象绑定格式
h1.setformatter(formmater1)
h2.setformatter(formmater2)
sm.setformatter(formmater3)

# 6、将handler添加给logger并设置日志级别
logger.addhandler(h1)
logger.addhandler(h2)
logger.addhandler(sm)

# 设置日志级别，可以在两个关卡进行设置logger与handler
# logger是第一级过滤，然后才能到handler
logger.setlevel(30)
h1.setlevel(10)
h2.setlevel(10)
sm.setlevel(10)

# 7、测试
logger.debug('debug')
logger.info('info')
logger.warning('warning')
logger.error('error')
logger.critical('critical')

3.通用日志模板

1.定义模板

import os
import logging.config
#函数上面部分要根据你程序进行修改
# 定义三种日志输出格式 开始
standard_format = '[%(asctime)s][%(threadname)s:%(thread)d][task_id:%(name)s][%(filename)s:%(lineno)d]' \
                  '[%(levelname)s][%(message)s]'  # 其中name为getlogger()指定的名字；lineno为调用日志输出函数的语句所在的代码行
simple_format = '[%(levelname)s][%(asctime)s][%(filename)s:%(lineno)d]%(message)s'
id_simple_format = '[%(levelname)s][%(asctime)s] %(message)s'
# 定义日志输出格式 结束

logfile_dir = os.path.dirname(os.path.dirname(os.path.abspath(__file__)))  # log文件的目录，需要自定义文件路径 # atm
logfile_dir = os.path.join(logfile_dir, 'log')  # c:\users\oldboy\desktop\atm\log

logfile_name = 'log.log'  # log文件名，需要自定义路径名

# 如果不存在定义的日志目录就创建一个
if not os.path.isdir(logfile_dir):  # c:\users\oldboy\desktop\atm\log
    os.mkdir(logfile_dir)

# log文件的全路径
logfile_path = os.path.join(logfile_dir, logfile_name)  # c:\users\oldboy\desktop\atm\log\log.log
# 定义日志路径 结束

# log配置字典
logging_dic = {
    'version': 1,
    'disable_existing_loggers': false,
    'formatters': {
        'standard': {
            'format': standard_format
        },
        'simple': {
            'format': simple_format
        },
    },
    'filters': {},  # filter可以不定义
    'handlers': {
        # 打印到终端的日志
        'console': {
            'level': 'debug',
            'class': 'logging.streamhandler',  # 打印到屏幕
            'formatter': 'simple'
        },
        # 打印到文件的日志,收集info及以上的日志
        'default': {
            'level': 'info',
            'class': 'logging.handlers.rotatingfilehandler',  # 保存到文件
            'formatter': 'standard',
            'filename': logfile_path,  # 日志文件
            'maxbytes': 1024 * 1024 * 5,  # 日志大小 5m  (*****)
            'backupcount': 5,
            'encoding': 'utf-8',  # 日志文件的编码，再也不用担心中文log乱码了
        },
    },
    'loggers': {
        # logging.getlogger(__name__)拿到的logger配置。如果''设置为固定值logger1，则下次导入必须设置成logging.getlogger('logger1')
        '': {
            # 这里把上面定义的两个handler都加上，即log数据既写入文件又打印到屏幕
            'handlers': ['default', 'console'],
            'level': 'debug',
            'propagate': false,  # 向上（更高level的logger）传递
        },
    },
}


#函数部分记录的东西可以修改一下
def load_my_logging_cfg():
    logging.config.dictconfig(logging_dic)  # 导入上面定义的logging配置
    logger = logging.getlogger(__name__)  # 生成一个log实例
    logger.info('it works!')  # 记录该文件的运行状态可以自己修改


if __name__ == '__main__':
    load_my_logging_cfg()

2.调用模板

import time
import logging
import my_logging  # 导入自定义的logging配置

logger = logging.getlogger(__name__)  # 生成logger实例


def demo():
    logger.debug("start range... time:{}".format(time.time()))
    logger.info("中文测试开始。。。")
    for i in range(10):
        logger.debug("i:{}".format(i))
        time.sleep(0.2)
    else:
        logger.debug("over range... time:{}".format(time.time()))
    logger.info("中文测试结束。。。")


if __name__ == "__main__":
    my_logging.load_my_logging_cfg()  # 在你程序文件的入口加载自定义logging配置
    demo()

3.参数

console_handler = logging.streamhandler(sys. __stdout__)
console_handler.level = logging.debug
console_logger = logging.getlogger('test')
console_logger.addhandler(console_handler)
 
file_handler = logging.filehandler('log/test.log')
file_handler.level = logging.warning
file_logger = logging.getlogger('test.file')
file_logger.addhandler(file_handler)
 
console_logger.error('test')
file_logger.error('test')
 
console_logger.parent is root_logger
file_logger.parent is console_logger
console_logger.getchild('file') is file_logger
'''
每个 logger 都有个名字，以 ‘.’ 来划分继承关系。名字为空的就是 root_logger，console_logger 的名字是 ‘test’，因此 root_logger 是 console_logger 的 parent；而 file_logger 的名字是 ‘test.file’，因此 console_logger 是 file_logger 的 parent。

如果 logger 的 propagate 属性为 true（默认值），则它的记录也会传到父 logger。因此，file_logger 在记录到文件的同时，也会在 stdout 输出日志。
建议每个模块都用自己的 logger。
'''

4.django日志配置(学django后再深入了解)

# logging_config.py

logging = {
    'version': 1,
    'disable_existing_loggers': false,
    'formatters': {
        'standard': {
            'format': '[%(asctime)s][%(threadname)s:%(thread)d][task_id:%(name)s][%(filename)s:%(lineno)d]'
                      '[%(levelname)s][%(message)s]'
        },
        'simple': {
            'format': '[%(levelname)s][%(asctime)s][%(filename)s:%(lineno)d]%(message)s'
        },
        'collect': {
            'format': '%(message)s'
        }
    },
    'filters': {
        'require_debug_true': {
            '()': 'django.utils.log.requiredebugtrue',
        },
    },
    'handlers': {
        # 打印到终端的日志
        'console': {
            'level': 'debug',
            'filters': ['require_debug_true'],
            'class': 'logging.streamhandler',
            'formatter': 'simple'
        },
        # 打印到文件的日志,收集info及以上的日志
        'default': {
            'level': 'info',
            'class': 'logging.handlers.rotatingfilehandler',  # 保存到文件，自动切
            'filename': os.path.join(base_log_dir, "xxx_info.log"),  # 日志文件
            'maxbytes': 1024 * 1024 * 5,  # 日志大小 5m
            'backupcount': 3,
            'formatter': 'standard',
            'encoding': 'utf-8',
        },
        # 打印到文件的日志:收集错误及以上的日志
        'error': {
            'level': 'error',
            'class': 'logging.handlers.rotatingfilehandler',  # 保存到文件，自动切
            'filename': os.path.join(base_log_dir, "xxx_err.log"),  # 日志文件
            'maxbytes': 1024 * 1024 * 5,  # 日志大小 5m
            'backupcount': 5,
            'formatter': 'standard',
            'encoding': 'utf-8',
        },
        # 打印到文件的日志
        'collect': {
            'level': 'info',
            'class': 'logging.handlers.rotatingfilehandler',  # 保存到文件，自动切
            'filename': os.path.join(base_log_dir, "xxx_collect.log"),
            'maxbytes': 1024 * 1024 * 5,  # 日志大小 5m
            'backupcount': 5,
            'formatter': 'collect',
            'encoding': "utf-8"
        }
    },
    'loggers': {
        # logging.getlogger(__name__)拿到的logger配置
        '': {
            'handlers': ['default', 'console', 'error'],
            'level': 'debug',
            'propagate': true,
        },
        # logging.getlogger('collect')拿到的logger配置
        'collect': {
            'handlers': ['console', 'collect'],
            'level': 'info',
        }
    },
}


# -----------
# 用法:拿到俩个logger

logger = logging.getlogger(__name__)  # 线上正常的日志
collect_logger = logging.getlogger("collect")  # 领导说,需要为领导们单独定制领导们看的日志