python日志模块logging

日志记录框架:
    1. logger 我们在进行日志记录时创建的对象,我们可以调用它的方法传入日志模版和信息,生成log Record
    2. log Record 生成的一条条记录
    3. Handler 处理日志的类,将log record 输出到指定的路径
    4. Formatter 格式化,每一个log Record都是一个对象,我们需要将他格式化.通过Formatter将对象转成字符串返回给handler
    5. Filter 过滤 筛选
    6. Parent Handler handler之间存在分层关系,通过的handler之间可以共享相同功能的代码

logging模块提供了两种记录日志的方式：

使用logging提供的模块级别的函数记录日志

 

最简单的俩种日志输出：

import logging
# 创建日志记录
logging.debug("This is a debug log.")
logging.info("This is a info log.")
logging.warning("This is a warning log.")
logging.error("This is a error log.")
logging.critical("This is a critical log.")

import logging
# 创建日志记录
logging.log(logging.DEBUG, "This is a debug log.")
logging.log(logging.INFO, "This is a info log.")
logging.log(logging.WARNING, "This is a warning log.")
logging.log(logging.ERROR, "This is a error log.")
logging.log(logging.CRITICAL, "This is a critical log.")

输出结果:

WARNING:root:This is a warning log.
ERROR:root:This is a error log.
CRITICAL:root:This is a critical log.

为什么输出的为3条记录?

        这是因为logging模块提供的日志记录函数所使用的日志器设置的日志级别默认是WARNING，因此只有WARNING级别的日志记录以及大于它的日志记录被输出。

logger的level之间的级别:

        NOTSET < DEBUG < INFO < WARNING < ERROR < CRITICAL

logging.basicConfig()函数说明:

        用于指定“要记录的日志级别”、“日志格式”、“日志输出位置”、“日志文件的打开模式”等信息，其他几个都是用于记录各个级别日志的函数，对root logger进行一次性配置。

logging.basicConfig()参数：

参数名称	描述
filename	指定日志输出目标文件的文件名，指定该设置项后日志信心就不会被输出到控制台了
filemode	指定日志文件的打开模式，默认为'a'。需要注意的是，该选项要在filename指定时才有效
format	指定日志格式字符串，即指定日志输出时所包含的字段信息以及它们的顺序。logging模块定义的格式字段下面会列出。
datefmt	指定日期/时间格式。需要注意的是，该选项要在format中包含时间字段%(asctime)s时才有效
level	指定日志器的日志级别
stream	指定日志输出目标stream，如sys.stdout、sys.stderr以及网络stream。需要说明的是，stream和filename不能同时提供，否则会引发 ValueError异常
style	Python 3.2中新添加的配置项。指定format格式字符串的风格，可取值为'%'、'{'和'$'，默认为'%'
handlers	Python 3.3中新添加的配置项。该选项如果被指定，它应该是一个创建了多个Handler的可迭代对象，这些handler将会被添加到root logger。需要说明的是：filename、stream和handlers这三个配置项只能有一个存在，不能同时出现2个或3个，否则会引发ValueError异常。

 format格式化字段：

字段/属性名称	使用格式	描述
asctime	%(asctime)s	日志事件发生的时间--人类可读时间，如：2003-07-08 16:49:45,896
created	%(created)f	日志事件发生的时间--时间戳，就是当时调用time.time()函数返回的值
relativeCreated	%(relativeCreated)d	日志事件发生的时间相对于logging模块加载时间的相对毫秒数（目前还不知道干嘛用的）
msecs	%(msecs)d	日志事件发生事件的毫秒部分
levelname	%(levelname)s	该日志记录的文字形式的日志级别（'DEBUG', 'INFO', 'WARNING', 'ERROR', 'CRITICAL'）
levelno	%(levelno)s	该日志记录的数字形式的日志级别（10, 20, 30, 40, 50）
name	%(name)s	所使用的日志器名称，默认是'root'，因为默认使用的是 rootLogger
message	%(message)s	日志记录的文本内容，通过 msg % args计算得到的
pathname	%(pathname)s	调用日志记录函数的源码文件的全路径
filename	%(filename)s	pathname的文件名部分，包含文件后缀
module	%(module)s	filename的名称部分，不包含后缀
lineno	%(lineno)d	调用日志记录函数的源代码所在的行号
funcName	%(funcName)s	调用日志记录函数的函数名
process	%(process)d	进程ID
processName	%(processName)s	进程名称，Python 3.1新增
thread	%(thread)d	线程ID
threadName	%(thread)s	线程名称

 所以我们通过basicConfig()的相关设置就能进行格式化，配置存储的路径，存储的字段和日志的信息。

import logging
# 配置level级别,以及format格式化的运行时间,模块名称,日志级别,日志内容
logging.basicConfig(level=logging.INFO, format='%(asctime)s - %(name)s - %(levelname)s - %(message)s')
# 创建记录
logging.info('This is a log info')
logging.warning('Warning exists')
logging.info('Finish')

输出：

2018-07-17 17:58:40,287 - root - INFO - This is a log info
2018-07-17 17:58:40,287 - root - WARNING - Warning exists
2018-07-17 17:58:40,287 - root - INFO - Finish

设置下日期/时间格式和存储的路径：

import logging
# 配置level级别,以及format格式化的运行时间,模块名称,日志级别,日志内容,日志保存的路径
logging.basicConfig(level=logging.INFO, datefmt='%Y/%m/%d %H:%M',filename='output.log',format='%(asctime)s - %(name)s - %(levelname)s - %(message)s')
# 创建记录
logging.info('This is a log info')
logging.warning('Warning exists')
logging.info('Finish')

通过getlogger()方法创建日志器

import logging
logging.basicConfig(level=logging.INFO, datefmt='%Y/%m/%d %H:%M',format='%(asctime)s - %(name)s - %(levelname)s - %(message)s')
# 创建日志器,每一个日志器都是唯一的
logger1 = logging.getLogger(__name__) # __name__代表的是__main__
logger2 = logging.getLogger('logger2')
logger3 = logging.getLogger('logger3')

# 创建记录
logger1.info('This is a log info')
logger2.warning('Warning exists')
logger3.error('error')

输出:

2018/07/17 18:14 - __main__ - INFO - This is a log info
2018/07/17 18:14 - logger2 - WARNING - Warning exists
2018/07/17 18:14 - logger3 - ERROR - error

关于logging.basicConfig()的说明

1. 只有在第一次调用该函数时会起作用,多次调用不会累加
2. 它所使用的日志器是RootLogger类的实例,其名称为'root'，它是处于日志器层级关系最顶层的日志器，且该实例是以单例模式存在的。
3. logging.info()等方法的定义中 ,除了msg和args参数外，还有一个**kwargs参数。它们支持3个关键字参数: exc_info, stack_info, extra

 exc_info = True 有异常的时候会输出异常信息,没有会输出None

stack_info = True 会将栈信息将会被添加到日志信息中

extra = {} 它可以用来自定义消息格式中所包含的字段，但是它的key不能与logging模块定义的字段冲突

 logging模块日志流处理流程

 logging日志模块四大组件:

组件名称	对应类名	功能描述
日志器	Logger	提供了应用程序可一直使用的接口
处理器	Handler	将logger创建的日志记录发送到合适的目的输出
过滤器	Filter	提供了更细粒度的控制工具来决定输出哪条日志记录，丢弃哪条日志记录
格式器	Formatter	决定日志记录的最终输出格式

logging模块就是通过这些组件来完成日志处理的，上面所使用的logging模块级别的函数也是通过这些组件对应的类来实现的。

 

组件之间的关系:

• 日志器（logger）需要通过处理器（handler）将日志信息输出到目标位置，如：文件、sys.stdout、网络等；
• 不同的处理器（handler）可以将日志输出到不同的位置；
• 日志器（logger）可以设置多个处理器（handler）将同一条日志记录输出到不同的位置；
• 每个处理器（handler）都可以设置自己的过滤器（filter）实现日志过滤，从而只保留感兴趣的日志；
• 每个处理器（handler）都可以设置自己的格式器（formatter）实现同一条日志以不同的格式输出到不同的地方。

 

通过logging.getLogger()方法创建Logger类。可选参数 name mode

Logger类:

配置方法

Logger.setLevel()	设置日志器将会处理的日志消息的最低严重级别
Logger.addHandler() 和 Logger.removeHandler()	为该logger对象添加 和 移除一个handler对象
Logger.addFilter() 和 Logger.removeFilter()	为该logger对象添加 和 移除一个filter对象

创建日志记录:

Logger.debug(), Logger.info(), Logger.warning(), Logger.error(), Logger.critical()	创建一个与它们的方法名对应等级的日志记录
Logger.exception()	创建一个类似于Logger.error()的日志消息
Logger.log()	需要获取一个明确的日志level参数来创建一个日志记录

Logger.exception()将会输出堆栈追踪信息，另外通常只是在一个exception handler中调用该方法。

Handler类：

配置方法

Handler.setLevel()	设置handler将会处理的日志消息的最低严重级别
Handler.setFormatter()	为handler设置一个格式器对象
Handler.addFilter() 和 Handler.removeFilter()	为handler添加 和 删除一个过滤器对象

创建处理器

logging.StreamHandler	将日志消息发送到输出到Stream，如std.out, std.err或任何file-like对象。
logging.FileHandler	将日志消息发送到磁盘文件，默认情况下文件大小会无限增长
logging.handlers.RotatingFileHandler	将日志消息发送到磁盘文件，并支持日志文件按大小切割
logging.hanlders.TimedRotatingFileHandler	将日志消息发送到磁盘文件，并支持日志文件按时间切割
logging.handlers.HTTPHandler	将日志消息以GET或POST的方式发送给一个HTTP服务器
logging.handlers.SMTPHandler	将日志消息发送给一个指定的email地址
logging.NullHandler	该Handler实例会忽略error messages，通常被想使用logging的library开发者使用来避免'No handlers could be found for logger XXX'信息的出现。

Formater类:

logging.Formatter('%(asctime)s - %(levelname)s - %(module)s[%(lineno)d] - %(message)s')

 

该构造方法接收3个可选参数：

• fmt：指定消息格式化字符串，如果不指定该参数则默认使用message的原始值
• datefmt：指定日期格式字符串，如果不指定该参数则默认使用"%Y-%m-%d %H:%M:%S"
• style：Python 3.2新增的参数，可取值为 '%', '{'和 '$'，如果不指定该参数则默认使用'%'

使用logging四大组件记录日志

1. 需求

现在有以下几个日志记录的需求：

1）要求将所有级别的所有日志都写入磁盘文件中

2）all.log文件中记录所有的日志信息，日志格式为：日期和时间 - 日志级别 - 日志信息

3）error.log文件中单独记录error及以上级别的日志信息，日志格式为：日期和时间 - 日志级别 - 文件名[:行号] - 日志信息

4）要求all.log在每天凌晨进行日志切割
2. 分析

1）要记录所有级别的日志，因此日志器的有效level需要设置为最低级别--DEBUG;

2）日志需要被发送到两个不同的目的地，因此需要为日志器设置两个handler；另外，两个目的地都是磁盘文件，因此这两个handler都是与FileHandler相关的；

3）all.log要求按照时间进行日志切割，因此他需要用logging.handlers.TimedRotatingFileHandler; 而error.log没有要求日志切割，因此可以使用FileHandler;

4）两个日志文件的格式不同，因此需要对这两个handler分别设置格式器；

代码:

import logging
import logging.handlers
import datetime
# 创建日志器
import sys

logger = logging.getLogger('mylogger')
# 配置日志器级别
logger.setLevel(logging.DEBUG)

# 创建handler处理器

first_handler = logging.FileHandler(filename='error.log') # 设置名称
first_handler.setLevel(level=logging.ERROR) # 给处理器设置级别
first_handler.setFormatter(logging.Formatter('%(asctime)s - %(levelname)s - %(module)s[%(lineno)d] - %(message)s'))


second_handler = logging.handlers.TimedRotatingFileHandler(filename='all.log',when='midnight',interval=1,backupCount=7,atTime=datetime.time(0,0,0,0))
second_handler.setFormatter(logging.Formatter('%(asctime)s - %(levelname)s - %(message)s'))
# 输出到控制台
third_handler = logging.StreamHandler()
third_handler.setLevel(level=logging.ERROR)

# 配置处理器
logger.addHandler(first_handler)
logger.addHandler(second_handler)
logger.addHandler(third_handler)
# 创建记录
logger.debug('debug msg')
logger.info(' this is info')
logger.warning(' warning')
logger.error('error bug BUG')
logger.critical('critical')

这里我们没有再使用 basicConfig 全局配置，而是先声明了一个 Logger 对象，然后指定了其对应的 Handler 为 FileHandler 对象，然后 Handler 对象还单独指定了 Formatter 对象单独配置输出格式，最后给 Logger 对象添加对应的 Handler 即可，最后可以发现日志就会被输出到 文件中