python3高级知识--元类(metaclass)深度剖析

一、简介

　　在面向对象的程序设计中类和对象是其重要角色，我们知道对象是由类实例化而来，那么类又是怎么生成的呢？答案是通过元类。本篇文章将介绍元类相关知识，并剖析元类生成类的过程，以及元类的使用等内容，希望能帮助到正在学习python的同仁。　

一、一切皆对象

　　在python中有这样一句话“一切皆对象”，没错你所知道的dict、class、int、func等等都是对象，让我们来看以下一段代码来进行说明：

#!/usr/bin/env python3
# -*- coding:utf-8 -*-
# author:wd

class foo(object):
    pass


def func():
    print('func')


print(foo.__class__)
print(func.__class__)
print(int.__class__)
print(func.__class__.__class__)

结果：
<class 'type'>
<class 'function'>
<class 'type'>
<class 'type'>

说明：__class__方法用于查看当前对象由哪个类生成的，正如结果所见其中foo和int这些类(对象)都是由type创建，而函数则是由function类创建，而function类则也是由type创建，究其根本所有的这些类对象都是由type创建。这里的type就是python内置的元类，接下来谈谈type。

二、关于type

　　上面我们谈到了所有的类(对象)都是由type生成，那么不妨我们看看type定义，以下是python3.6中内置type定义部分摘抄：

class type(object):
    """
    type(object_or_name, bases, dict)
    type(object) -> the object's type
    type(name, bases, dict) -> a new type
    """
    def mro(self): # real signature unknown; restored from __doc__
        """
        mro() -> list
        return a type's method resolution order
        """
        return []

从描述信息中我们可以看到，type(object)->返回对象type类型，也就是我们常常使用该方法判断一个对象的类型，而type(name, bases, dict) -> 返回一个新的类(对象)。

让我们详细描述下这个语法： 

type(类名,该类所继承的父类元祖,该类对应的属性字典(k,v))

利用该语法我们来穿件一个类(对象)foo：

foo=type('foo',(object,),{'name':'wd'})

print(foo)
print(foo.name)

结果：
<class '__main__.foo'>
wd

当然也可以实例化这个类(对象)：

foo=type('foo',(object,),{'name':'wd'})

obj=foo()
print(obj.name)
print(obj)
print(obj.__class__)

结果：
wd
<__main__.foo object at 0x104482438>
<class '__main__.foo'>

这样创建方式等价于：

class foo(object):
    name='wd'

其实上面的过程也就是我们使用class定义类生成的过程，而type就是python中的元类。

三、元类

什么是元类

经过以上的介绍，说白了元类就是创建类的类，有点拗口，姑且把这里称为可以创建类对象的类。列如type就是元类的一种，其他的元类都是通过继承type或使用type生成的。通过元类我们可以控制一个类创建的过程，以及包括自己定制一些功能。 例如，下面动态的为类添加方法：

def get_name(self):
    print(self.name)


class mytype(type):
    def __new__(cls, cls_name, bases, dict_attr):
        dict_attr['get_name'] = get_name  #将get_name 作为属性添加到类属性中
        return super(mytype, cls).__new__(cls, cls_name, bases, dict_attr)


class foo(metaclass=mytype):
    def __init__(self, name):
        self.name = name


obj = foo('wd')
obj.get_name()#调用该方法
结果：
wd

以上示例说明：

1.mytype是继承了type，也就是说继承了其所有的功能与特性，所以它也具有创建类的功能，所以它也是元类；

2.类foo中使用了metaclass关键字，表明该类由mytype进行创建。

3.创建foo类时候会先执行mytype的__new__方法(后续会这些方法进行更详细的说明)，并接受三个参数，cls_name, bases, dict_attr，在改方法中我们在类属性字典中添加了get_name属性，并将它与函数绑定，这样生成的类中就有了该方法。 

使用元类

　　了解类元类的作用，我们知道其主要目的就是为了当创建类时能够根据需求改变类，在以上的列子中我们介绍了使用方法，其中就像中关于对元类的使用建议一样，绝大多数的应用程序都非必需使用元类，并且使用它可能会对你的代码带来一定的复杂性，但是就元类的使用而言其实很简单，其场景在于：

1.对创建的类进行校验(拦截)；

2.修改类；

3.为该类定制功能；

使用元类是时候经典类和新式类时候有些不同，新式类通过参数metaclass,经典类通过__metaclass__属性：

class foo(metaclass=mytype): #新式类
    pass


class bar:  # 经典类
    __metaclass__ = mytype
    pass

　　在解释元类的时候有提到过，元类可以是type，也可以是继承type的类，当然还可以是函数，只要它是可调用的。但是有个必要的前提是该函数使用的是具有type功能的函数，否则生成的对象可能就不是你想要的(在后续的原理在进行讲解)。以下示例将给出使用函数作为元类来创建类：

def class_creater(cls_name, bases, dict_attr):
    return type(cls_name, bases, dict_attr)

class foo(metaclass=class_creater):

    def __init__(self,name):
        self.name=name


obj=foo('wd')
print(obj.name) #wd

原理

当我们使用class定义类时候，它会执行以下步骤：

1. 获取类名，以示例中class foo为例,类名是foo。
2. 获取父类，默认object，以元祖的形式，如(object,foo)
3. 获取类的属性字典(也叫名称空间)
4. 将这三个参数传递给元类(也就是metaclass参数指定的类)，如果没有metaclass参数则使用type生成类。

在这几个步骤中，前三个步骤没有什么可说的，但是对于元类生成类的这一过程接下来我们将详细介绍。 

元类创建类的过程

　　其实如果你对面向对象非常熟悉的话，其过程也是非常容易理解的，在介绍类生成的过程之前，我们需要对三个方法做充分的理解：__init__、__new__、__call__。

1. __init__ :通常用于初始化一个新实例，控制这个初始化的过程，比如添加一些属性， 做一些额外的操作，发生在类实例被创建完以后。它是实例级别的方法。触发方式为：类()
2. __new__ :通常用于控制生成一个类实例的过程，依照python官方文档的说法，__new__方法主要是当你继承一些不可变的时(比如int, str, tuple)， 提供给你一个自定义这些类的实例化过程的途径。它是类级别的方法。
3. __call__ :当类中有__call__方法存在时候，该类实列化的对象就是可调用的，触发方式为：对象()。

 

并且一个类在实例化的过程中执行顺序是先执行__new__在执行__init__(这是重点),以下用一个示例来说明：

class foo(object):
    def __init__(self, name):
        print('this is __init__')
        self.name = name

    def __new__(cls, *args, **kwargs):
        print('this is __new__')
        return object.__new__(cls)

    def __call__(self, *args, **kwargs):
        print("this is __call__")


obj=foo('wd')  # 实例化
obj() # 触发__call__

结果：
this is __new__
this is __init__
this is __call__

有了这个知识，再来看看使用元类生成类，以下代码定义来一个元类继承来type，我们重写__new__和__init__方法(其实什么也没干)，为了说明类的生成过程：

class mytype(type):
    def __init__(self, cls_name, bases, cls_attr):
        print("mytype __init__", cls_name, bases)

    def __new__(cls, cls_name, bases, cls_attr):
        print("mytype __new__", cls_name, bases)
        return super(mytype, cls).__new__(cls, cls_name, bases, cls_attr)


class foo(metaclass=mytype):
    def __init__(self, name):
        print('this is __init__')
        self.name = name

    def __new__(cls, *args, **kwargs):
        print('this is __new__')
        return object.__new__(cls)


print("line -------")
obj = foo('wd')  # 实例化


结果：
mytype __new__ foo ()
mytype __init__ foo ()
line -------
this is __new__
this is __init__

解释说明：

• 首先metaclass接受一个可调用的对象，而在这里该对象是一个类，也就是说会执行mytype(),并把cls_name,bases,cls_attr传递给mytype，这不就是mytype的示例化过程吗，所以你在结果中可以看到，分割线是在"mytype __new__”和“mytype __init__”之后输出，接下来在看mytype。

• mytype元类的实例化过程和普通类一样，先执行自己__new__方法，在执行自己的__init__方法，在这里请注意__new__方法是控制mytype类生成的过程，而__init__则是实例化过程，用于生成类foo。这样一来是不是对类的生成过程有了非常深刻的认识。 

这还不够清楚，在以上的示例中foo即是类，也是对象，它是由元类实例化的对象，那它执行foo(‘wd’)相当于是执行:对象(),即执行的是元类的__call__方法，那么在以上示例中我们在元类中加入__call__方法，看看在执行foo(‘wd’)会不会调用__call__:

class mytype(type):
    def __init__(self, cls_name, bases, cls_attr):
        print("mytype __init__", cls_name, bases)

    def __new__(cls, cls_name, bases, cls_attr):
        print("mytype __new__", cls_name, bases)
        return super(mytype, cls).__new__(cls, cls_name, bases, cls_attr)

    def __call__(self, *args, **kwargs):
        print('mytype __call__')


class foo(metaclass=mytype):
    def __init__(self, name):
        print('this is __init__')
        self.name = name

    def __new__(cls, *args, **kwargs):
        print('this is __new__')
        return object.__new__(cls)

    def __call__(self, *args, **kwargs):
        print("this is __call__")


print("before -------")
obj = foo('wd')  # 实例化
print("after -------")
print(obj)
结果：
mytype __new__ foo ()
mytype __init__ foo ()
before -------
mytype __call__
after -------
none

　　你会发现，当foo实例化时候执行了元类的__call__,你从python的一切皆对象的方式来看，一切都是顺理成章的，因为这里的foo其实是元类的对象，对象+()执行元类的__call__方法。请注意，在foo进行实例化时候返回的对象是none，这是因为__call__方法返回的就是none，所以在没有必要的前提下最好不要随意重写元类的__call__方法，这会影响到类的实例化。__call__方法在元类中作用是控制类生成时的调用过程。

　　通过__call__方法我们能得出结果就是__call__方法返回什么，我们最后得到的实例就是什么。还是刚才栗子，我们让foo实例化以后变成一个字符串：

class mytype(type):
    def __init__(self, cls_name, bases, cls_attr):
        print("mytype __init__", cls_name, bases)

    def __new__(cls, cls_name, bases, cls_attr):
        return super(mytype, cls).__new__(cls, cls_name, bases, cls_attr)

    def __call__(self, *args, **kwargs):
        return 'this is wd'


class foo(metaclass=mytype):
    def __init__(self, name):
        print('this is __init__')
        self.name = name

    def __new__(cls, *args, **kwargs):
        print('this is __new__')
        return object.__new__(cls)

    def __call__(self, *args, **kwargs):
        print("this is __call__")



obj = foo('wd')  # 实例化

print(type(obj),obj)

结果：
mytype __init__ foo ()
<class 'str'> this is wd

既然__call__方法返回什么，我们实例化生成的对象就是什么，那么在正常的流程是返回的是foo的对象，而foo的对象是由foo的__new__和foo的__init__生成的，所以在__call__方法的内部又有先后调用了foo类的__new__方法和__init__方法，如果我们重写元类的__call__方法，则应该调用对象的__new__和__init__，如下：

class mytype(type):
    def __init__(self, cls_name, bases, cls_attr):
        print("mytype __init__", cls_name, bases)

    def __new__(cls, cls_name, bases, cls_attr):
        return super(mytype, cls).__new__(cls, cls_name, bases, cls_attr)

    def __call__(self, *args, **kwargs):
        print("mytype __call__", )
        obj = self.__new__(self)
        print(self, obj)
        self.__init__(obj, *args, **kwargs)

        return obj


class foo(metaclass=mytype):
    def __init__(self, name):
        self.name = name

    def __new__(cls, *args, **kwargs):
        return object.__new__(cls)


obj = foo('wd')  # 实例化
print(obj.name)
结果：
mytype __init__ foo ()
mytype __call__
<class '__main__.foo'> <__main__.foo object at 0x1100c9dd8>
wd

　　同样，当函数作为元类时候，metaclass关键字会调用其对应的函数生成类，如果这个函数返回的不是类，而是其他的对象，那么使用该函数定义的类就得到的就是该对象，这也就是为什么我说使用函数作为元类时候，需要有type功能，一个简单的示例：

def func(cls_name, bases, dict_attr):
    return 'this is wd'


class foo(metaclass=func):
    def __init__(self, name):
        self.name = name

    def __new__(cls, *args, **kwargs):
        return object.__new__(cls)


print(foo, "|", type(foo)) # 结果：this is wd | <class 'str'>

obj=foo('wd') #报错

结语

    现在说python一切皆对象可以说非常到位了，因为它们要不是类的对象，要不就是元类的对象，除了type。再者元类本身其实是复杂的，只是我们在对这元类生成类的这一过程做了深度的分析，所以在我们编写的程序中可能极少会用到元类，除非有特殊的需求，比如动态的生成类、修改类的一些东西等，当然你想让你的代码看来“复杂”也可以尝试使用。但是在有些情况下(如在文章中提到的几个场景中)使用元类能更巧妙的解决很多问题，不仅如此你会发现元类在很多开源框架中也有使用，例如django、flask，你也可以借鉴其中的场景对自己的程序进行优化改进。