python中的迭代器、生成器、闭包和装饰器

迭代器

可迭代对象：

list, str, tuple, etc —> for … in … 遍历 —> 遍历（迭代）

迭代器协议：

对象必须提供一个next方法，执行该方法要么返回迭代中的下一选项，要么引起StopIteration异常，以终止迭代（只能往下走，不可以回退）

现在，我们就可以说，实现了迭代器协议的对象就是可迭代对象。

如何实现？

• 通过在对象内部定义一个__iter__方法。

li = [1, 2, 3]

# for i in li:
#     print(i, end=" ")
#
# print(dir([]))
sr = 'abcd'
li_iter = li.__iter__()
# print(li_iter.__next__()) ---> next(li_iter)
print(next(li_iter))
print(li_iter.__next__())
sr_iter = sr.__iter__()
print(sr_iter.__next__())
print(sr_iter.__next__())
print(next(sr_iter))

'''
1
2
a
b
c
'''

for i in 100: # 直接报错
    print(i)

可迭代对象测试：

使用instance()来判断一个对象是否可迭代

collections

from collections import Iterable  # 使用instance()来判断一个对象是否可迭代

print(isinstance([], Iterable))
print(isinstance(str(), Iterable))
print(isinstance({}, Iterable))
print(isinstance(set(), Iterable))
print(isinstance(123, Iterable))
print(isinstance(True, Iterable))

'''
True
True
True
True
False
False
'''

自定义一个类，其可以容纳数据，测试该类的可迭代性

from collections import Iterable


class MyClass:

    def __init__(self):
        self.names = []

    def add(self, name):
        self.names.append(name)

    def __iter__(self):
        return self.names.__iter__()


my_class = MyClass()
my_class.add("Tom")
my_class.add("Jack")
my_class.add("Lucy")

print("是否可迭代对象：", isinstance(my_class, Iterable))
for tmp in my_class:
    print(tmp, end=" ")

'''
是否可迭代对象： True
Tom Jack Lucy 
'''    

回顾之前说的__iter__方法，其可以为我们提供一个迭代器。

在迭代一个可迭代对象的时候，实际上就是获取该对象提供的一个迭代器。然后通过该迭代器依次获取对象的每一个数据。

通过迭代器，迭代

print(my_class)
my_class_iter = iter(my_class)
print(my_class_iter)
print(next(my_class_iter))
print(next(my_class_iter))
print(next(my_class_iter))
print(next(my_class_iter))

for … in … 循环的本质

就是通过iter()函数获取可迭代对象的Iterable的迭代器，然后对获取到的迭代器不断调用next()方法来获取下一个值并将其赋值item，当遇到StopIteration的异常后，退出。

class test:
    def __init__(self, data=1):
        self.data = data

    def __iter__(self):
        return self

    def __next__(self):
        if self.data > 5:
            raise StopIteration
        else:
            self.data += 1
            return self.data


for i in test(2):
    print(i)
    
'''
3
4
5
6
'''  

应用场景

迭代器的核心就是通过next()函数调用返回下一个数据值。如果每次返回的数据值不是在一个已有的数据集合中读取的，而是通过程序按照一定规律计算生成。那么也就意味着可以不用依赖一个已有的数据集合，namely，无需将所有的迭代对象数据一次性缓存下来供后续使用。这样，可以节省大量的储存（内存）空间。

例：

斐波那契数列

现在我们希望通过for … in … 的方式来遍历斐波那契函数列中的前n个数。

通过迭代来实现，每次迭代都可以通过数学计算来生成下一个数。

# 两个初始值
# n，不大于n类似索引的值
class FibIterator(object):
    """斐波那契数列迭代器"""

    def __init__(self, n):
        # 记录生成的斐波那契数列的个数
        self.n = n
        # 记录当前记录的索引
        self.current_index = 0
        # 记录两个初始值
        self.num1 = 0
        self.num2 = 1

    def __next__(self):
        """调用next()函数来获取下一个数"""
        if self.current_index < self.n:
            num = self.num1
            self.num1, self.num2 = self.num2, self.num1 + self.num2
            self.current_index += 1
            return num
        else:
            raise StopIteration

    def __iter__(self):
        return self


fib = FibIterator(10)
for num in fib:
    print(num, end=" ")

# 0 1 1 2 3 5 8 13 21 34 

生成器

生成器，利用迭代器我们可以在每次迭代获取数据时（通过next（）方法）按照特定的规律进行生成。但是我们在实现一个迭代器时，关于当前迭代的状态需要我们自己记录，进而才能根据当前的状态生成下一个数据。为了达到记录当前状态，并配合next()函数进行迭代使用，可以采用更简便的语法。

即 生成器（generator），生成器是一种特殊的迭代器，它比迭代器更优雅。

创建一个生成器

列表[ ] —> ( )

li = [x ** 2 for x in range(6)]
print(li)

gen = (x ** 2 for x in range(6))
print(gen)

print("通过next()函数取得下一个值")
print(next(gen))
print(next(gen))
print(next(gen))
print(next(gen))
print(next(gen))
print(next(gen))

'''
[0, 1, 4, 9, 16, 25]
<generator object <genexpr> at 0x000002DF42E11200>
通过next()函数取得下一个值
0
1
4
9
16
25
'''

print("通过for遍历")
gen = (x ** 2 for x in range(6))
for i in gen:
    print(i, end=" ")
    
# 通过for遍历
# 0 1 4 9 16 25     

生成器函数

在函数中如果出现了yield关键字，那么该函数就不再是一个普通函数而是一个生成器函数。

例：

def foo():
    yield 1
    yield 2
    return "Error"
    yield 3


f = foo()
print(next(f))  # 程序会停留在对应yield后的语句
print(next(f))
print(next(f))  # 当程序遇到return，return后的语句不会再执行。因此报错。

'''
1
2
报错：    
print(next(f))
StopIteration: Error
'''

next 和 yield进行匹配，如果遇到return，return后面的语句就不会再执行，直接抛出StopIteration，终止迭代。

在一个生成器中如果return后面有返回值，那么这个值就是异常的说明，而不是函数的返回值。

构造一个产生无穷奇数的生成器

法一：

def odd():
    n = 1
    while True:
        yield n
        n += 2


odd_num = odd()
print(odd_num)
count = 0
for i in odd_num:
    if count > 5:
        break
    print(i)
    count += 1
    
print(next(odd_num))    
    
'''
<generator object odd at 0x0000017F97081200>
1
3
5
7
9
11
15
'''

def odd():
    n = 1
    while True:
        yield n
        n += 2


odd_num = odd()
print(odd_num)
for i in range(1, 6):
    print(next(odd_num))
    
'''
<generator object odd at 0x000002AEA7FE1200>
1
3
5
7
9
'''

def odd():
    n = 1
    while True:
        yield n
        n += 2


odd_num = odd()
print(odd_num)
print(next(odd_num))
print(next(odd_num))
print(next(odd_num))

'''
<generator object odd at 0x000002C873461200>
1
3
5
'''

法二：

class OddIter:
    def __init__(self):
        self.start = -1

    def __iter__(self):
        return self

    def __next__(self):
        self.start += 2
        return self.start


odd = OddIter()
for i in range(6):
    print(next(odd))
    
'''
1
3
5
7
9
11
'''    

通过类手动编写迭代器，实现类似的效果。

def odd():
    n = 1
    while True:
        yield n
        n += 2


odd_num = odd()
print(help(odd_num))

'''
Help on generator object:

odd = class generator(object)
 |  Methods defined here:
 |  
 |  __del__(...)
 |  
 |  __getattribute__(self, name, /)
 |      Return getattr(self, name).
 |  
 |  __iter__(self, /)
 |      Implement iter(self).
 |  
 |  __next__(self, /)
 |      Implement next(self).
 |  
 |  __repr__(self, /)
 |      Return repr(self).
 |  
 |  close(...)
 |      close() -> raise GeneratorExit inside generator.
 |  
 |  send(...)
 |      send(arg) -> send 'arg' into generator,
 |      return next yielded value or raise StopIteration.
 |  
 |  throw(...)
 |      throw(typ[,val[,tb]]) -> raise exception in generator,
 |      return next yielded value or raise StopIteration.
 |  
 |  ----------------------------------------------------------------------
 |  Data descriptors defined here:
 |  
 |  gi_code
 |  
 |  gi_frame
 |  
 |  gi_running
 |  
 |  gi_yieldfrom
 |      object being iterated by yield from, or None

None
'''

• close()

  • 手动关闭生成器函数，后面调用会直接引起StopIteration

  def gen():
      yield 1
      yield 2
      yield 3
      yield 4
  
  
  g = gen()
  print(next(g))
  print(next(g))
  g.close()
  print(next(g))  # 回溯
  
  '''
  1
  2
  '''
  

• send()

  • x = yield y 语句的含义：send()的作用就是使x赋值为其所传送的值（send的参数），然后让生成器执行到下一个yield。
  • 如果生成器未启动，则必须在使用send()前启动生成器，而启动的方法可以是gen.next(), 也可以是gen.send(None) 执行到第一个yield处。之后就可以使用send(para)不断的传入值了。
  • 如果是已启动，则send(para)的作用就是给x赋值为发送的值（send的参数），然后，让生成器执行到下一个yield。

  def gen():
      value = 0
      while True:
          receive = yield value
          if receive == "e":
              break
          value = "got : %s" % receive
  
  
  g = gen()
  print(g.send(None))
  print(g.send("aaa"))
  print(g.send(123))
  
  '''
  0
  got : aaa
  got : 123
  '''
  

def gen():
    i = 0
    while i < 5:
        temp = yield i
        print(temp)
        i += 1


# 创建生成器对象
obj = gen()
# 使用next()唤醒生成器
print(next(obj))
print(next(obj))
print(obj.send("city"))

'''
0
None
1
city
2
'''

• throw()
  • 手动抛出异常

闭包

什么是闭包

闭是封闭（函数中的函数），包是包含（该内部函数对外部函数的作用域，而非全局作用域变量的引用）

闭包：

• 内部函数对外部函数作用域里的变量的引用
• 函数内的属性，都是有生命周期，都是在函数执行期间
• 闭包内的闭包函数私有化了变量，完成了数据的封装，类似面向对象

例：

def foo():
    print("in foo()")

    def bar():
        print("in bar()")

# 1、直接运行内部函数报错
# bar()
# 2、考虑先运行外部函数，再运行内部函数，依然会报错
# foo()
# bar()

由于作用域的问题，函数内的属性，都是有生命周期的，只有在函数执行期间

再考虑这段代码，只有调用foo()时，内部的print()及bar()函数才能存活。

现在我们为了让foo()内的bar()存活，就是调用bar()，我们该怎么做？

把bar()函数返回给函数

def foo():
    print("in foo()")

    def bar():
        print("in bar()")

    return bar


var = foo()
var()

# in foo()
# in bar() 

前面说内部函数对外部函数作用域变量的引用，—> 如果是变量呢？

def foo():
    a = 66
    print("in foo()")

    def bar(num):
        print("in bar()")
        print(a + num)
    return bar


var = foo()
var(22)

'''
in foo()
in bar()
88
'''

def foo():
    a = 66
    print("in foo()")

    def bar(num):
        print("in bar()")
        print(a + num)

    bar(22)


var = foo()

'''
in foo()
in bar()
88
'''

li = [1, 2, 3, 4, 5]


def foo(obj):
    print("foo:", obj)

    def bar():
        obj[0] += 1
        print("bar:", obj)

    return bar


var = foo(li)
var()
var()

'''
foo: [1, 2, 3, 4, 5]
bar: [2, 2, 3, 4, 5]
bar: [3, 2, 3, 4, 5]
'''

li = [1, 2, 3, 4, 5]


def foo(obj):
    print("foo:", obj)

    def bar():
        obj[0] += 1
        print("bar:", obj)

    return bar


# 程序再执行时，foo()函数返回给了内部定义的bar()函数
foo(li)
foo(li)
var = foo(li)  # 将返回值赋值给var
var()
var()

'''
foo: [1, 2, 3, 4, 5]
foo: [1, 2, 3, 4, 5]
foo: [1, 2, 3, 4, 5]
bar: [2, 2, 3, 4, 5]
bar: [3, 2, 3, 4, 5]
'''

装饰器

首先看一个例子：

@func1
def func()：
	print("aaa")

装饰器存在的意义：

• 不影响原有的函数的功能
• 可以添加新功能

一般常见的，比如拿到第三方的API接口，第三方不允许修改这个接口。这个时候，装饰器就派上用场了。

装饰器本身也是一个函数，作用是为现有存在的函数，在不改变函数的基础上，增加一些功能进行装饰。

它是以闭包的形式去实现的。

在使用装饰器函数时，在被装饰的函数的前一行，使用@装饰器函数名形式来进行装饰。

例子：

现在在一个项目中，有很多函数，由于我们的项目越来越大，功能也越来越多，这会导致程序越来越慢。其中一个功能函数的功能，是实现一百万次的累加。

def my_count():
    s = 0
    for i in range(1000001):
        s += i
    print("sum: ", s)

假如我们要计算函数运行的时间，该如何运行？

import time


def my_count():
    s = 0
    for i in range(1000001):
        s += i
    print("sum: ", s)


start = time.time()
my_count()
end = time.time()

print("执行时间为：", (end - start))

# sum:  500000500000
# 执行时间为： 0.04692530632019043

成功的实现时间的计算。但是，假如有成千上万个函数。每个函数这么写一遍，非常麻烦，代码量也凭空增加很多。

明显不符合开发原则，代码太过冗余。

考虑直接将上述代码中的时间计算转化为函数。

import time


def my_count():
    s = 0
    for i in range(1000001):
        s += i
    print("sum: ", s)


def count_time(func):
    start = time.time()
    func()
    end = time.time()
    print("执行时间为：", (end - start))


count_time(my_count)

# sum:  500000500000
# 执行时间为： 0.06248950958251953

经过修改后，定义一个函数来实现时间计算功能。

初看上去，比之前好很多。

只是在使用时，需要将对应的函数传入到时间计算函数中。

但仍然影响了原来的使用

接下来思考，能不能在使用时不影响函数的原来的使用方式，同时实现时间计算？

考虑闭包

import time


def count_time(func):
    def wrapper():
        start = time.time()
        func()
        end = time.time()
        print("执行时间为：", (end - start))

    return wrapper


def my_count():
    s = 0
    for i in range(1000001):
        s += i
    print("sum: ", s)


count_time(my_count)  # 仍然更改了调用方法

在使用时，让my_count函数重新指向count_time函数返回的函数引用。这样使用my_count时，就和原来的使用方式一样了。

实现就是采用装饰器。

import time


def count_time(func):
    def wrapper():
        start = time.time()
        func()
        end = time.time()
        print("执行时间为：", (end - start))

    return wrapper


@count_time
def my_count():
    s = 0
    for i in range(1000001):
        s += i
    print("sum: ", s)


my_count()

'''
sum:  500000500000
执行时间为： 0.07813215255737305
'''

这样实现的好处，定义闭包函数后，只需要通过@装饰器函数名形式的装饰器语法，就可以将@装饰器函数名加到要装饰的函数前即可。

这种不改变原有函数功能，对函数进行拓展的形式，就称为“装饰器”。

在执行@装饰器函数名时，就是将原函数传递到闭包中。然后，原函数的引用指向闭包返回的装饰过的内部函数的引用。