python语法之可迭代对象迭代器生成器关系

程序员文章站 2024-01-15 12:47:04

...

前言：

每次遇到生成器、迭代器就犯浑，和 list、dict、set等是不是一样的呢？是不是也能通过循环取值呢？列表/字典/元组推导式也是什么呢？众多概念混在一起，难免会觉得头疼。接下来我将细细地讲述这三者是什么关系。

引入：

要缕清这三者关系，首先需要知道python中容器的概念。

容器是一种把多个元素组织在一起的数据结构，我们可以认为 字典、列表、元组、字符串、队列等都是一个容器对象。

这样看很多容器都可以迭代，是不是所有呢？

答案是否定的，比如：Bloom filter，虽然Bloom filter可以用来检测某个元素是否包含在容器中，但是并不能从容器中获取其中的每一个值，因为Bloom filter是没有把元素存储在容器中，而是通过一个散列函数映射成一个值保存在数组中。

学过python的人会知道，可以使用 in、not in 判断元素是否存在这些对象中。通常这些的数据结构定义之后会将 所有元素放在内存中，当然这不是绝对的，像待会要讲的 生成器、迭代器 对象并不是所有元素放在内存中。

可迭代对象 ---->>> iterable

我们知道并不是所有的容器都可以迭代，我们可以这样认为，只要是可以返回一个迭代器 的对象就称为这是一个可迭代对象。
我们熟知的 list dict set tuple 这些其实都是可迭代对象，比如如下代码：

	 x = [1,2,3,4]
	 t = iter(x)
	 print(type(x))	# <class 'list'>
	 print(type(t))	# <class 'list_iterator'>
	 print(next(t)) 	# 打印输出 1
	 print(next(t)) 	# 打印输出 2

注解：
这里x是一个可迭代对象，可迭代对象和容器一样是一种通俗的叫法，并不是指某种具体的数据类型，list是可迭代对象，dict是可迭代对象，set也是可迭代对象。t是一个独立的迭代器，迭代器内部持有一个状态，该状态用于记录当前迭代所在的位置，以方便下次迭代的时候获取正确的元素。迭代器有一种具体的迭代器类型，比如list_iterator，set_iterator。可迭代对象实现了__iter__方法，该方法返回一个迭代器对象。

当我们运行以下代码时

x = [1, 2, 3]
	for i in x:
		....

实际情况是：
python语法之可迭代对象迭代器生成器关系

迭代器 —>>> iterator

什么是迭代器呢？

它是一个带状态的对象，他能在你调用next()方法的时候返回容器中的下一个值，任何实现了__iter__和__next__()（python2中实现next()）方法的对象都是迭代器，__iter__返回迭代器自身，__next__返回容器中的下一个值，如果容器中没有更多元素了，则抛出StopIteration异常，至于它们到底是如何实现的这并不重要。

所以，迭代器就像一个懒加载的工厂，等到有人需要的时候才给它生成值返回，没调用的时候就处于休眠状态等待下一次调用。
举个栗子： 我们可以自己定义一个迭代器，以斐波那契数列为例

from itertools import islice


class Fib(object):
    def __init__(self):
        self.prev = 0
        self.curr = 1

    def __iter__(self):
        return self

    def __next__(self):
        value = self.curr
        self.curr += self.prev
        self.prev = value
        return value


f = Fib()
print(list(islice(f, 0, 10)))  #[1, 1, 2, 3, 5, 8, 13, 21, 34, 55]

注解：

itertools 这个库中的函数返回的都是一个迭代器对象。如 count、cycle等，有兴趣的小伙伴可以去查查资料。
islice(iterable, [start, ] stop [, step]) 这是islice函数接口。这个函数将会创建一个迭代器，生成项的方式类似于切片返回值： iterable[start : stop : step]，将跳过前start个项，迭代在stop所指定的位置停止，step指定用于跳过项的步幅。与切片不同，负值不会用于任何start，stop和step，如果省略了start，迭代将从0开始，如果省略了step，步幅将采用1
返回的是一个迭代器，想要看到结果需要转化为list

next() 方法其实是做了两件事情：

为下一次调用next()方法修改状态
为当前调用next方法返回结果

生成器 ----->>>generator

生成器算得上是Python语言中最吸引人的特性之一，生成器其实是一种特殊的迭代器，不过这种迭代器更加优雅。它不需要再像上面的类一样写__iter__()和__next__()方法了，只需要一个yiled关键字。生成器一定是迭代器（反之不成立），因此任何生成器也是以一种懒加载的模式生成值。用生成器来实现斐波那契数列的例子是：

def fib():
    prev, curr = 0, 1
    while True:
        yield curr
        prev, curr = curr, curr + prev

>>> f = fib()
>>> list(islice(f, 0, 10))
[1, 1, 2, 3, 5, 8, 13, 21, 34, 55]

注解：

fib就是一个普通的python函数，它特殊的地方在于函数体中没有return关键字，函数的返回值是一个生成器对象。
当执行f=fib()返回的是一个生成器对象，此时函数体中的代码并不会执行，只有显示或隐示地调用next的时候才会真正执行里面的代码。
生成器在Python中是一个非常强大的编程结构，可以用更少地中间变量写流式代码，此外，相比其它容器对象它更能节省内存和CPU，当然它可以用更少的代码来实现相似的功能。

生成器表达式---->>> generator expression

生成器表达式是列表推倒式的生成器版本，看起来像列表推导式，但是它返回的是一个生成器对象而不是列表对象。如下代码：

a = (x for x in range(10))
print(type(a))	# <class 'generator'>

总结

好啦~看完之后是不是对可迭代对象迭代器生成器有了更进一步的认识呢？如果没有的话，我再次总结一下：

容器是一系列元素的集合，str、list、set、dict、file、sockets对象都可以看作是容器，容器都可以被迭代（用在for，while等语句中），因此他们被称为可迭代对象。
可以将可迭代对象 x 转变成迭代器 y = iter(x)，y就是一个迭代器对象。
迭代器持有一个内部状态的字段，用于记录下次迭代返回值，它实现了__next__和__iter__方法，迭代器不会一次性把所有元素加载到内存，而是需要的时候才生成返回结果。
生成器是一种特殊的迭代器，它的返回值不是通过return而是用yield

参考链接：

Iterator Types

python之禅——完全理解迭代器 by 刘志军

上一篇： Word论文转化成静态文本

下一篇： aspose利用word模板生成word、PDF

python语法之可迭代对象迭代器生成器关系

总结