欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

Python for Data Analysis v2 | Notes_ Chapter 3 Python 的数据结构、函数和文件

程序员文章站 2022-07-14 21:43:00
...

本人以简书作者 SeanCheney 系列专题文章并结合原书为学习资源,记录个人笔记,仅作为知识记录及后期复习所用,原作者地址查看 简书 SeanCheney,如有错误,还望批评指教。——ZJ

原作者:SeanCheney | 链接:https://www.jianshu.com/p/b444cda10aa0 | 來源:简书

Github:wesm | Github:中文 BrambleXu|
简书:利用Python进行数据分析·第2版

环境:Python 3.6


第3章 Python 的数据结构、函数和文件

3.1 数据结构和序列

Python的数据结构简单而强大。通晓它们才能成为熟练的Python程序员。

元组

  • 元组是一个固定长度,不可改变的Python序列对象。创建元组的最简单方式,是用逗号分隔一列值,当用复杂的表达式定义元组,最好将值放到圆括号内
In [1]: tup = 4, 5, 6, 'what'

In [2]: tup
Out[2]: (4, 5, 6, 'what')

In [3]: nested_tup = (4,5,6),(7,8),[2,3,4],'what'

In [4]: nested_tup
Out[4]: ((4, 5, 6), (7, 8), [2, 3, 4], 'what')
  • 用 tuple 可以将任意序列或迭代器转换成元组:
In [5]: tuple([4,0,4])
Out[5]: (4, 0, 4)

In [6]: tup = tuple('string')

In [7]: tup
Out[7]: ('s', 't', 'r', 'i', 'n', 'g')

  • 可以用方括号访问元组中的元素。和 C、C++、JAVA 等语言一样,序列是从 0 开始的:
In [8]: tup[2]
Out[8]: 'r'

  • 元组中存储的对象可能是可变对象。一旦创建了元组,元组中的对象就不能修改了
  • 如果元组中的某个对象是可变的,比如列表,可以在原位进行修改
In [11]: tup = tuple(['foo',[1,2],True])

In [12]: tup[2]
Out[12]: True

In [13]: tup[2] = False
----------------------------------------------------------------

TypeError                      Traceback (most recent call last)

<ipython-input-13-b89d0c4ae599> in <module>()
----> 1 tup[2] = False

TypeError: 'tuple' object does not support item assignment

In [14]: tup[1].append(3)

In [15]: tup
Out[15]: ('foo', [1, 2, 3], True)

  • 可以用加号运算符将元组串联起来,元组乘以一个整数,像列表一样,会将几个元组的复制串联起来
In [17]: (4, None, 'foo') + (6,0) + ('bat',)
Out[17]: (4, None, 'foo', 6, 0, 'bat')

In [19]: (4, None, 'foo') + (6,0) + (4,)
Out[19]: (4, None, 'foo', 6, 0, 4)

In [21]: (4,)+(5,6)
Out[21]: (4, 5, 6)

In [22]: ('4', 4, 'bat') * 4
Out[22]: ('4', 4, 'bat', '4', 4, 'bat', '4', 4, 'bat', '4', 4, '
bat')

拆分元组

  • 如果你想将元组赋值给类似元组的变量,Python 会试图拆分等号右边的值,即使含有元组的元组也会被拆分
In [25]: tup = (4,56,{'X':'X','y':'Y'})

In [26]: a, b, c = tup

In [27]: a
Out[27]: 4

In [28]: b
Out[28]: 56

In [29]: c
Out[29]: {'X': 'X', 'y': 'Y'}


In [31]: tup = 4,5,(6,7)

In [32]: a,b,c,d = tup
----------------------------------------------------------------

ValueError                     Traceback (most recent call last)

<ipython-input-32-fca040b764b2> in <module>()
----> 1 a,b,c,d = tup

ValueError: not enough values to unpack (expected 4, got 3)

In [33]: a,b,(c,d) = tup

In [34]: d
Out[34]: 7

  • 在 Python 中,替换变量的名字可以这样做
In [35]: a,b = 1, 2

In [36]: b, a = a,b

In [37]: a
Out[37]: 2

In [38]: b
Out[38]: 1
  • 变量拆分常用来迭代元组或列表序列:
In [39]: seq = [(1,2,3),(4,5,6),(7,8,9)]

In [40]: for a, b, c in seq:
    ...:     print('a={0}, b={1}, c={2}'.format(a,b,c))
    ...:
a=1, b=2, c=3
a=4, b=5, c=6
a=7, b=8, c=9
  • 另一个常见用法是从函数返回多个值。后面会详解。

  • Python 最近新增了更多高级的元组拆分功能,允许从元组的开头“摘取”几个元素。它使用了特殊的语法 *rest ,这也用在函数签名中以抓取任意长度列表的位置参数, rest 的部分是想要舍弃的部分,rest 的名字不重要。作为惯用写法,许多 Python程序员会将不需要的变量使用下划线:

In [41]: values = 1,2,3,4,5

In [42]: a, b, *rest = values

In [43]: rest
Out[43]: [3, 4, 5]

In [44]: a, b, *_ = values

In [45]: _
Out[45]: [3, 4, 5]

tuple 方法

  • 因为元组的大小和内容不能修改,它的实例方法都很轻量。其中一个很有用的就是count(也适用于列表),它可以统计某个值得出现频率:
In [48]: a = (1,2,2,2,3,3,4,5)

In [49]: a
Out[49]: (1, 2, 2, 2, 3, 3, 4, 5)

In [50]: a.count(2)
Out[50]: 3

列表

  • 与元组对比,列表的长度可变、内容可以被修改。你可以用方括号定义,或用 list 函数
  • list 函数常用来在数据处理中实体化迭代器或生成器:
In [42]: gen = range(10)

In [43]: gen
Out[43]: range(0, 10)

In [44]: list(gen)
Out[44]: [0, 1, 2, 3, 4, 5, 6, 7, 8, 9]
  • 添加和删除元素 ,可以用append在列表末尾添加元素,insert可以在特定的位置插入元素,插入的序号必须在 0 和列表长度之间。
In [47]: b_list.insert(1, 'red')

In [48]: b_list
Out[48]: ['foo', 'red', 'peekaboo', 'baz', 'dwarf']
  • 警告:与append相比,insert耗费的计算量大,因为对后续元素的引用必须在内部迁移,以便为新元素提供空间。如果要在序列的头部和尾部插入元素,你可能需要使用collections.deque,一个双尾部队列。

  • insert 的逆运算是 pop,它移除并返回指定位置的元素:

In [55]: b_list = [2,3,4,5]

In [56]: b_list.insert(1,5)

In [57]: b_list
Out[57]: [2, 5, 3, 4, 5]

In [58]: b_list.pop(3)
Out[58]: 4

In [59]: b_list
Out[59]: [2, 5, 3, 5]

  • 可以用 remove 去除某个值,remove 会先寻找第一个值并除去,如果不考虑性能,使用 append 和 remove,可以把 Python 的列表当做完美的“多重集”数据结构。
In [60]: a_list = ['foo','wa', 'ten', 'foo']

In [61]: a_list.remove('foo')

In [62]: a_list
Out[62]: ['wa', 'ten', 'foo']

In [63]: a_list.remove('foo')

In [65]: a_list
Out[65]: ['wa', 'ten']
  • 用 in 可以检查列表是否包含某个值,否定 in 可以再加一个 not
In [73]: a_list
Out[73]: ['wa', 'ten', 'look', 'time']

In [74]: 'tn' in a_list
Out[74]: False

In [75]: 'ten' in a_list
Out[75]: True

In [76]: 'ten'  not in a_list
Out[76]: False

  • 在列表中检查是否存在某个值远比字典和集合速度慢,因为 Python 是线性搜索列表中的值,但在字典和集合中,在同样的时间内还可以检查其它项(基于哈希表)。

串联和组合列表

  • 与元组类似,可以用加号将两个列表串联起来,如果已经定义了一个列表,用 extend方法可以追加多个元素
In [77]: [4, None, 'foo'] + [7, 8, (2,3)]
Out[77]: [4, None, 'foo', 7, 8, (2, 3)]

In [78]: x = [4,5,6,None,'foo']

In [80]: x.extend([7, 8, 90,(3,4)])

In [81]: x
Out[81]: [4, 5, 6, None, 'foo', 7, 8, 90, (3, 4)]

  • 通过加法将列表串联的计算量较大,因为要新建一个列表,并且要复制对象。用extend 追加元素,尤其是到一个大列表中,更为可取。要比串联方法快,因此:
everything = []
for chunk in list_of_lists:
    everything.extend(chunk)

排序

  • 你可以用 sort 函数将一个列表原地排序(不创建新的对象),sort有一些选项,有时会很好用。其中之一是二级排序key,可以用这个key进行排序。例如,我们可以按长度对字符串进行排序
In [86]: a = [7,3,8,4,6,1,9,2]

In [87]: a.sort()

In [88]: a
Out[88]: [1, 2, 3, 4, 6, 7, 8, 9]

In [89]:  b = ['ipyhon','python','list','set']

In [90]: b.sort()

In [91]: b
Out[91]: ['ipyhon', 'list', 'python', 'set']

In [92]: b.sort(key=len)

In [93]: b
Out[93]: ['set', 'list', 'ipyhon', 'python']

  • 稍后,我们会学习 sorted 函数,它可以产生一个排好序的序列副本。

二分搜索和维护已排序的列表

  • bisect 模块支持二分查找,和向已排序的列表插入值。bisect.bisect 可以找到插入值后仍保证排序的位置,bisect.insort 是向这个位置插入值:
In [94]: import bisect

In [95]: c = [1, 2, 2, 2, 3, 4, 7]

In [96]: bisect.bisect(c,2) # 意思是,如果将 2 这个数字插入进去,将排在索引值 为 4 的位置
Out[96]: 4

In [97]: bisect.bisect(c,5) # 意思是,如果将 2 这个数字插入进去,将排在索引值 为 6 的位置
Out[97]: 6

In [98]: bisect.insort(c,6)

In [99]: c
Out[99]: [1, 2, 2, 2, 3, 4, 6, 7]

  • 注意:bisect模块不会检查列表是否已排好序,进行检查的话会耗费大量计算。因此,对未排序的列表使用bisect不会产生错误,但结果不一定正确。

切片

  • 用切边可以选取大多数序列类型的一部分,切片的基本形式是在方括号中使用start:stop
In [100]: seq = [7,2,3,4,5,7,3,4,5]

In [101]: seq[1:4]
Out[101]: [2, 3, 4]

  • 切片也可以被序列赋值:
In [106]: seq[1:2] = [9,9]

In [107]: seq
Out[107]: [7, 9, 9, 4, 3, 3, 4, 5, 7, 3, 4, 5]

  • 切片的起始元素是包括的,不包含结束元素。因此,结果中包含的元素个数是stop - start。
  • start 或 stop 都可以被省略,省略之后,分别默认序列的开头和结尾,负数表明从后向前切片:
In [5]: seq = [1,2,3,4,5,6,7,8,9]

In [6]: seq[:6]
Out[6]: [1, 2, 3, 4, 5, 6]

In [7]: seq[-4:]
Out[7]: [6, 7, 8, 9]

In [8]: seq[-1]
Out[8]: 9

In [9]: seq[-2]
Out[9]: 8

In [10]: seq[-6:-2]
Out[10]: [4, 5, 6, 7]

- 需要一段时间来熟悉使用切片,尤其是当你之前学的是 R 或 MATLAB。图 3-1 展示了正整数和负整数的切片。在图中,指数标示在边缘以表明切片是在哪里开始哪里结束的。

Python for Data Analysis v2 | Notes_ Chapter 3 Python 的数据结构、函数和文件

  • 在第二个冒号后面使用 step,可以隔一个取一个元素,一个聪明的方法是使用-1,它可以将列表或元组颠倒过来:
In [11]: seq[::2]
Out[11]: [1, 3, 5, 7, 9]

In [12]: seq[::-1]
Out[12]: [9, 8, 7, 6, 5, 4, 3, 2, 1]

序列函数

enumerate 函数

  • enumerate 函数 :迭代一个序列时,你可能想跟踪当前项的序号。手动的方法可能是下面这样:
i = 0
for value in collection:
   # do something with value
   i += 1
  • 因为这么做很常见,Python 内建了一个 enumerate 函数,可以返回(i, value)元组序列:
for i, value in enumerate(collection):
   # do something with value
  • 当你索引数据时,使用 enumerate 的一个好方法是计算序列(唯一的)dict 映射到位置的值:
In [18]: some_list = ['foo', 'iii', 'waz']

In [19]: mapping = {}

In [20]: for i, v in enumerate(some_list):
    ...:     mapping[v] = i
    ...:

In [21]: mapping
Out[21]: {'foo': 0, 'iii': 1, 'waz': 2}

sorted 函数

  • sorted 函数可以从任意序列的元素返回一个新的排好序的列表,sorted

  • 函数可以接受和 sort 相同的参数。

In [87]: sorted([7, 1, 2, 6, 0, 3, 2])
Out[87]: [0, 1, 2, 2, 3, 6, 7]

In [88]: sorted('horse race')
Out[88]: [' ', 'a', 'c', 'e', 'e', 'h', 'o', 'r', 'r', 's']

zip 函数

  • zip 可以将多个列表、元组或其它序列成对组合成一个元组列表:
In [22]: seq1 = ['foo', 'bar', 'baz']

In [23]: seq2 = ['one', 'two', 'three']

In [24]: zipped = zip(seq1, seq2)

In [25]: zipped
Out[25]: <zip at 0x23ba9550e88>

In [26]: list(zipped)
Out[26]: [('foo', 'one'), ('bar', 'two'), ('baz', 'three')]

  • zip 可以处理任意多的序列,元素的个数取决于最短的序列:
In [27]: seq3 = [False, True]

In [28]: list(zip(seq1, seq2, seq3))
Out[28]: [('foo', 'one', False), ('bar', 'two', True)]

  • zip 的常见用法之一是同时迭代多个序列,可能结合 enumerate 使用:

In [29]: for i , (a,b) in enumerate(zip(seq1,seq2)):
    ...:     print('{0}:{1},{2}'.format(i, a,b))
    ...:
0:foo,one
1:bar,two
2:baz,three

  • 给出一个“被压缩的”序列,zip可以被用来解压序列。也可以当作把行的列表转换为列的列表。这个方法看起来有点神奇:
In [30]: pitchers = [('Nolan', 'Ryan'),('Roger', 'Clemens'),('S
    ...: chilling', 'Curt')]

In [31]: fisrt_names, last_names = zip(*pitchers)

In [32]: fisrt_names
Out[32]: ('Nolan', 'Roger', 'Schilling')

In [33]: last_names
Out[33]: ('Ryan', 'Clemens', 'Curt')

reversed 函数

  • reversed 可以从后向前迭代一个序列,要记住reversed是一个生成器(后面详细介绍),只有实体化(即列表或for循环)之后才能创建翻转的序列。
In [100]: list(reversed(range(10)))
Out[100]: [9, 8, 7, 6, 5, 4, 3, 2, 1, 0]

字典

  • 字典可能是 Python 最为重要的数据结构。它更为常见的名字是哈希映射或关联数组。它是键值对的大小可变集合,键和值都是 Python 对象。创建字典的方法之一是使用尖括号,用冒号分隔键和值

  • 你可以像访问列表或元组中的元素一样,访问、插入或设定字典中的元素

In [34]: empty_dict = {}

In [35]: d1 = {'a':'some value','b':[1,2,3,4]}

In [36]: d1
Out[36]: {'a': 'some value', 'b': [1, 2, 3, 4]}

In [37]: d1[7] = 'an integer'

In [38]: d1
Out[38]: {7: 'an integer', 'a': 'some value', 'b': [1, 2, 3, 4]}

In [40]: d1['b']
Out[40]: [1, 2, 3, 4]

  • 你可以用检查列表和元组是否包含某个值得方法,检查字典中是否包含某个键,可以用del 关键字或 pop 方法(返回值得同时删除键)删除值
In [41]: 'b' in d1
Out[41]: True

In [42]: d1[5] = 'some value'

In [43]: d1
Out[43]: {5: 'some value', 7: 'an integer', 'a': 'some value', 'b':
 [1, 2, 3, 4]}

In [44]: d1['dummy'] = 'another value'

In [45]: d1
Out[45]:
{5: 'some value',
 7: 'an integer',
 'a': 'some value',
 'b': [1, 2, 3, 4],
 'dummy': 'another value'}

In [46]: del d1[5]

In [47]: d1
Out[47]:
{7: 'an integer',
 'a': 'some value',
 'b': [1, 2, 3, 4],
 'dummy': 'another value'}

In [48]: ret = d1.pop('dummy')

In [49]: ret
Out[49]: 'another value'

In [50]: d1
Out[50]: {7: 'an integer', 'a': 'some value', 'b': [1, 2, 3, 4]}


  • keysvalues是字典的键和值的迭代器方法。虽然键值对没有顺序,这两个方法可以用相同的顺序输出键和值:
In [51]: d1.keys()
Out[51]: dict_keys(['a', 'b', 7])

In [52]: list(d1.keys())
Out[52]: ['a', 'b', 7]

In [53]: list(d1.values())
Out[53]: ['some value', [1, 2, 3, 4], 'an integer']

  • update 方法可以将一个字典与另一个融合,update方法是原地改变字典,因此任何传递给update的键的旧的值都会被舍弃

用序列创建字典

  • 你可能想将两个序列配对组合成字典。下面是一种写法,因为字典本质上是2元元组的集合,dict可以接受2元元组的列表,后面会谈到dict comprehensions,另一种构建字典的优雅方式。
In [54]: mapping = {}

In [55]: for key, value in zip(key_list, value_list):
    ...:     mapping[key] = value


In [56]: mapping = dict(zip(range(5), reversed(range(5))))

In [57]: mapping
Out[57]: {0: 4, 1: 3, 2: 2, 3: 1, 4: 0}

默认值

  • 下面的逻辑很常见,因此,dict的方法getpop可以取默认值进行返回,if-else 语句可以简写成第二个:
if key in some_dict:
    value = some_dict[key]
else:
    value = default_value

# 简写    
value = some_dict.get(key, default_value)
  • get默认会返回None,如果不存在键,pop会抛出一个例外。关于设定值,常见的情况是在字典的值是属于其它集合,如列表。例如,你可以通过首字母,将一个列表中的单词分类:
In [58]: words = ['apple', 'bat', 'bar', 'atom', 'book']

In [59]: by_letter = {}

In [60]: for word in words:
    ...:     letter = word[0]
    ...:     if letter not in by_letter:
    ...:         by_letter[letter] = [word]
    ...:     else:
    ...:         by_letter[letter].append(word)
    ...:

In [61]: by_letter
Out[61]: {'a': ['apple', 'atom'], 'b': ['bat', 'bar', 'book']}

  • setdefault 方法就正是干这个的。前面的for循环可以改写为:
In [62]: for word in words:
    ...:     letter = word[0]
    ...:     by_letter.setdefault(letter,[]).append(word)
    ...:
  • collections模块有一个很有用的类,defaultdict,它可以进一步简化上面。传递类型或函数以生成每个位置的默认值:
In [65]: from collections import defaultdict

In [66]: by_letter = defaultdict(list)

In [67]: for word in words:
    ...:     by_letter[word[0]].append(word)

In [68]: by_letter
Out[68]: defaultdict(list, {'a': ['apple', 'atom'], 'b': ['bat', 'bar', 'book']})

有效的键类型

  • 字典的值可以是任意 Python 对象,而键通常是不可变的标量类型(整数、浮点型、字符串)或元组(元组中的对象必须是不可变的)。这被称为“可哈希性”。可以用 hash 函数检测一个对象是否是可哈希的(可被用作字典的键):
In [69]: hash('string')
Out[69]: -2802364732335948762

In [70]: hash((1,2,(2,3)))
Out[70]: 1097636502276347782

In [71]: hash(([2,3,4],'fail'))
-------------------------------------------------------------------

TypeError                         Traceback (most recent call last)

<ipython-input-71-18105c851885> in <module>()
----> 1 hash(([2,3,4],'fail'))

TypeError: unhashable type: 'list'

  • 要用列表当做键,一种方法是将列表转化为元组,只要内部元素可以被哈希,它也就可以被哈希:
In [72]: d = {}

In [73]: d[tuple([1, 2, 3])] = 5

In [74]: d
Out[74]: {(1, 2, 3): 5}

集合

  • 集合是无序的不可重复的元素的集合。你可以把它当做字典,但是只有键没有值。可以用两种方式创建集合:通过 set 函数或使用花(尖)括号 set 语句:
In [75]: set([2,2,2,3,3,3,4,5,6])
Out[75]: {2, 3, 4, 5, 6}

In [76]: {3,3,3,3,4,4,56,7,78,8}
Out[76]: {3, 4, 7, 8, 56, 78}

  • 集合支持合并、交集、差分和对称差等数学集合运算。考虑两个示例集合,合并是取两个集合中不重复的元素。可以用 union 方法,或者|运算符,交集的元素包含在两个集合中。可以用 intersection& 运算符:
In [77]: a = {1,2, 3,4,5}

In [78]: b = {3,4,5,6,7,8}

In [79]: a.union(b)
Out[79]: {1, 2, 3, 4, 5, 6, 7, 8}

In [80]: a | b # 并集
Out[80]: {1, 2, 3, 4, 5, 6, 7, 8}

In [81]: # 交集

In [82]: a.intersection(b)
Out[82]: {3, 4, 5}

In [83]: a & b
Out[83]: {3, 4, 5}

常用的集合方法。

Python for Data Analysis v2 | Notes_ Chapter 3 Python 的数据结构、函数和文件

  • 所有逻辑集合操作都有另外原地实现方法,它可以直接用结果替代集合的内容。对于大的集合,这么做效率更高:
In [84]: c = a.copy()

In [85]: c |= b

In [86]: c
Out[86]: {1, 2, 3, 4, 5, 6, 7, 8}

In [87]: d = a.copy()

In [88]: d &= b

In [89]: d
Out[89]: {3, 4, 5}
  • 与字典类似,集合元素通常都是不可变的。要获得类似列表的元素,必须转换成元组,你还可以检测一个集合是否是另一个集合的子集或父集,集合的内容相同时,集合才对等:
In [90]: my_data = [1,2,3,4]

In [91]: my_set = {tuple(my_data)}

In [92]: my_set
Out[92]: {(1, 2, 3, 4)}

In [93]: a_set = {1,2,3,4,5}

In [94]: {1,2,3}.issubset(a_set)
Out[94]: True

In [95]: a_set.issuperset({1,2,3})
Out[95]: True

In [97]: {1,2,3} == {2,3,1}
Out[97]: True

列表、集合和字典推导式

  • 列表推导式是 Python 最受喜爱的特性之一。它允许用户方便的从一个集合过滤元素,形成列表,在传递参数的过程中还可以修改元素。形式如下:
[expr for val in collection if condition]
  • 它等同于下面的for循环;
result = []
for val in collection:
    if condition:
        result.append(expr)
  • filter条件可以被忽略,只留下表达式就行。例如,给定一个字符串列表,我们可以过滤出长度在 2 及以下的字符串,并将其转换成大写:
In [98]: strings = ['a', 'as', 'bat', 'car', 'dove', 'python']
    ...:

In [99]: [x.upper() for x in strings if len(x) > 2]
Out[99]: ['BAT', 'CAR', 'DOVE', 'PYTHON']
  • 用相似的方法,还可以推导集合和字典。字典的推导式如下所示:
dict_comp = {key-expr : value-expr for value in collection if condition}
  • 集合的推导式与列表很像,只不过用的是尖括号:
set_comp = {expr for value in collection if condition}
  • 与列表推导式类似,集合与字典的推导也很方便,而且使代码的读写都很容易。来看前面的字符串列表。假如我们只想要字符串的长度,用集合推导式的方法非常方便:
In [1]: strings = ['a', 'as', 'bat', 'car', 'dove', 'python']

In [2]: unique_lengths = {len(x) for x in strings}

In [3]: unique_lengths
Out[3]: {1, 2, 3, 4, 6}
  • map函数可以进一步简化:
In [4]: set(map(len, strings))
Out[4]: {1, 2, 3, 4, 6}
  • 作为一个字典推导式的例子,我们可以创建一个字符串的查找映射表以确定它在列表中的位置:
In [5]: loc_mapping = {val:index for index, val in enumerate(st
   ...: rings)}

In [6]: loc_mapping
Out[6]: {'a': 0, 'as': 1, 'bat': 2, 'car': 3, 'dove': 4, 'python
': 5}

In [7]: strings
Out[7]: ['a', 'as', 'bat', 'car', 'dove', 'python']

嵌套列表推导式

  • 假设我们有一个包含列表的列表,包含了一些英文名和西班牙名
  • 你可能是从一些文件得到的这些名字,然后想按照语言进行分类。现在假设我们想用一个列表包含所有的名字,这些名字中包含两个或更多的e。可以用for循环来做:
In [8]: all_data = [['John', 'Emily', 'Michael', 'Mary', 'Steve
   ...: n'],['Maria', 'Juan', 'Javier', 'Natalia', 'Pilar']]

InIn [9]: names__interest = []

In [10]: for names in all_data:
    ...:     enough_es = [name for name in names if name.count(
    ...: 'e') >=2]
    ...:     names__interest.extend(enough_es)
    ...:

In [11]: names__interest
Out[11]: ['Steven']

  • 可以用嵌套列表推导式的方法,将这些写在一起,如下所示:
In [12]: result = [name for names in all_data for name in names
    ...:  if name.count('e') >= 2]

In [13]: result
Out[13]: ['Steven']

  • 嵌套列表推导式看起来有些复杂。列表推导式的for部分是根据嵌套的顺序,过滤条件还是放在最后。下面是另一个例子,我们将一个整数元组的列表扁平化成了一个整数列表:
In [14]: some_tuples = [(1,2,3),(4,5,6),(7,8,9)]

In [15]: flattend = [x for tup in some_tuples for x in tup]

In [16]: flattend
Out[16]: [1, 2, 3, 4, 5, 6, 7, 8, 9]
  • for表达式的顺序是与嵌套for循环的顺序一样(而不是列表推导式的顺序):
flattened = []

for tup in some_tuples:
    for x in tup:
        flattened.append(x)
  • 你可以有任意多级别的嵌套,但是如果你有两三个以上的嵌套,你就应该考虑下代码可读性的问题了。分辨列表推导式的列表推导式中的语法也是很重要的:
In [17]: [[x for x in tup] for tup in some_tuples]
Out[17]: [[1, 2, 3], [4, 5, 6], [7, 8, 9]]

3.2 函数

函数是 Python 中最主要也是最重要的代码组织和复用手段。作为最重要的原则,如果你要重复使用相同或非常类似的代码,就需要写一个函数。通过给函数起一个名字,还可以提高代码的可读性。

  • 函数使用 def 关键字声明,用 return 关键字返回值:
def my_function(x, y, z=1.5):
    if z > 1:
        return z * (x + y)
    else:
        return z / (x + y)

同时拥有多条return语句也是可以的。如果到达函数末尾时没有遇到任何一条return语句,则返回None

  • 函数可以有一些位置参数(positional)和一些关键字参数(keyword)。关键字参数通常用于指定默认值或可选参数。在上面的函数中,x 和 y 是位置参数,而 z 则是关键字参数。也就是说,该函数可以下面这两种方式进行调用:
my_function(5, 6, z=0.7)
my_function(3.14, 7, 3.5)
my_function(10, 20)
  • 笔记:也可以用关键字传递位置参数。前面的例子,也可以写为如下,这种写法可以提高可读性。

命名空间、作用域,和局部函数

函数可以访问两种不同作用域中的变量:全局(global)和局部(local)。Python有一种更科学的用于描述变量作用域的名称,即命名空间(namespace)。任何在函数中赋值的变量默认都是被分配到局部命名空间(local namespace)中的。局部命名空间是在函数被调用时创建的,函数参数会立即填入该命名空间。在函数执行完毕之后,局部命名空间就会被销毁(会有一些例外的情况,具体请参见后面介绍闭包的那一节)。看看下面这个函数:

def func():
    a = []
    for i in range(5):
        a.append(i)
  • 调用func()之后,首先会创建出空列表 a,然后添加 5 个元素,最后 a 会在该函数退出的时候被销毁。假如我们像下面这样定义 a:
a = []
def func():
    for i in range(5):
        a.append(i)
  • 虽然可以在函数中对全局变量进行赋值操作,但是那些变量必须用 global 关键字声明成全局的才行:
In [168]: a = None

In [169]: def bind_a_variable():
   .....:     global a
   .....:     a = []
   .....: bind_a_variable()
   .....:

In [170]: print(a)
  • 注意:我常常建议人们不要频繁使用 global 关键字。因为全局变量一般是用于存放系统的某些状态的。如果你发现自己用了很多,那可能就说明得要来点儿面向对象编程了(即使用类)。

返回多个值

一个很好的功能是:函数可以返回多个值。下面是一个简单的例子:

def f():
    a = 5
    b = 6
    c = 7
    return a, b, c

a, b, c = f()
  • 在数据分析和其他科学计算应用中,你会发现自己常常这么干。该函数其实只返回了一个对象,也就是一个元组,最后该元组会被拆包到各个结果变量中。在上面的例子中,我们还可以这样写:
return_value = f()
  • 这里的 return_value 将会是一个含有 3 个返回值的三元元组。此外,还有一种非常具有吸引力的多值返回方式——返回字典:
def f():
    a = 5
    b = 6
    c = 7
    return {'a' : a, 'b' : b, 'c' : c}

函数也是对象

由于 Python 函数都是对象,因此,在其他语言中较难表达的一些设计思想在 Python 中就要简单很多了。假设我们有下面这样一个字符串数组,希望对其进行一些数据清理工作并执行一堆转换:

In [18]: states = ['   Alabama ', 'Georgia!', 'Georgia', 'georg
    ...: ia', 'FlOrIda', 'south   carolina##', 'West virginia?'
    ...: ]

  • 不管是谁,只要处理过由用户提交的调查数据,就能明白这种乱七八糟的数据是怎么一回事。为了得到一组能用于分析工作的格式统一的字符串,需要做很多事情:去除空白符、删除各种标点符号、正确的大写格式等。做法之一是使用内建的字符串方法和正则表达式re模块:
In [19]: import re

In [20]: def clean_strings(strings):
    ...:     result = []
    ...:     for value in strings:
    ...:         value = value.strip()
    ...:         value = re.sub('[!#?]', '', value)
    ...:         value = value.title()
    ...:         result.append(value)
    ...:     return result
    ...:

In [22]: clean_strings(states)
Out[22]:
['Alabama',
 'Georgia',
 'Georgia',
 'Georgia',
 'Florida',
 'South   Carolina',
 'West Virginia']
  • 其实还有另外一种不错的办法:将需要在一组给定字符串上执行的所有运算做成一个列表:
In [23]: def remove_punctuation(value):
    ...:     return re.sub('[!#?]', '', value)
    ...:

In [24]: clean_ops = [str.strip, remove_punctuation, str.title]
    ...:

In [26]: def clean_strings(strings, ops):
    ...:     result = []
    ...:     for value in strings:
    ...:         for function in ops:
    ...:             value = function(value)
    ...:         result.append(value)
    ...:     return result
    ...:

In [27]: clean_strings(states, clean_ops)
Out[27]:
['Alabama',
 'Georgia',
 'Georgia',
 'Georgia',
 'Florida',
 'South   Carolina',
 'West Virginia']


  • 这种多函数模式使你能在很高的层次上轻松修改字符串的转换方式。此时的clean_strings 也更具可复用性!

  • 还可以将函数用作其他函数的参数,比如内置的map函数,它用于在一组数据上应用一个函数:

In [28]: for x in map(remove_punctuation, states):
    ...:     print(x)
    ...:
Alabama
Georgia
Georgia
georgia
FlOrIda
south   carolina
West virginia

匿名(lambda)函数

Python 支持一种被称为匿名的、或 lambda 函数。它仅由单条语句组成,该语句的结果就是返回值。它是通过 lambda 关键字定义的,这个关键字没有别的含义,仅仅是说“我们正在声明的是一个匿名函数”。

In [29]: def short_function(x):
    ...:     return x * 2
    ...:

In [30]: equiv_anon = lambda x: x * 2

In [31]: equiv_anon
Out[31]: <function __main__.<lambda>>

In [32]: equiv_anon(5)
Out[32]: 10
  • 简单例子

In [33]: def apply_to_list(some_list, f):
    ...:     return [f(x) for x in some_list]
    ...:

In [34]: ints = [4, 0, 1, 5, 6]

In [35]: apply_to_list(ints, lambda x:x * 2)
Out[35]: [8, 0, 2, 10, 12]

虽然你可以直接编写[x *2for x in ints],但是这里我们可以非常轻松地传入一个自定义运算给apply_to_list函数。

  • 另外一个例子。假设有一组字符串,你想要根据各字符串不同字母的数量对其进行排序:
In [36]:  strings = ['foo', 'card', 'bar', 'aaaa', 'abab']

In [37]: strings.sort(key=lambda x:len(set(list(x))))

In [38]: strings
Out[38]: ['aaaa', 'foo', 'abab', 'bar', 'card']

  • 笔记:lambda 函数之所以会被称为匿名函数,与def声明的函数不同,原因之一就是这种函数对象本身是没有提供名称name属性。

柯里化:部分参数应用

柯里化(currying)是一个有趣的计算机科学术语,它指的是通过“部分参数应用”(partial argument application)从现有函数派生出新函数的技术。例如,假设我们有一个执行两数相加的简单函数,通过这个函数,我们可以派生出一个新的只有一个参数的函数——add_five,它用于对其参数加 5:

In [39]: def add_numbers(x,y):
    ...:     return x + y
    ...:

In [40]: add_five = lambda y: add_numbers(5,y)

In [41]: add_five(10)
Out[41]: 15

add_numbers的第二个参数称为“柯里化的”(curried)。这里没什么特别花哨的东西,因为我们其实就只是定义了一个可以调用现有函数的新函数而已。内置的functools模块可以用partial函数将此过程简化:

In [42]: from functools import partial

In [43]: add_five = partial(add_numbers, 5)

In [44]: add_five(22)
Out[44]: 27

生成器

能以一种一致的方式对序列进行迭代(比如列表中的对象或文件中的行)是Python的一个重要特点。这是通过一种叫做迭代器协议(iterator protocol,它是一种使对象可迭代的通用方式)的方式实现的,一个原生的使对象可迭代的方法。比如说,对字典进行迭代可以得到其所有的键:

In [180]: some_dict = {'a': 1, 'b': 2, 'c': 3}

In [181]: for key in some_dict:
   .....:     print(key)


a
b
c
  • 当你编写 for key in some_dict时,Python 解释器首先会尝试从some_dict创建一个迭代器:
In [182]: dict_iterator = iter(some_dict)

In [183]: dict_iterator
Out[183]: <dict_keyiterator at 0x7fbbd5a9f908>
  • 迭代器是一种特殊对象,它可以在诸如for循环之类的上下文中向 Python 解释器输送对象。大部分能接受列表之类的对象的方法也都可以接受任何可迭代对象。比如min、max、sum 等内置方法以及 list、tuple等类型构造器:
In [184]: list(dict_iterator)
Out[184]: ['a', 'b', 'c']
  • 生成器(generator)是构造新的可迭代对象的一种简单方式。一般的函数执行之后只会返回单个值,而生成器则是以延迟的方式返回一个值序列,即每返回一个值之后暂停,直到下一个值被请求时再继续。要创建一个生成器,只需将函数中的return替换为yeild即可:
In [45]: def squares(n=10):
    ...:     print('Generating squares from 1 to {0}'.format(n
    ...: ** 2))
    ...:     for i in range(1, n + 1):
    ...:         yield i ** 2
    ...:

In [46]: gen = squares() # 调用该生成器时,没有任何代码会被立即执行:

In [47]: gen
Out[47]: <generator object squares at 0x000002088B669CA8>

# 直到你从该生成器中请求元素时,它才会开始执行其代码:

In [48]: for x in gen:
    ...:     print(x, end= " ")
    ...:
Generating squares from 1 to 100
1 4 9 16 25 36 49 64 81 100

生成器表达式

另一种更简洁的构造生成器的方法是使用生成器表达式(generator expression)。这是一种类似于列表、字典、集合推导式的生成器。其创建方式为,把列表推导式两端的方括号改成圆括号:

In [49]: gen = (x**2 for x in range(100))

In [50]: gen
Out[50]: <generator object <genexpr> at 0x000002088AFDFDB0>

# 它跟下面这个冗长得多的生成器是完全等价的:

In [51]: def _make_gen():
    ...:     for x in range(100):
    ...:         yield x **2
    ...:

In [52]: gen = _make_gen()

  • 生成器表达式也可以取代列表推导式,作为函数参数:
In [54]: sum(x **2 for x in range(100))
Out[54]: 328350

In [55]: dict((i, i**2) for i in range(5))
Out[55]: {0: 0, 1: 1, 2: 4, 3: 9, 4: 16}

itertools 模块

标准库tertools块中有一组用于许多常见数据算法的生成器。例如,roupby以接受任何序列和一个函数。它根据函数的返回值对序列中的连续元素进行分组。下面是一个例子:

In [56]: import itertools

In [57]: first_letter = lambda x:x[0]

In [58]: names = ['Alan', 'Adam','Wes', 'Will', 'Albert', 'Stev
    ...: en']

In [59]: for letter, names in itertools.groupby(names, first_le
    ...: tter):
    ...:     print(letter, list(names))
    ...:
A ['Alan', 'Adam']
W ['Wes', 'Will']
A ['Albert']
S ['Steven']

  • 常用到的tertools函数

Python for Data Analysis v2 | Notes_ Chapter 3 Python 的数据结构、函数和文件

错误和异常处理

优雅地处理 Python 的错误和异常是构建健壮程序的重要部分。在数据分析中,许多函数函数只用于部分输入。例如,Python 的 float 函数可以将字符串转换成浮点数,但输入有误时,有 ValueError 错误:

In [60]: float('1.2345')
Out[60]: 1.2345

In [61]: float('something')
----------------------------------------------------------------

ValueError                     Traceback (most recent call last)

<ipython-input-61-2649e4ade0e6> in <module>()
----> 1 float('something')

ValueError: could not convert string to float: 'something'
  • 假如想优雅地处理float的错误,让它返回输入值。我们可以写一个函数,在try/except中调用float,当float(x)抛出异常时,才会执行except的部分,你可能注意到float抛出的异常不仅是ValueError
In [62]: def attempt_float(x):
    ...:     try:
    ...:         return float(x)
    ...:     except:
    ...:         return x
    ...:

In [63]: attempt_float('2.2222')
Out[63]: 2.2222

In [64]: attempt_float('nothing')
Out[64]: 'nothing'

In [65]: float((1,2))
----------------------------------------------------------------

TypeError                      Traceback (most recent call last)

<ipython-input-65-a101b3a3d6cd> in <module>()
----> 1 float((1,2))

TypeError: float() argument must be a string or a number, not 't
uple'
  • 你可能只想处理ValueErrorTypeError错误(输入不是字符串或数值)可能是合理的bug。可以写一个异常类型:

In [66]: def attempt_float(x):
    ...:     try:
    ...:         return float(x)
    ...:     except ValueError:
    ...:         return x
    ...:

In [67]: attempt_float((1,2))
----------------------------------------------------------------

TypeError                      Traceback (most recent call last)

<ipython-input-67-102527222085> in <module>()
----> 1 attempt_float((1,2))

<ipython-input-66-5a7c37ce098e> in attempt_float(x)
      1 def attempt_float(x):
      2     try:
----> 3         return float(x)
      4     except ValueError:
      5         return x

TypeError: float() argument must be a string or a number, not 't
uple'

  • 可以用元组包含多个异常,某些情况下,你可能不想抑制异常,你想无论try部分的代码是否成功,都执行一段代码。可以使用finally
In [68]: def attempt_float(x):
    ...:     try:
    ...:         return float(x)
    ...:     except (TypeError, ValueError):
    ...:         return x



# 这里,文件处理 f 总会被关闭。相似的,你可以用 else 让只在 try 分成功的情况 下,才执行代码:


In [72]: path = "./01_practice.py"

In [73]: f = open(path, 'w')

In [74]: try:
    ...:     write_to_file(f)
    ...: except:
    ...:     print('Failed')
    ...: else:
    ...:     print('Succeeded')
    ...: finally:
    ...:     f.close()
    ...:
Failed

IPython 的异常

如果是在%run一个脚本或一条语句时抛出异常,IPython默认会打印完整的调用栈(traceback),在栈的每个点都会有几行上下文:

In [10]: %run examples/ipython_bug.py
---------------------------------------------------------------------------
AssertionError                            Traceback (most recent call last)
/home/wesm/code/pydata-book/examples/ipython_bug.py in <module>()
     13     throws_an_exception()
     14
---> 15 calling_things()

/home/wesm/code/pydata-book/examples/ipython_bug.py in calling_things()
     11 def calling_things():
     12     works_fine()
---> 13     throws_an_exception()
     14
     15 calling_things()

/home/wesm/code/pydata-book/examples/ipython_bug.py in throws_an_exception()
      7     a = 5
      8     b = 6
----> 9     assert(a + b == 10)
     10
     11 def calling_things():

AssertionError:

自身就带有文本是相对于 Python 标准解释器的极大优点。你可以用魔术命令 %xmode,从Plain(与 Python 标准解释器相同)到 Verbose(带有函数的参数值)控制文本显示的数量。后面可以看到,发生错误之后,(用%debug%pdb magics)可以进入stack进行事后调试。

3.3 文件和操作系统

本书的代码示例大多使用诸如pandas.read_csv之类的高级工具将磁盘上的数据文件读入Python数据结构。但我们还是需要了解一些有关 Python 文件处理方面的基础知识。好在它本来就很简单,这也是 Python 在文本和文件处理方面的如此流行的原因之一。

# 为了打开一个文件以便读写,可以使用内置的 open 函数以及一个相对或绝对的文件路径:

In [84]: path = "./test/01_practice.py"

In [85]: f = open(path)

# 默认情况下,文件是以只读模式('r')打开的。然后,我们就可以像处理列表那样来处理这个文件句柄f了,比如对行进行迭代:

In [86]: for line in f:
    ...:     pass
    ...:


# 从文件中取出的行都带有完整的行结束符(EOL),因此你常常会看到下面这样的代码(得到一组没有 EOL 的行)

In [87]: lines = [x.rstrip() for x in open(path)]

In [88]: lines
Out[88]:
['what a great day 1',
 '',
 'what a great day 2',
 '',
 'what a great day 3',
 '',
 'what a great day 4',
 '',
 'what a great day 5',
 '',
 'what a great day 6',
 '',
 'what a great day 7',
 'what a great day 8',
 'what a great day 9',
 'what a great day 10']

  • 如果使用 open 创建文件对象,一定要用 close 关闭它。关闭文件可以返回操作系统资源:
f.close()
  • 用 with 语句可以可以更容易地清理打开的文件,这样可以在退出代码块时,自动关闭文件。
In [212]: with open(path) as f:
   .....:     lines = [x.rstrip() for x in f]

如果输入f =open(path,'w'),就会有一个新文件被创建在examples/segismundo.txt,并覆盖掉该位置原来的任何数据。另外有一个x文件模式,它可以创建可写的文件,但是如果文件路径存在,就无法创建。表3-3列出了所有的读/写模式。

Python for Data Analysis v2 | Notes_ Chapter 3 Python 的数据结构、函数和文件

  • 对于可读文件,一些常用的方法是read、seektellread会从文件返回字符。字符的内容是由文件的编码决定的(如 UTF-8),如果是二进制模式打开的就是原始字节:
In [90]: f = open(path)

In [91]: f.read(10)
Out[91]: 'what a gre'

In [92]: f2 = open(path, 'rb') # Binary mode

In [93]: f2.read(10)
Out[93]: b'what a gre'

In [94]: # read 模式会将文件句柄的位置提前,提前的数量是读取的字
    ...: 节数。tell 可以给出当前的位置:

In [95]: f.tell()
Out[95]: 10

In [96]: f2.tell()
Out[96]: 10
  • 尽管我们从文件读取了 10 个字符,位置却是 11,这是因为用默认的编码用了这么多字节才解码了这 10 个字符。你可以用 sys 模块检查默认的编码:
In [97]:
In [97]: import sys

In [98]: sys.getdefaultencoding()
Out[98]: 'utf-8'

In [99]: # seek 将文件位置更改为文件中的指定字节:

In [100]: f.seek(3)
Out[100]: 3

In [101]: f.read(1)
Out[101]: 't'

In [102]: f.close()

In [103]: f2.close()

  • 向文件写入,可以使用文件的writewritelines方法。例如,我们可以创建一个无空行版的 prof_mod.py

In [104]: with open('tmp.txt', 'w') as handle:
     ...:     handle.writelines(x for x in open(path) if len(x)
     ...:  > 1)
     ...:

In [105]: with open('tmp.txt') as f:
     ...:     lines = f.readlines()
     ...:

In [106]: lines
Out[106]:
['what a great day 1 \n',
 'what a great day 2 \n',
 'what a great day 3 \n',
 'what a great day 4 \n',
 'what a great day 5 \n',
 'what a great day 6 \n',
 'what a great day 7 \n',
 'what a great day 8 \n',
 'what a great day 9 \n',
 'what a great day 10 \n']
  • 一些最常用的文件方法。

Python for Data Analysis v2 | Notes_ Chapter 3 Python 的数据结构、函数和文件

文件的字节和 Unicode

Python 文件的默认操作是“文本模式”,也就是说,你需要处理 Python 的字符串(即 Unicode)。它与“二进制模式”相对,文件模式加一个 b。我们来看上一节的文件(UTF-8 编码、包含非 ASCII 字符):

In [107]: with open(path) as f:
     ...:     chars = f.read(10)
     ...:

In [108]: chars
Out[108]: 'what a gre'
  • UTF-8 是长度可变的 Unicode 编码,所以当我从文件请求一定数量的字符时,Python 会从文件读取足够多(可能少至 10 或多至 40 字节)的字节进行解码。如果以“rb”模式打开文件,则读取确切的请求字节数:
In [109]: with open(path,'rb') as f:
     ...:     data = f.read(10)
     ...:

In [110]: data
Out[110]: b'what a gre'
  • 取决于文本的编码,你可以将字节解码为 str对象,但只有当每个编码的Unicode 字符都完全成形时才能这么做:
In [109]: with open(path,'rb') as f:
     ...:     data = f.read(10)
     ...:

In [110]: data
Out[110]: b'what a gre'

In [111]: data.decode('utf-8')
Out[111]: 'what a gre'

In [112]: data[:4].decode('utf-8')
Out[112]: 'what'

原文章中:

In [234]: data.decode('utf8')
Out[234]: 'Sueña el '

In [235]: data[:4].decode('utf8')
---------------------------------------------------------------------------
UnicodeDecodeError                        Traceback (most recent call last)
<ipython-input-235-300e0af10bb7> in <module>()
----> 1 data[:4].decode('utf8')
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xc3 in position 3: unexpecte
d end of data
  • 文本模式结合了 open 的编码选项,提供了一种更方便的方法将 Unicode 转换为另一种编码:
In [113]: sink_path = 'sink.txt'

In [114]: with open(path) as source:
     ...:     with open(sink_path, 'xt', encoding='iso-8859-1')
     ...:  as sink:
     ...:         sink.write(source.read())
     ...:

In [115]: with open(sink_path, encoding='iso-8859-1') as f:
     ...:     print(f.read(10))
     ...:
what a gre
  • 注意,不要在二进制模式中使用 seek。如果文件位置位于定义 Unicode 字符的字节的中间位置,读取后面会产生错误:
In [123]: f = open(path)

In [124]: f.read(10)
Out[124]: 'what a gre'

In [125]: f.seek(7)
Out[125]: 7

In [126]: f.read(1)
Out[126]: 'g'

In [127]: f.close()

原文章中:


In [240]: f = open(path)

In [241]: f.read(5)
Out[241]: 'Sueña'

In [242]: f.seek(4)
Out[242]: 4

In [243]: f.read(1)
---------------------------------------------------------------------------
UnicodeDecodeError                        Traceback (most recent call last)
<ipython-input-243-7841103e33f5> in <module>()
----> 1 f.read(1)
/miniconda/envs/book-env/lib/python3.6/codecs.py in decode(self, input, final)
    319         # decode input (taking the buffer into account)
    320         data = self.buffer + input
--> 321         (result, consumed) = self._buffer_decode(data, self.errors, final
)
    322         # keep undecoded input until the next call
    323         self.buffer = data[consumed:]
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xb1 in position 0: invalid s
tart byte

In [244]: f.close()

  • 如果你经常要对 非ASCII 字符文本进行数据分析,通晓 Python 的 Unicode 功能是非常重要的。更多内容,参阅 Python 官方文档。

3.4 结论

我们已经学过了 Python 的基础、环境和语法,接下来学习 NumPy 和 Python 的面向数组计算。