Pandas 稀疏数据结构的实现
程序员文章站
2024-01-09 18:42:46
目录spare data的例子sparsearraysparsedtypesparse的属性sparse的计算sparseseries 和 sparsedataframe简介如果数据中有很多nan的值...
简介
如果数据中有很多nan的值,存储起来就会浪费空间。为了解决这个问题,pandas引入了一种叫做sparse data的结构,来有效的存储这些nan的值。
spare data的例子
我们创建一个数组,然后将其大部分数据设置为nan,接着使用这个数组来创建sparsearray:
in [1]: arr = np.random.randn(10) in [2]: arr[2:-2] = np.nan in [3]: ts = pd.series(pd.arrays.sparsearray(arr)) in [4]: ts out[4]: 0 0.469112 1 -0.282863 2 nan 3 nan 4 nan 5 nan 6 nan 7 nan 8 -0.861849 9 -2.104569 dtype: sparse[float64, nan]
这里的dtype类型是sparse[float64, nan],它的意思是数组中的nan实际上并没有存储,只有非nan的数据才被存储,并且这些数据的类型是float64.
sparsearray
arrays.sparsearray 是一个 extensionarray ,用来存储稀疏的数组类型。
in [13]: arr = np.random.randn(10) in [14]: arr[2:5] = np.nan in [15]: arr[7:8] = np.nan in [16]: sparr = pd.arrays.sparsearray(arr) in [17]: sparr out[17]: [-1.9556635297215477, -1.6588664275960427, nan, nan, nan, 1.1589328886422277, 0.14529711373305043, nan, 0.6060271905134522, 1.3342113401317768] fill: nan intindex indices: array([0, 1, 5, 6, 8, 9], dtype=int32)
使用 numpy.asarray() 可以将其转换为普通的数组:
in [18]: np.asarray(sparr) out[18]: array([-1.9557, -1.6589, nan, nan, nan, 1.1589, 0.1453, nan, 0.606 , 1.3342])
sparsedtype
sparsedtype 表示的是spare类型。它包含两种信息,第一种是非nan值的数据类型,第二种是填充时候的常量值,比如nan:
in [19]: sparr.dtype out[19]: sparse[float64, nan]
可以像下面这样构造一个sparsedtype:
in [20]: pd.sparsedtype(np.dtype('datetime64[ns]')) out[20]: sparse[datetime64[ns], nat]
可以指定填充的值:
in [21]: pd.sparsedtype(np.dtype('datetime64[ns]'), ....: fill_value=pd.timestamp('2017-01-01')) ....: out[21]: sparse[datetime64[ns], timestamp('2017-01-01 00:00:00')]
sparse的属性
可以通过 .sparse 来访问sparse:
in [23]: s = pd.series([0, 0, 1, 2], dtype="sparse[int]") in [24]: s.sparse.density out[24]: 0.5 in [25]: s.sparse.fill_value out[25]: 0
sparse的计算
np的计算函数可以直接用在sparsearray中,并且会返回一个sparsearray。
in [26]: arr = pd.arrays.sparsearray([1., np.nan, np.nan, -2., np.nan]) in [27]: np.abs(arr) out[27]: [1.0, nan, nan, 2.0, nan] fill: nan intindex indices: array([0, 3], dtype=int32)
sparseseries 和 sparsedataframe
sparseseries 和 sparsedataframe在1.0.0 的版本时候被删除了。取代他们的是功能更强的sparsearray。
看下两者的使用上的区别:
# previous way >>> pd.sparsedataframe({"a": [0, 1]})
# new way in [31]: pd.dataframe({"a": pd.arrays.sparsearray([0, 1])}) out[31]: a 0 0 1 1
如果是scipy 中的sparse 矩阵,那么可以使用 dataframe.sparse.from_spmatrix() :
# previous way >>> from scipy import sparse >>> mat = sparse.eye(3) >>> df = pd.sparsedataframe(mat, columns=['a', 'b', 'c'])
# new way in [32]: from scipy import sparse in [33]: mat = sparse.eye(3) in [34]: df = pd.dataframe.sparse.from_spmatrix(mat, columns=['a', 'b', 'c']) in [35]: df.dtypes out[35]: a sparse[float64, 0] b sparse[float64, 0] c sparse[float64, 0] dtype: object
到此这篇关于pandas 稀疏数据结构的实现的文章就介绍到这了,更多相关pandas 稀疏数据结构内容请搜索以前的文章或继续浏览下面的相关文章希望大家以后多多支持!
上一篇: PHP框架之DooPHP