欢迎您访问程序员文章站本站旨在为大家提供分享程序员计算机编程知识!
您现在的位置是: 首页

数据挖掘中拉格朗日插值法常见的问题(数组越界)

程序员文章站 2022-06-07 09:55:19
...

前几天想用拉格朗日插入法处理excel缺失的数据的时候,就去查看了一下拉格朗日插值法的详细代码,不管是在《Python数据分析与挖掘实战》一书,还是网上的其他的博客都是这样的代码

#利用拉格朗日插值法填充数据
import pandas as pd
from scipy.interpolate import lagrange
inputfile='E:/catering_sale.xls'
outputfile='E:/sale.xls'
data=pd.read_excel(inputfile)
data[u'销量'][(data[u'销量']<400)|(data[u'销量']>5000)]=None
 
#自定义列向量插值函数
#s为列向量,n为被插值的位置,k为取前后的数据个数,默认为5
def ployinterp_column(s,n,k=5):
    #取数
    y=s[list(range(n-k,n))+list(range(n+1,n+1+k))]
    #剔除空值
    y=y[y.notnull()]
    #返回拉格朗日函数结果
    return lagrange(y.index,list(y))(n)
 
#逐个元素判断是否需要插值
for i in data.columns:
    for j in range(len(data)):
        if(data[i].isnull())[j]:
            data[i][j]=ployinterp_column(data[i],j)

 

对于缺失的数据前后都有5个数据的话,上述代码是能执行的,但是如果对于缺失的数据前后不足5个,就会报如下的错误

数据挖掘中拉格朗日插值法常见的问题(数组越界)

 

  本人寻思许久,在朋友的帮助下,对代码进行改良如下

#求数据的长度
size = len(data)
#自定义列向量插值函数
#s为列向量,n为被插值的位置,k为取前后的数据的个数,默认为5
def ployinterp_column(s,n,k=2):
    #确定取数上下界
    if n<k:
        base=0
        top=n+1+k
    elif n>=(size-k):
        base = n-k
        top = size-1
    else:
        base = n-k
        top = n+1+k
    y = s[list(range(base,n))+list(range(n+1,top))]  #取数
    y = y[y.notnull()]  #剔除空值
    return lagrange(y.index,list(y))(n)    #插值并返回

#逐个元素判断是否需要插值
for i in data.columns:
    for j in range(len(data)):
        if(data[i].isnull())[j]:  #如果为空值即插值
            data[i][j] = ployinterp_column(data[i],j)

  在获取前后数据之前进行判断,保证所取的数据不会越界,这样不管缺失值在哪个位置都能成功通过拉格朗日插入法进行插入

相关标签: python