数据挖掘中拉格朗日插值法常见的问题(数组越界)
程序员文章站
2022-06-07 09:55:19
...
前几天想用拉格朗日插入法处理excel缺失的数据的时候,就去查看了一下拉格朗日插值法的详细代码,不管是在《Python数据分析与挖掘实战》一书,还是网上的其他的博客都是这样的代码
#利用拉格朗日插值法填充数据
import pandas as pd
from scipy.interpolate import lagrange
inputfile='E:/catering_sale.xls'
outputfile='E:/sale.xls'
data=pd.read_excel(inputfile)
data[u'销量'][(data[u'销量']<400)|(data[u'销量']>5000)]=None
#自定义列向量插值函数
#s为列向量,n为被插值的位置,k为取前后的数据个数,默认为5
def ployinterp_column(s,n,k=5):
#取数
y=s[list(range(n-k,n))+list(range(n+1,n+1+k))]
#剔除空值
y=y[y.notnull()]
#返回拉格朗日函数结果
return lagrange(y.index,list(y))(n)
#逐个元素判断是否需要插值
for i in data.columns:
for j in range(len(data)):
if(data[i].isnull())[j]:
data[i][j]=ployinterp_column(data[i],j)
对于缺失的数据前后都有5个数据的话,上述代码是能执行的,但是如果对于缺失的数据前后不足5个,就会报如下的错误
本人寻思许久,在朋友的帮助下,对代码进行改良如下
#求数据的长度
size = len(data)
#自定义列向量插值函数
#s为列向量,n为被插值的位置,k为取前后的数据的个数,默认为5
def ployinterp_column(s,n,k=2):
#确定取数上下界
if n<k:
base=0
top=n+1+k
elif n>=(size-k):
base = n-k
top = size-1
else:
base = n-k
top = n+1+k
y = s[list(range(base,n))+list(range(n+1,top))] #取数
y = y[y.notnull()] #剔除空值
return lagrange(y.index,list(y))(n) #插值并返回
#逐个元素判断是否需要插值
for i in data.columns:
for j in range(len(data)):
if(data[i].isnull())[j]: #如果为空值即插值
data[i][j] = ployinterp_column(data[i],j)
在获取前后数据之前进行判断,保证所取的数据不会越界,这样不管缺失值在哪个位置都能成功通过拉格朗日插入法进行插入