Python缺失值处理

1、导入需要的库。import pandas as pdimport numpy as npfrom sklearn.preprocessing import Imputer

2、生成缺失数据。data=pd.DataFrame({'name':['Kit髫潋啜缅e','Lily','Hanmei','Danny','Bob'],'English':[92,78,np.nan,23,82],'Math':[69,87,91,np.nan,90],'Chinese':[np.nan,78,96,np.nan,75]})print(data)

3、查看缺失值。data.isnull()#查看所有缺失值data.isnull().any()#获取含有缺失值的列data.isnull().all()#获取全部为NA的列

4、删除缺失值。这种处理方式丢失的信息比较多。data2=data.dropna()print(data2)可以看到，删除后，仅剩两行数据。

5、利用sklearn替湍恬擒舍换缺失值。当缺失值为数值型数据时，可用利用均值来替换。data.index=dat锾攒揉敫a['name']#将第一列作为索引data=data.drop(['name'],axis=1)#删除第一列nan_model=Imputer(missing_values='NaN',strategy='mean',axis=0)#按照行均值替换对应缺失值。nan_result=nan_model.fit_transform(data)print(nan_result)

6、利用pandas替换缺失值。data.fillna(0) #缺失值用0替换(考试中缺考记0分)data.fillna(method='pad')#用前面的值替换data.fillna(method='backfill')#用后面的值替换可以看到，当第一行有缺失值时，利用向前替换是会失败的。