数据预处理的主要任务是什么,对数据进行预处理的目的

  数据预处理的主要任务是什么,对数据进行预处理的目的

  数据预处理一般操作数据读取数据分析数据大小确认数据类型、缺失值、缺失值占比确认数据相关性-数据处理数据类型转换显示pd.to_numeric函数散点图观察缺失值处理数据删除缺失值填写:文本数据

  读取数据

  通过导入数据并将其集成到df _功能中,可以一起处理训练集和测试集。

  #读取excel train=PD.read _ excel (r 文件路径)test=PD.read_excel读取csvtrain=PD.read_)。合并数据df_features=train.append(测试)数据分析显示数据大小打印(培训集: str train.shape ) n测试集:( str ) test.shape))数据类型显示缺少值的百分比#列号为中文col=[]df _ features列=列号视图毕丽=list((()).格式.values ) for index,values,isnull,biin zip(list(df _ features。数据类型。index)、list)df _ df列表(df _ features。为空).总和)、毕丽):12)({:12 } { 336012 } { 336012 } { 336012 } { 336012 })、)

  查看数据依赖关系-#相关函数data.corr()打印相关矩阵的第一列)#for index,valuesinzip ) df_features.corr).index,df_features.corr().值[0] ) : # print ({ :15 }).格式)索引,值)(#相关性importmatplotlib。pyplotaspltimportsabornassnsfromplabimportmpl。RC params[ font。无衬线])=差速器=假#解析保存映像指定为负的PLT.figure (fig size=6520,20)(ax=SNS。热图)teatmap)square=True,line color=。中心=0)轴。tick _ Params(标签大小=10)PLT。展示)数据处理数据类型对不可转换的数据执行nandf _ features [ columns _ name ]

  散点图由importmatplotlib。pyplotasplt。散点图(df _ features[ columns _ name ].索引,df _ features [ columns _ ne ]

  数据框。drop _ duplicates(subset=none,keep=first ,inplace=False ) ) Python熊猫是数据删除重复项的详细解

  删除一列:

  df_features.drop(columns_name),axis=1,inplace=True)缺少值的填充:常规填充方法:

  填充-1: df _ features [列名].填充na [-1,就地=真填充乘数,平均数,中值等:df _ features[ columns _]in place=true(#填充平均数df _ features[列名].填充na(df _ features[in place=true(#中值df _ features [列名]。填充na (df _ features [ columns _ name ].模式))0)

  KNNImputer:可靠的缺失值插值方法

  我建议你看看这个。填补缺失值的几种方法

  文本数据处理http://www .Sina.com/:弗洛斯克尔恩。预处理importlabelencoderforfeatin[ columns _ name ]3360 LBL=拉梅)df _ features[feat]=LBL。transform(df _ features[feat])http://www。新浪。)

  用"虚拟变量矩阵"(虚拟矩阵)替换分类变量。如果数据帧列包含k个不同的值,则可以派生k列矩阵或数据帧。值都是0和1。熊猫具有实现此功能的获取_假人函数。

  pandas.get_dummies(data,prefix=None,prefix _ sep=_ ,dummy_na=False,columns=None,sparse=False 99))get _ dummies(data,)如果不指定新列的列名,则dummies1=PD.get(列名打印(- df -))打印)df)数据的原始标记对打印(df _ dummies 1)#前缀参数是前缀=key )打印,其可以将前缀df_dummies2=PD.get_dummies ) df加到伪变量的名称前缀=key ) - df_dummies2 -默认情况下,所有分类变量都是one_hot处理df_dummies3=PD.get_dummies(df)一个列参数df_dummies4=PD.get_dummies(df,前缀=[class , like)打印)" " "- PD.get)是必需的"喜欢")- df_dummies4 -")打印(df _ dummies) sorce ]-df _ dummies 5- )打印(df _ dummies5)原文链接:Python对数据一个热点代码

  

LabelEncoder编码

:重新审视:AI基础:特征工程-文本特征处理

  最后,建议大家看看桨的数据准备和特征工程的故事。

数据预处理的主要任务是什么,对数据进行预处理的目的