R语言-数据预处理的一些实用（万能）办法：缺失值、数据重复、共线性等等的处理

#在这里呢主要是想介绍一下数据预处理的一些常用问题：缺失值、数据重复、共线性等等的处理办法，自己写了一点代码，希望能帮助到有需要的朋友

#删除缺失比例达到20%的列,并打印出删除的列

fun1<-function(data,naratio=0.2){

  na_ratio<-apply(is.na(data),2,sum)/nrow(data)#求每列的缺失比例

  x<-data[,na_ratio<naratio]#保留缺失比例小于0.2的列

  print(colnames(data)[na_ratio>=naratio])#打印出被删除的列变量名

  return(x)

}

#或者可以直接利用R中的DMwR包来进行处理

library(DMwR)

data4<-data[-manyNAs(data,nORp=0.2),] #删除缺失比例达到20%（默认0.2）的行（如果想删除列先将矩阵进行转置就行了）

#删除某列众数比例达到50%的列,并打印出删除的列

fun2<-function(data){

  fun_const<-function(x){ 

    xn1<-which.max(table(x))#找出每列的众数

    return(x[xn1])

  }

  constant1<-as.numeric(apply(data,2,fun_const))

  fun_i<-function(data,constant1,i){

    zero_ratio<-sum(data[,i]==constant1[i])/nrow(data)

    return(zero_ratio)

  }

  zero_ratio1<-numeric(ncol(data))

  

  for(i in 1:ncol(data)){

    zero_ratio1[i]<-fun_i(data,constant1,i)

  }

  data1<-data[,zero_ratio1<0.5]

  print(colnames(data)[zero_ratio1>=0.5])

  return(data1)

}

#删除相关系数达到0.9的列,并打印出删除的列

fun3<-function(data,corr=0.9){

  xc<-cor(data);diag(xc)=0

  lc<-which(abs(xc)>=corr,arr.ind = T)

  if(length(lc)!=0){

    lc1<-lc[lc[,1]<lc[,2],]

    if(is.matrix(lc1)) lcd<-unique(lc1[,2]) else lcd<-lc1[2]

    x<-data[,-lcd]

    print(colnames(data)[lcd])

    return(x)

  } else return(data)

}

#删除列名重复的情形（可能列名只是差个空格或者其他符号，但其实是同一个变量）

col_name<-colnames(data)

col_name1<-gsub(" ","",col_name)#删掉变量名中的空格

new_col<-unique(col_name1)

data1<-data[,match(new_col,col_name1)]
#其实这些都是平时做数据处理时可以预先做的一些简单处理，还是非常实用的，但是我只是针对自己的数据编写的，如果数据不一样会出现一些小问题，只要稍微做下修改应该就没啥问题，有好办法欢迎来贴，只有互相学习才能更快的提升自己！