R语言|数据预处理--5异常值分析及处理

数据集接《3缺失值离群点处理》中2
1、异常值分析及处理
#获取月收入的异常值
out <-boxplot.stats(traindata$x5)
boxplot(traindata$x5)
# which(traindata$x5%in% out)
# traindata1 <-traindata[-which(traindata$x5 %in% out)]
#boxplot(traindata1$x5)
 
#首先对于x2变量，即客户的年龄，我们可以定量分析，发现有以下值
unique(traindata$x2)
#可以看到年龄中存在0值，显然是异常值，予以剔除。
traindata <-traindata[-which(traindata$x2==0), ]
 
#对于x3,x7,x9三个变量，由下面的箱线图可以看出，均存在异常值，且由unique函数可以得知均存在96、98两个异常值，因此予以剔除。同时会发现剔除其中一个变量的96、98值，其他变量的96、98两个值也会相应被剔除
unique(traindata$x3)
traindata <-traindata[-which(traindata$x3 %in% c(96, 98)), ]
 
unique(traindata$x7)
traindata <-traindata[-which(traindata$x7 %in% c(96, 98)), ]
 
#当把x3和x7中的异常值删除后，x9中的异常值也被删除了
unique(traindata$x9)
 
 
2、离群点
1）、检测方法：boxplot（箱线图）和k-means检测
2）、处理方法：①与该领域专家研究确定，可能属于正常情况，此时应保留这些值；②可能是离群点，在建模时删除这些值；③数据重构不需要删除离群点，使用记录中的均值或中位数进行替换。