分类不平衡对软件缺陷预测模型性能的影响研究（笔记）

分类不平衡对软件缺陷预测模型性能的影响研究

二、解决分类不平衡的方法

采样法:

过采样(上采样): 增加少数样本

欠采样(下采样): 减小多数样本

代价敏感学习

正确识别 少数类 比 正确识别 多数类 更有价值

即：错分少数类 比 错分多数类 要付出更大的 代价

为不同的类别 赋予 不同的错分代价 提供少数类的 分类性能

集成学习

通过 聚集 多个模型的 预测结果 来提高 分类性能。

集成模型性能 要 优于 单个模型性能

注: 并不是为了解决分类不平衡问题提出的，但是处理其取得较好结果

三、预测模型

目标： 掌握 不同预测模型 在 分类不平衡时的 性能稳定程度，则可在 实际应用中 针对性地 选择合理的 预测模型。

提出 分类不平衡影响分析 方法 ==> 评价 分类不平衡对软件缺陷预测模型性能 的影响程度

四、 分类不平衡影响分析法 (摘要已写)

构造 一组 不平衡率依次递增 的 新数据集

对构造的新数据集进行 预测

ROC 曲线下方的面积 - AUC => 评价 不同预测模型的分类性能

采用 变异系数 C · V => 评价不同预测模型 在分类不平衡时 性能稳定程度

五、预测模型介绍

C4.5

采用新型增益率 选择属性时偏向选择选择值多的属性 的 问题

K-Nearest Neighbor (KNN)

K 近邻算法 是 一种 基于实例 的 分类算法



Logistic Regression (LR)

MultiLayer Perceptron(MLP)



Naive Bayes (NB)



Random Forest (RF)



RIPPER



SMO

六、性能影响

分类不平衡影响分析方法

新数据集构造

  % 需要一组 具有 不同不平衡率的  数据集
% 这里设计了 一种  新数据集 构造算法
% 原不平衡数据集  转换为  一组不平衡率依次递增的  新数据集
function newDataSet = ConvertNewSet(DataSet)
​
DefectSet = ConvertToDefect(DataSet);           % 有缺陷样本
NonDefectSet = ConverToNonDefect(DataSet);      % 无
n1 = DefectSet.size();             % 有缺陷样本数 n1
n2 = NonDefectSet.size();          % 无
r = Math.floor(n2 / n1);           % 计算不平衡率
newDataSet = DefectSet;            % 用有缺陷样本 初始化 newDataSet
restNonDefectSet = NonDefectSet;   % 数据集
​
while restNonDefectSet != NULL
restNonDefectSet = RandomTreat(restNonDefectSet);  % 对其 进行随机化处理
if restNonDefectSet.size() >= 2 * n1
% 从 restNonDefectSet 中随机选取 n1 个样本, 并保存到 newDataSet
tmp = RandomSelectSample(restNonDefectSet, n1);
newDataSet.append(tmp);
% 从restNonDefectSet 中 移除 n1 个样本
restNonDefectSet.remove(tmp)
else
% 将restNonDefectSet的剩余样本 保存至 newDataSet
newDataSet.append(restNonDefectSet);
restNonDecfectSet = NULL;
end
save newDataSet ;   % 保存新数据集
end
% 返回新数据集
newDataSet;

以上算法是用 欠采样法 来实现的

预测模型评价

实验设计

哪些模型性能更稳定？

不稳定的模型，代价敏感学习是否能提高其性能的稳定程度？

集成学习是否能进一步提高其性能稳定程度？

采用AUC指标评价模型

采用10次10折交叉验证



参考：https://www.zhihu.com/question/29350545

实验结果与分析