机器学习---分类模型评估ROC

1.假设如下：

2.两个指标

(1)ROC曲线

TPR(ture-pos-rt)=TP/(TP+FN) #正样本召回率，也是正类分对的概率

FPR(false-pos-rt)=FP/(FP+TN) #负样本分错的比例，即，将实际负样本预测为正样本占整个负样本的比例, 所谓的假阳例。

两个指标的值均在0,1之间



横纵：负样本被分错的比例（实际负样本中），FNR

纵轴：正样本被分错的比例（实际正样本中）,TTR

意义： 如果FNR变换比TTR快，则表现差

如果TTR变换比FNR快，则表现好。

也就是，点A（FNR,TTR）,如果TTR>FNR,则优。

也就是曲线（curve）越靠进左上角，模型表现越好，也就是TTR越高，FNR越小越好。

画法： 取TTR

3）特殊点说明：

（0，0）全部预测为负样本。

（1,1）全部预测为正样本。

因此ROC曲线在对角线之上。

4）AUC:

ROC可以直观看出模型表现，但不能量化，因此AUC用来量化模型的优劣程度。AUC介于[0.5,1]之间。

（2）F1-score 二分类问题中

准确率： 预测正确正样本/预测为正样本

召回率: 预测正确正样本/实际样本正样本量