[置顶] 【数据建模 分类器性能指标】性能测评

表示分类正确：

True Positive:本来是正样例,分类成正样例。

True Negative:本来是负样例,分类成负样例。

表示分类错误:

False Positive :本来是负样例,分类成正样例,通常叫误报。

False Negative:本来是正样例,分类成负样例,通常叫漏报。

准确度 ：



真正类率(True Postive Rate)TPR: TP/(TP+FN),代表分类器预测的正类中实际正实例占

所有正实例的比例。Sensitivity

负正类率(False Postive Rate)FPR: FP/(FP+TN),代表分类器预测的正类中实际负实例

占所有负实例的比例。1-Specificity

真负类率(True Negative Rate)TNR: TN/(FP+TN),代表分类器预测的负类中实际负实例

占所有负实例的比例,TNR=1-FPR。Specificity

真正类率(True Postive Rate)TPR就是查全率

分类器给出针对每个实例为正类的概率,那么通过设定一个阈值如0.6,概率大于等于0.6的为正类,小于0.6的为负类。对应的就可以算出一组(FPR,TPR),在平面中得到对应坐标点。随着阈值的逐渐减小,越来越多的实例被划分为正类,但是这些正类中同样也掺杂着真正的负实例,即TPR和FPR会同时增大。阈值最大时,对应坐标点为(0,0),阈值最小时,对应坐标点(1,1)。

AUC是图中曲线下方的面积,值越大,分类效果越佳



通常情况下AUC越大学习器的效果越好。，即若一个学习器的ROC曲线被另外一个学习器曲线完全包住，那么可以断言，后一个学习器的性能优于前者。如果发生交叉则难以比较，如果非要比较，比较合理的判断是比较ROC下的面积即AUC大小。

附录：GBDT代码

from sklearn.model_selection import train_test_split
from sklearn import ensemble,cross_validation, metrics
X_train, X_test, y_train, y_test = train_test_split(modelData[allFeatures],modelData['CHURN_CUST_IND'], test_size=0.5,random_state=9)

y_train.value_counts()

#try 1: using default parameter
gbm0 = GradientBoostingClassifier(random_state=10)
gbm0.fit(X_train,y_train)
y_pred = gbm0.predict(X_test)
y_predprob = gbm0.predict_proba(X_test)[:,1]##输出所有样本属于0和1的概率，这里选择输出样本属于1的概率
print "Accuracy : %.4g" % metrics.accuracy_score(y_test, y_pred)
print "AUC Score (Testing): %f" % metrics.roc_auc_score(y_test, y_predprob)

y_pred2 = gbm0.predict(X_train)
y_predprob2 = gbm0.predict_proba(X_train)[:,1]
print "Accuracy : %.4g" % metrics.accuracy_score(y_train, y_pred2)
print "AUC Score (Testing): %f" % metrics.roc_auc_score(y_train, y_predprob2)