2017.06.02回顾 模型评价的正确方法
2017-06-05 15:01
225 查看
1、决策引擎调整
2、做了现在模型和上版模型的比较,令人意外的是上版模型在目前的放款客户中有非常好的rank order,这就尴尬了,那毕竟是我抠脚建的模型,居然在现有模型的通过域中有这么好的划分,但是问题来了,我感觉到,如果把此模型用于全部样本,可能区隔并没有这么好,因为这个模型当初12月、1月也使用过并没有逆天的效果,略微好于现在,难道要把这两个模型ensemble起来?直接ensemble通过率会非常非常低,但是对于坏账却比较有信心,直接ensemble实际应用肯定是不行的。那话说回来如何去评价上一版模型呢?一种理想的情况,进行AB测试,直接看逾期情况;看区隔度的话,两个模型通过的都进行等分,不是就可以看区隔度吗?比如A模型放grade
ABC,另一个B模型放grade AB,后来看区隔度就是ABC坏账,AB坏账,这种怎么看呢?找一个量化的评价指标,比如我仍然可以用IV啊,这是不等分的方式,如果等分呢?等分也可以啊!
但是现在回过头来比较当前模型和上一版模型就存在一个问题,当前模型可以通过的等分看,或者就实际grade看,但是上一版模型就只能在通过的人里面来看,而不是上一版模型自己通过的人,这种比较方式只能说明两个模型ensemble很棒,看到上一版的漂亮数据就直接拿来运用,肯定取不到这么好的分化效果,那该如何评测呢?这里就作为问题
3、下午就尝试开始建一个骷髅王2.0,开始做数据抽取,然后IV计算
2、做了现在模型和上版模型的比较,令人意外的是上版模型在目前的放款客户中有非常好的rank order,这就尴尬了,那毕竟是我抠脚建的模型,居然在现有模型的通过域中有这么好的划分,但是问题来了,我感觉到,如果把此模型用于全部样本,可能区隔并没有这么好,因为这个模型当初12月、1月也使用过并没有逆天的效果,略微好于现在,难道要把这两个模型ensemble起来?直接ensemble通过率会非常非常低,但是对于坏账却比较有信心,直接ensemble实际应用肯定是不行的。那话说回来如何去评价上一版模型呢?一种理想的情况,进行AB测试,直接看逾期情况;看区隔度的话,两个模型通过的都进行等分,不是就可以看区隔度吗?比如A模型放grade
ABC,另一个B模型放grade AB,后来看区隔度就是ABC坏账,AB坏账,这种怎么看呢?找一个量化的评价指标,比如我仍然可以用IV啊,这是不等分的方式,如果等分呢?等分也可以啊!
但是现在回过头来比较当前模型和上一版模型就存在一个问题,当前模型可以通过的等分看,或者就实际grade看,但是上一版模型就只能在通过的人里面来看,而不是上一版模型自己通过的人,这种比较方式只能说明两个模型ensemble很棒,看到上一版的漂亮数据就直接拿来运用,肯定取不到这么好的分化效果,那该如何评测呢?这里就作为问题
3、下午就尝试开始建一个骷髅王2.0,开始做数据抽取,然后IV计算
相关文章推荐
- 多准则决策模型-TOPSIS评价方法-源码
- 机器学习中进行模型评价、模型选择和算法选择的终极方法(PART I)
- 浏览器性能对比测试方法与评价模型研究
- 一文告诉你机器学习中进行模型评价、模型选择和算法选择的终极方法(PART I)
- 机器学习模型的评价指标和方法
- 数学建模--医疗保险欺诈的发现--模型:评价类的数学模型和多元统计模型--方法:”改进的”主成分分析,聚类分析,判别分析,相关分析
- 视频客观质量评价模型性能的评估方法
- 机器学习模型的评价指标和方法
- 机器学习模型的评价指标和方法
- 前端性能评价模型自动分析方法研究
- 医学图像常用模型评价方法
- [转贴]如何用正确的方法来写出质量好的软件的75条体会
- sps编程模型中打开站点的几种方法
- 如何用正确的方法来写出质量好的软件的75条体会[转]
- 如何用正确的方法来写出质量好的软件的75条体会(zz)
- 面向对象数据库的正确评价与选择
- 如何用正确的方法来写出质量好的软件的75条体会[转] ps:good!
- 如何用正确的方法来写出质量好的软件的75条体会
- 如何用正确的方法来写出质量好的软件的75条体会
- 如何用正确的方法来写出质量好的软件的75条体会[转贴]