迭代模型与演化模型,迭代模型的定义是什么,迭代模型与演化模型,迭代模型的定义和区别

研习社话题N：

　　问题：如何确定信用模型的因变量？或者说如何更好的确定y变量？

　　说明：Y已经定义了，但是模型效果一般，或者说越来越差，所以我在尝试重新定义。

　　原因：模型上线后效果一般。平均效果的表现是什么？有什么问题？除了Y的定义，还有哪些可能的原因存在？

　　探究：模型效果的评价指标和优化方法？商业中y的定义方法。

　　下面，我们开始今天的分析：

　　先看几个概念：

　　1.得分截止值和通过率%

　　2.截掉以上各段的sample_amount、pre_bad_rate%和real_bad_rate%和model_error。

　　例如：

　　可以看出，如果我们的截断阈值设为500分，模型各分段的预测违约概率随着得分的增加而降低，模型在实际业务中的表现基本符合这一规律。但是模型的实际效果比预测效果差很多，model_error基本都在5%以上，说明我们模型的整体预测能力出了问题，而不仅仅是某个片段。基于此，我们可以从以下几个角度来分析造成违约增加的因素，从而找出相应的优化方法。

角度1：

外部因素变化

　　1)经济环境恶化；2)政策导向的改变；3)借贷环境的影响；4)银行或机构产品结构的调整；5)进口渠道的变化。

　　6)其他因素

　　分析方法：

　　1)经验，外部环境，管理部门，运营部门，贷后部门，催收部门，反馈。

　　2)量化，说明用户整体评分没有下降，各区间分布合理，Pass_rate%正常，但贷后表现异常。

角度2：

样本特征X分布发生变化

　　具体而言，样本的单个或多个特征的总体分布发生变化，这可能是由于受外部环境等因素的影响，进口零部件用户的结构发生了变化。因此，入声部分的整体得分增加或减少，或者音程得分增加或减少。如果总得分降低，通常风险控制经理会降低临界值。为了达到通过率的要求，这就导致了一部分分数低的用户的认可。如果总体得分较高，通常风险控制经理会降低临界值，导致一些优秀用户被降级。

　　最终的结果是逾期率的提高。

　　分析方法：

　　1)通过1)PSI观察y值是否稳定。

　　2)用2)PSI观察每个样本的特征X的分布变换是否稳定，检查其正态性和相关性是否漂移。

角度3：

label特征Y定义出现问题

　　通常在银行业务中，不良样本的定义是M3，即逾期90天以上；对于机构分期业务，通常选择FPD30或PDM(最大逾期天数)；PD10 ~ PD30通常选择单期小额现金贷业务；很少有商家会选择PD3甚至PD1。在我们训练模型之前，标签特征Y的具体定义方法的选择需要结合业务经验、账龄分析、贷后回拨的表现进行综合评估。

　　(数据为不真实数据)我们可以看到，Y取不同，正负样本比例不同，样本区间分布不同。因此，如果Y的定义不合理，就会影响记分卡的效果。如果数据在训练集、测试集和验证集中表现良好，但实际生产后出现问题，除了经济政策环境和商业环境变化的原因外，很可能是Y选择不当导致样本质量出现偏差的结果。

　　综上，我们可以理解为一般机构业务Y的定义通常在PD10~PD30左右，不短也不太长。如果时间太短，模型会将大量正常样本信息误认为坏样本信息而学习；时间过长，很多坏样本的信息学习会不完全，模型调优的周期会被动延长。

　　所以我们也能理解为什么银行普遍不用或者不用复杂程度较低的记分卡模型，较少使用杀鸡工具。

　　现在回到文章开头的几个问题：

　　总结如下：模型效果一般时，通常需要多角度考虑问题，采用经验加分析的方法。影响合格率%和不良率%的因素定位在环境、X和Y，具体原因进一步调查分析。

　　由此，我们也可以得出一个教训。在模型开发过程中，需要通过PSI、Pass_rate%、bad_rate%、混淆矩阵等方法不断分析样本特征的可预测性和稳定性以及Y定义的合理性。这样就能尽量避免模型上线就失败的尴尬局面。

　　对数据分析、机器学习、数据科学、金融风控等感兴趣的小伙伴。需要数据集、代码、行业报告等各种学习资料。可以加微信：wu805686220(记得备注！)，也可以关注微信微信官方账号：风控骰子(不要打错字，是骰子，不是圆，算了直接抄！)

　　关注微信官方账号后，可以联系圈子助手加入以下社群：

　　学习风控讨论组(微信群)反欺诈讨论组(微信群)python学习交流组(微信群)研习会资料(qq群：102755159)(干货，资讯，项目，代码，报告，课件)互相学习，共同成长。