22 | 模型稳定性评估：如何用PSI来评估信用评分产品的稳定性？-利用AI帮助产品经理提升实战课

当前位置:　首页>> 技术小册>> 利用AI帮助产品经理提升实战课

### 章节 22 | 模型稳定性评估：如何用PSI来评估信用评分产品的稳定性？

在AI驱动的金融产品设计中，模型稳定性是确保产品长期有效性和用户信任度的关键要素。特别是在信用评分领域，模型的稳定性直接关系到风险评估的准确性、客户体验的满意度以及金融机构的风险管理能力。本章将深入探讨如何利用PSI（Population Stability Index，群体稳定性指数）来评估信用评分产品的稳定性，为产品经理在实战中提供有力的工具和方法。

#### 一、模型稳定性的重要性

模型稳定性指的是模型在不同时间、不同数据集上表现的一致性。在信用评分模型中，稳定性尤为重要，因为不稳定的模型可能导致评分结果波动大，进而影响贷款审批、额度授予等核心业务流程。具体来说，不稳定的模型可能让原本信用良好的客户被拒绝，或让信用较差的客户获得贷款，从而增加金融机构的坏账风险。

因此，在AI辅助的产品开发过程中，产品经理不仅需要关注模型的预测准确度（如AUC、KS等指标），还需要密切关注其稳定性。PSI作为一种量化评估模型稳定性的工具，在金融风控领域得到了广泛应用。

#### 二、PSI的基本原理

PSI是衡量两个样本分布（通常是开发样本和验证样本或新旧样本）之间差异的指标，通过计算各分数段内实际占比与预期占比的差异，并乘以该差异的自然对数，最后求和得到。PSI的计算公式为：

\[ PSI = \sum_{i=1}^{n} \left( \text{实际占比}_i - \text{预期占比}_i \right) \times \ln\left( \frac{\text{实际占比}_i}{\text{预期占比}_i} \right) \]

其中，$n$ 是分数段的数量，$\text{实际占比}_i$ 和 $\text{预期占比}_i$ 分别表示第 $i$ 个分数段内的实际样本和预期样本占比。

PSI指标反映了模型在不同时间或不同样本集上预测结果分布的稳定性。PSI值越小，说明两个分布之间的差异越小，模型越稳定；反之，PSI值越大，则表明模型稳定性越差。

#### 三、PSI在信用评分产品中的应用

在信用评分产品的开发、部署和监控过程中，PSI可以用于多个环节来评估模型的稳定性。

##### 1. 模型开发阶段

在模型开发阶段，产品经理可以利用PSI来评估模型在不同开发样本上的稳定性。通过对比训练集和验证集（或测试集）上的PSI值，可以初步判断模型是否过拟合或欠拟合。如果训练集和验证集上的PSI值差异较大，可能意味着模型在未见过的数据上表现不佳，需要进一步调整模型参数或特征选择。

##### 2. 模型上线前评估

在模型准备上线前，产品经理需要利用PSI进行严格的稳定性评估。通常，会使用模型开发阶段的样本（如OOT样本）作为预期样本，而使用近期抽取的样本作为实际样本。通过计算PSI值，可以判断模型在上线前是否达到了预期的稳定性标准。如果PSI值超过预设的阈值（如0.1），则可能需要重新训练模型或调整模型参数。

##### 3. 模型上线后监控

模型上线后，产品经理需要持续监控其稳定性。通过定期（如每月或每季度）计算PSI值，可以及时发现模型性能的变化趋势。如果PSI值突然增大，可能表明模型受到了外部因素的影响（如数据源变化、用户群体变化等），需要深入分析原因并采取相应的应对措施（如调整模型参数、重新训练模型等）。

#### 四、PSI计算步骤

为了更好地理解如何应用PSI来评估信用评分产品的稳定性，以下是PSI计算的具体步骤：

##### 1. 数据准备

- **预期样本**：通常选择模型开发阶段的样本或上线前的OOT样本。
- **实际样本**：选择模型上线后最近一段时间的样本数据。

##### 2. 分数段划分

将信用评分结果划分为多个分数段（如10个等分段）。划分方式可以是等频分箱（每个分数段内样本数量相同）或等距分箱（每个分数段内分数范围相同）。由于PSI关注的是人数分布的波动情况，因此在实际应用中常采用等距分箱。

##### 3. 计算各分数段占比

- **预期占比**：计算预期样本在各分数段内的占比。
- **实际占比**：计算实际样本在各分数段内的占比。

##### 4. 计算PSI值

根据PSI的计算公式，计算每个分数段内的PSI值，并将所有分数段的PSI值求和得到总体PSI值。

##### 5. 解读PSI值

根据PSI值的范围判断模型的稳定性：

- **PSI < 0.1**：稳定性良好，无需特别关注。
- **0.1 ≤ PSI < 0.25**（零售类模型为0.2）：稳定性一般，建议加强监控，并根据实际情况调整评分切点或模型参数。
- **PSI ≥ 0.25**：稳定性较差，需要深入分析原因并调整模型。

#### 五、PSI的局限性及应对策略

尽管PSI是评估模型稳定性的重要工具，但它也存在一定的局限性。例如，PSI只能反映样本分布的波动程度，而无法直接指出波动的原因或方向。此外，PSI值的大小还受到分档数量、分档方式以及数据质量等因素的影响。

为了克服这些局限性，产品经理可以采取以下策略：

1. **结合其他指标**：将PSI与其他评估指标（如AUC、KS等）结合使用，以更全面地评估模型性能。
2. **深入分析原因**：当PSI值异常时，需要深入分析导致样本分布变化的原因（如数据源变化、用户群体变化等），并采取相应的应对措施。
3. **优化数据质量**：确保数据源的可靠性和数据处理的准确性，以减少数据质量对PSI值的影响。
4. **灵活调整分档**：根据实际需要灵活调整分档数量和分档方式，以更准确地反映样本分布的变化情况。

#### 六、总结

模型稳定性是信用评分产品成功的关键要素之一。通过利用PSI指标进行稳定性评估，产品经理可以及时发现模型性能的变化趋势，并采取相应的应对措施来确保模型的稳定性和有效性。在AI辅助的产品开发过程中，产品经理需要密切关注模型的稳定性，并将其作为产品设计和优化的重要依据。通过不断优化模型稳定性和性能表现，可以进一步提升产品的用户体验和金融机构的风险管理能力。

该分类下的相关小册推荐：

可解释AI实战PyTorch版(下)

AIGC原理与实践：零基础学大语言模型(三)

AI 大模型企业应用实战

ChatGPT使用指南

ChatGPT通关之路(下)

深度学习与大模型基础(下)

人工智能技术基础(下)

AIGC原理与实践：零基础学大语言模型(二)

ChatGPT原理与实战：大型语言模型(中)

深度强化学习--算法原理与金融实践(三)

我的AI数据分析实战课

数据分析和数据挖掘实战