信贷风险模型评估方法、装置、设备及介质

技术领域

本申请属于模型评估技术领域，尤其涉及一种信贷风险模型评估方法、装置、设备及介质。

背景技术

信贷风险模型是一种用于评估借款人信用风险的数学模型。常见的对信贷风险模型的评估方式，主要将用户的信用特征作为评估维度，评估维度单一，限制了风险评估模型针对不同信贷场景下的产品的风险预测能力。此外，常见的信贷风险模型的评估方法，未针对特定的用户群体设置对应的评估特征，缺乏对信贷风险模型在不同的待评估特征的样本集上的风险评估能力的测试，无法确定信贷风险模型针对不同不同待评估特征的用户群体的风险评估性能。因此，相关技术中针对风险评估模型的性能的评估方法存在准确度较低的技术问题。

发明内容

本申请实施例提供一种与相关技术不同的实现方案，以解决相关技术中针对风险评估模型的性能的评估方法准确度较低的技术问题。

第一方面，本申请提供一种信贷风险模型评估方法，包括：

获取目标类型的用户对应的多个待评估特征；

基于所述多个待评估特征确定对应的多个预设待评估特征信息；

从所述目标类型的用户对应的第一样本信息集中，确定出与所述多个预设待评估特征信息对应的目标样本信息集；

基于所述目标样本信息集对信贷风险模型进行评估，得到所述信贷风险模型对应的目标评估结果，所述目标评估结果用于指示所述信贷风险模型在基于所述多个待评估特征评估所述目标类型的用户的信用风险时的指标信息。

第二方面，本申请提供一种信贷风险模型评估装置，包括：

获取单元，用于获取目标类型的用户对应的多个待评估特征；

确定单元，用于基于所述多个待评估特征确定对应的多个预设待评估特征信息；

选择单元，用于从所述目标类型的用户对应的第一样本信息集中，确定出与所述多个预设待评估特征信息对应的目标样本信息集；

评估单元，用于基于所述目标样本信息集对信贷风险模型进行评估，得到所述信贷风险模型对应的目标评估结果，所述目标评估结果用于指示所述信贷风险模型在基于所述多个待评估特征评估所述目标类型的用户的信用风险时的指标信息。

第三方面，本申请提供一种电子设备，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行第一方面，或第一方面各可能的实施方式中的任一方法。

第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面，或第一方面各可能的实施方式中的任一方法。

本申请提供的获取目标类型的用户对应的多个待评估特征；基于所述多个待评估特征确定对应的多个预设待评估特征信息；从所述目标类型的用户对应的第一样本信息集中，确定出与所述多个预设待评估特征信息对应的目标样本信息集；基于所述目标样本信息集对信贷风险模型进行评估，得到所述信贷风险模型对应的目标评估结果，所述目标评估结果用于指示所述信贷风险模型在基于所述多个待评估特征评估所述目标类型的用户的信用风险时的指标信息的方案，可利用对目标类型的用户设置预设的多个待评估特征，使得在对信贷风险模型进行评估时，针对每一类用户均有对应的待评估特征，得到信贷风险模型在基于不同评估特征对不同用户进行风险预测时的性能，从而达到提高对信贷风险模型的性能的评估方法的准确度的技术效果。

附图说明

为了更清楚地说明本申请实施例或相关技术中的技术方案，下面将对实施例或相关技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1为本申请一实施例提供的信贷风险模型评估方法的流程示意图；

图2为本申请一实施例提供的风险评估结果获取方法的流程示意图；

图3为本申请一实施例提供的信贷风险模型评估方法的另一流程示意图，

图4为本申请一实施例提供的一种信贷风险模型评估系统的架构示意图；

图5为本申请一实施例提供的信贷风险模型评估装置的结构示意图；

图6为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

本申请实施例的说明书、附图中的术语“第一”和“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本方案除了本申请中图示或描述的顺序之外，以其他的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。可以理解的是，在本申请的具体实施方式中，涉及到用户资产、用户经营标签、用户信息类特征等相关的数据，当本申请以上实施例运用到具体产品或技术中时，需要获得用户许可、同意或者授权，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

首先，下面对本申请实施例中的部分用语进行解释说明，以便于本领域技术人员理解。

Hadoop：Hadoop是一个开源的分布式计算框架，用于存储和处理大规模数据集。

Yarn：Yet Another Resource Negotiator，是Apache Hadoop生态系统中的一个集群资源管理器，用于协调和管理集群上的计算资源，并为分布式应用程序提供资源调度和作业管理功能。

Spark：Spark是一个开源的大数据处理框架，提供了高速、通用、可扩展和容错的分布式计算能力，用于处理大规模数据和执行复杂的数据分析任务。

HDFS：Hadoop Distributed File System，是Hadoop生态系统中的分布式文件系统，设计用于存储和处理大规模数据集，具有高容错性和高可靠性。

Hive：Hive是一个基于Hadoop的数据仓库和查询工具，它提供了类似于SQL的查询语言(HiveQL)以及用于数据提取、转换和加载(ETL)的功能，使用户可以在大规模数据集上进行数据分析和查询。

委派者模式(Delegate Pattern)是一种面向对象的设计模式，它允许对象组合实现与继承相同的代码重用。委派者模式的基本作用是负责任务的调度和任务的分配，将任务的分配和执行分离开来。

离线特征库是指存储在本地或非云端的特征库，这些特征库通常用于支持特定的网络安全分析、检测或防御任务。在防火墙领域，离线特征库文件常常被用来识别和应对各种网络安全威胁，例如恶意软件、网络攻击、病毒等。

增量式处理意味着在每个时间分片上，只处理该时间分片内的数据，而不处理之前已经处理过的数据。这样可以节省计算资源和时间，并提高处理效率。

PSI：PSI(Population Stability Index)是一种用于评估模型稳定性的指标，通过比较模型在不同数据集上的预测分布差异来衡量模型的一致性。较小的PSI值表示模型的稳定性较高。

KS指标：KS(Kolmogorov-Smirnov)是一种常用的评估二分类模型效果的指标，它基于累积分布函数的差异，衡量模型预测结果与实际标签之间的差距。KS值越大，表示模型在区分正负样本上的能力越强。

准确率：准确率(Accuracy)是评估分类模型效果的指标，它表示模型正确预测的样本数占总样本数的比例。准确率越高，表示模型的预测结果与实际标签相符的能力越强。

召回率：召回率(Recall)是评估分类模型效果的指标，它衡量模型能够正确识别出正样本的能力，即正样本中被模型正确预测为正样本的比例。召回率越高，表示模型能够更好地捕捉到真正的正样本。

Ranking：Ranking是用于评估排序模型效果的指标，它衡量模型对不同项目或对象的排序准确性和排序质量。

相关技术中，在对信贷风险模型的性能进行评估时，评估特征的维度相对单一，无法确定信贷风险模型在不同的场景下的风险预测能力的高低，信贷风险模型评估方法的准确度较低。

为了解决上述至少一个技术问题，本申请提供了一种信贷风险模型评估方法，装置设备及介质，用于解决相关技术中风险评估模型评估方法准确度较低的技术问题。

下面以具体的实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。

图1为本申请一示例性实施例提供的一种信贷风险模型评估方法的流程示意图，该方法可以适用于计算机设备，该方法至少包括以下S11-S14：

S11、获取目标类型的用户对应的多个待评估特征；

在一些实施例中，目标类型的用户可以为全量新客、授信通过新客、全量老客、活跃老客、新激活老客中的任意一种，其中，全量新客可以为全部已在信贷平台或信贷app注册但未购买信贷产品的客户，授信通过新客可以为全量新客中已通过授信审核有权购买信贷产品的客户，全量老客可以为所有购买过信贷产品的客户，活跃老客可以为全量老客中正在使用信贷产品的客户，新激活老客可以为全量老客中在上一次购买了信贷产品后，隔了预设时间段后最近再次购买并正在使用信贷产品的客户。

在另一些实施例中，目标类型的用户还可以为其他类型的用户，具体类型可由相关人员基于业务需求进行合理设置，本申请对此不做限制。

需要说明的是，用户类型的分类原则可由相关人员进行合理设置，本申请对此不做限制。

在一些实施例中，多个待评估特征至少包括：用户资产特征、用户可借款额度特征。

可选地，用户资产特征包括用户的资产来源、资产数量。

可选地，用户可借款额度特征包括用户的可借款额度。

在一些实施例中，多个待评估特征还可以包括以下一个或多个：产品类型、产品利率、用户活跃度、用于指示用户属于消费者还是小微企业经营者的用户经营标签，其中：

在一些可选的实施例中，产品类型为用户购买的是哪款信贷产品；用户经营标签特征可包括消费用户标签和小微用户标签，分别用于表示用户为消费者还是小微企业经营者；用户活跃度可使用以下指标进行衡量：用户借款申请次数、借款审批通过率、用户在信贷平台或信贷app的在线时长等，这些指标可单独使用或组合使用以确定用户活跃度。

在一些实施例中，可将上述多个待评估特征分为两类，一类是用户信息类特征、一类是产品信息类特征，其中，用户信息类特征可以包括用户资产特征、用户可借款额度特征、用户活跃度等、用户经营标签等，产品信息类特征可以包括产品类型、产品利率等。

在一些实施例中，目标类型的用户对应的多个待评估特征为目标类型的用户对应的多个待评估特征组中的其中一个待评估特征组，目标类型的用户对应的多个待评估特征组中的各个待评估特征组中包括的待评估特征均不完全相同，则可对相同的客群的用户基于多种不同的待评估特征使用信贷风险模型进行风险预测，对各个场景下的风险评估模型进行精细化评估。

通过对目标类型的用户设置对应的多个待评估特征，可以得到信贷风险模型基于设置好的待评估特征对目标类型的用户做风险评估时的评估能力，精细化的对信贷风险模型的风险预测能力进行评估，进而提高信贷风险模型评估方法的准确度。此外，基于信贷风险模型的评估结果，可以对信贷风险评估模型进行参数调整，提高信贷风险模型的风险预测能力。

在一些实施例中，在S11中，获取目标类型的用户对应的多个待评估特征，包括以下S111-S112；

S111、获取针对所述目标类型的用户的待评估特征配置信息；

在一些实施例中，目标类型的用户的待评估特征配置信息中包括有相关人员设置的与目标类型的用户对应的多个待评估特征，可为相关人员基于信贷风险模型评估系统的用户层的特征变量配置模块对目标类型的用户的多个待评估特征进行配置后生成的，其中，特征变量配置模块用于配置各类用户对应的多个待评估特征。

S112、基于所述待评估特征配置信息确定目标类型的用户对应的多个待评估特征。

在一些实施例中，可从待评估特征配置信息中读取出目标类型的用户的多个待评估特征。

由于待评估特征配置信息可由特征变量配置模块基于相关人员的配置生成，因此可实现对不同类的用户的多个待评估特征进行灵活化配置，只需通过简单灵活的用户配置，即可动态化评估信贷风险模型在不同样本数据的不同待评估特征上的模型效果。

S12、基于所述多个待评估特征确定对应的多个预设待评估特征信息；

在一些实施例中，多个待评估特征为目标类型的用户对应的第一样本信息集中的多个字段属性，则多个预设待评估特征信息为与多个待评估特征对应的用于从目标类型的用户对应的第一样本信息集对应的数据库表中提取出与多个待评估特征对应的样本信息的sql查询语句，其中，第一样本信息集存储于MySQL数据库中。

例如，多个待评估特征分别为用户可借款额度、用户经营标签、用户活跃度特征，与多个待评估特征对应的多个预设待评估特征信息可以为用于从目标类型的用户对应的表中提取出全部的用户可借款额度、用户经营标签、用户活跃度样本信息的sql查询语句。

又例如，多个待评估特征为用户可借款额度为一万、用户经营标签为消费者时，与多个待评估特征对应的多个预设待评估特征信息可以为用于从目标类型的用户对应的第一样本信息集中提取出全部用户可借款额度为一万、用户经营标签为消费者标签的样本信息的sql查询语句。

S13、从所述目标类型的用户对应的第一样本信息集中，确定出与所述多个预设待评估特征信息对应的目标样本信息集；

在一些实施例中，从目标类型的用户对应的第一样本信息集中，确定出与多个预设待评估特征信息对应的目标样本信息集具体为：使用与多个预设待评估特征信息对应的sql查询语句从目标类型的用户对应的第一样本信息集中匹配出符合多个预设待评估特征信息的目标样本信息，并将该目标样本信息加入目标样本信息集。

在一些实施例中，可基于离线批处理技术从目标类型的用户对应的第一样本信息集中，确定出与所述多个预设待评估特征信息对应的目标样本信息集。

S14、基于所述目标样本信息集对信贷风险模型进行评估，得到所述信贷风险模型对应的目标评估结果，所述目标评估结果用于指示所述信贷风险模型在基于所述多个待评估特征评估所述目标类型的用户的信用风险时的指标信息。

在一些实施例中，所述指标信息包括稳定性指标和业务指标，其中，所述稳定性指标包括以下至少之一：稳定度指标PSI、准确率、召回率，所述业务指标包括以下至少之一：逾期率、复购率。

在一些实施例中，稳定性指标还包括：KS指标，业务指标还包括：Ranking指标、人均盈利、人均放款额度等。

具体地，针对稳定性指标的计算，以PSI的计算方法为例，PSI的计算公式为

具体计算方式如下：

以模型OOT时间为基线，将变量预期分布进行等频静态分箱，统计各个分箱里的样本占比；按相同分箱区间，对实际分布统计各分箱内的样本占比；计算各分箱内的psi；将各分箱的psi指标求和，得到最终的psi。

针对业务指标的计算，以Ranking指标的计算方法为例：

以当月时间为基线，对细分样本进行等频动态分箱；对每个分箱，统计各业务指标。如首次用信是否使用锁期、各期数分布占比、在贷率、复购率、逾期率等。

具体地，上述其余各稳定性指标和业务指标的具体计算方法均可查阅相关资料获知，本申请在此不做描述。

在一些实施例中，在S14中，基于所述目标样本信息集对信贷风险模型进行评估，得到所述信贷风险模型对应的目标评估结果，包括以下S141-S144：

S141、获取所述目标样本信息集对应的原始数据；

在一些实施例中，原始数据可以包括目标用户样本集中的全部用户的资产信息、可借款额度、信贷产品购买信息、购买的信贷产品的产品信息、还款信息、信贷产品应用程序的使用信息等中的至少一个，其中，资产信息包括：征信分、个人资产等，信贷产品购买信息包括购买的信贷产品的类型、购买时选择的分期期数等，购买的信贷产品的产品信息包括产品利率等，还款信息包括每期还款日期、是否逾期等，信贷产品应用程序的使用信息包括每日登录时长等。

需要说明的是，针对不同类用户对应的不同样本信息集，各不同样本信息集对应的原始数据存在差异，例如，用户群体为新客的样本信息集，与用户群体是老客的样本信息集相比，则与用户群体为新客的样本信息集对应的原始数据中无信贷产品购买信息、购买的信贷产品的产品信息、还款信息等信息。

在一些实施例中，当目标样本信息集对应的用户群体为新客时，目标样本信息集对应的原始数据可由线上流量实时产生并更新至新客贷前业务表中，当目标样本信息集对应的用户群体为老客时，对应的原始数据可由风控系统定时回溯得到并更新至老客贷前业务表中。

在一些实施例中，可通过Hive例行调度实现从新客贷前业务表或老客贷前业务表中获取目标样本信息集对应的原始数据。

S142、基于所述原始数据确定出所述目标样本信息集对应的原始评估结果；

在一些实施例中，在S142中，基于所述原始数据确定出所述目标样本信息集对应的原始评估结果，具体为：对原始数据进行各个信用指标(例如违约概率、信用评分)的真实值计算，得到目标样本信息集中的全部用户样本的各个信用指标的真实值并作为目标样本信息集对应的原始评估结果。

S143、将所述目标样本信息集输入信贷风险模型，得到所述目标样本信息集对应的风险评估结果；

在一些实施例中，风险评估结果可以为多个风险评估指标(例如违约概率、信用估计分等)。

在另一些实施例中，风险评估结果可以为模型分，模型分是指一种评估借款人信用风险的分数，这个分数是通过将多个风险评估指标进行数学转化后得到的综合分数。

在一些实施例中，在计算目标样本信息集对应的风险评估结果时，可基于预设时间分片规则将目标样本信息集进行划分，得到多个子目标样本信息集，并对多个子目标样本信息集进行并行数据加工，得到目标样本信息集对应的风险评估结果，其中，数据加工包括对子目标样本信息集中的数据进行数据预处理、特征工程以及将经数据预处理和特征工程的数据输入信贷风险模型以计算子目标样本信息集对应的子风险评估结果，其中，子风险评估结果包含于风险评估结果。

在本申请提供的一个具体的实施例中，计算目标样本信息集对应的风险评估结果的步骤为：

启动Spark程序；通过Spark SQL建立Hive meta链接，访问目标样本信息集中的各个子目标样本信息集；启动线程池，对各个子目标样本信息集进行增量式数据加工处理，并将得到的各个子目标样本信息集对应的风险评估结果存储至离线特征库中。

在一些实施例中，在对各个子目标样本信息集进行增量式数据加工处理时，可通过委派者模式，对不同子目标样本信息集进行分发，并由执行者最终进行数据加工，以此提高获取目标样本信息集对应的风险评估结果的并发度和执行效率。

通过并行处理和委派者模式，可以提高程序的并发度和执行效率，从而更快地完成获取目标样本信息集对应的风险评估结果的任务。

图2为本申请一示例性实施例提供的一种风险评估结果获取方法的流程图，包括以下：

S21、启动Spark程序；

S22、解析、封装配置参数；

解析配置参数指对配置文件或设置进行理解和分析的过程。涉及从给定的输入中提取和理解配置参数的键、值及其关系。解析过程可能涉及到特定的语法或结构，例如键值对、JSON、XML或其他数据结构，封装配置参数是指将解析出的配置参数进行封装或打包，使其更方便使用和管理。

S23、对目标样本信息集进行划分，得到多个子目标样本信息集；

S24、启动线性池，获取当前时间分片DF，分发当前时间分片内的不同类用户的样本信息集，使执行单元processor对各个样本信息集进行并行数据加工，得到各个子目标样本信息集对应的各风险评估结果。

S25、将S24中得到的各风险评估结果加入离线特征库中。

S144、基于所述原始评估结果与所述风险评估结果确定所述信贷风险模型对应的目标评估结果。

其中，S144中，基于所述原始评估结果与所述风险评估结果确定所述信贷风险模型对应的目标评估结果，包括：

将原始评估结果和风险评估结果进行对比，得到比对结果，其中比对结果包括预测的准确率、误差率、灵敏度、特异性等；

基于对比结果，确定所述信贷风险模型对应的目标评估结果。

通过分析风险评估结果和目标评估结果之间的关系，可得到信贷风险模型的风险预测能力。

在一些实施例中，方法还包括：

获取监控报警阈值，当目标评估结果满足监控报警阈值时，发出警报提示信息，以提示相关人员信贷风险模型的风险预测能力出现异常。

通过设置监控报警阈值，可以帮助及时发现模型的问题并采取相应的调整措施。

在一些实施例中，方法还包括：

基于预设智能云对象存储器，将目标评估结果存储至Hadoop分布式文件系统HDFS，并最终存储至Mysql数据库，并通过相关平台进行展示。

在一些实施例中，智能云对象存储器可以为对象存储BOS。

在存储方面，HDFS可用来解决大规模数据的存储问题。HDFS作为Hadoop的核心组件之一，能够提供分布式、可扩展、高容错的数据存储服务，可以存储大量的数据，并且对于硬件设备的要求并不高。

在一些实施例中，在获取目标类型的用户对应的第一样本信息集之前，方法还包括以下S01-S02：

S01、获取初始样本信息集；

在一些实施例中，可基于信贷风险模型评估系统的用户层的采样信息配置模块和特征变量配置信息配置模块配置的采样信息和特征变量配置信息进行策略实验以获取初始样本信息集，其中，特征变量配置信息可以为相关人员基于业务需求进行配置的，包括需要进行策略实验的各类用户对应的多个待评估特征的配置，采样信息可以为需要获取的初始样本信息集的样本数量、采样时间段、需要进行采样的用户的用户群体的类型等。

例如，计划今年上半年进行三个阶段的实验，1-2月，3-4月，5-6月，那这三个时间段属于采样配置信息中的采样时间段信息；特征变量配置信息是说，在这三个时间段里分别对哪类用户做了什么实验，例如可以为针对新客做调额调整实验和信贷产品利率调整实验，以及具体调额的数值为多少，利率调整的数值为多少等。

该初始样本信息集获取方法通过可配置化的方式，允许用户根据不同的业务场景和需求，灵活地选择不同的调额和调价策略，并将这些策略应用于特征选择过程中。这样，用户可以根据实际情况调整策略，圈定更具有相关性和代表性的样本，提高分析和决策的准确性和效率。

S02、基于用户群体的不同将所述初始样本信息集划分为多种用户对应的多个样本信息集；所述目标类型的用户对应的第一样本信息集包含于所述多个样本信息集。

具体地，多种用户包括：全量新客、授信通过新客、全量老客、活跃老客等，目标类型可以为该多种用户中的任一种。

在一些实施例中，所述方法还包括：针对样本信息集对应的用户群体为老客的一类样本信息集，对这类样本信息集进行数据标注，例如用于表示用户优质程度的贷后分层、还款逾期率统计等。

在一些实施例中，所述方法还包括：

基于所述目标评估结果对所述信贷风险模型的模型参数进行调整。

在一些实施例中，在获取到上述信贷风险模型的目标评估结果后，方法还包括：

基于目标评估结果对新阶段策略实验进行调整，部署新阶段策略实验的采样信息和特征变量配置信息。

通过基于目标评估结果对新阶段策略实验的采样信息和特征变量配置信息进行调整，可以根据不同阶段的特点和需要，采取不同的策略和措施进行实验，以达到更好的风险控制效果，同时，通过不同阶段的反馈和评估，可以不断完善和调整策略，确保信贷业务的安全性和稳定性。

图3为申请一示例性实施例提供的信贷风险模型评估方法的另一流程示意图，包括以下S31-S3：

S31、获取不同用户群体对应的各个样本信息集，一个用户群体对应一个样本信息集；

在一些实施例中，样本信息集可以包括授信通过新客、活跃老客。

S32、针对各个样本信息集，对各个样本信息集匹配不同的待评估特征，获取多个目标样本信息集；

在一些实施例中，针对用户群体为授信通过新客的样本信息集，该样本信息集对应的待评估特征可以为用户资产、用户可借款额度、产品可分期期数中的一个或多个的组合，针对用户群体为活跃老客的样本信息集，该样本信息集对应的待评估特征可以为用户资产、信贷产品利率、信贷产品可分期期数等。

具体地，一个样本信息集对应的目标样本信息集中包括有与该样本信息集对应的待评估特征的信息，例如，样本信息集对应的待评估特征变量为用户资产特征，则对应的目标样本信息集为从与样本信息集所在的数据表中获取的所有用户的资产特征。

S33、将各个目标样本信息集作为信贷风险模型的输入样本，计算信贷风险模型的模型稳定性指标和业务指标；

在一些实施例中，模型评估指标信息包括模型稳定性指标和业务指标，其中，模型稳定性指标包括：PSI指标、KS指标、准确率、召回率、迁移率等，业务指标包括逾期率、复购率、用信率、平均借款额度、平均利率等。

S34、基于模型指标评估结果对策略规则、入模特征、模型参数进行调整，并对模型评估指标信息进行线上报警监控。

本申请实施例中的方法的详细描述可参见上述各方法实施例的描述。

图4为本申请一示例性实施例提供的一种信贷风险模型评估系统的架构示意图，包括：用户层、平台层、服务层、计算引擎层、存储层，其中：

用户层包括采样信息配置模块和特征变量配置信息配置模块，支持相关人员对策略实验中的采样信息和特征变量配置信息进行配置。

在模型的评估阶段，通常需要选择或构造与预测目标相关的特征。这个过程就是特征变量配置。特征变量配置可能包括特征选择(例如使用主成分分析或决策树进行特征选择)、特征提取(例如使用PCA、t-SNE等方法进行特征提取)和特征构造(例如使用深度学习网络进行特征构造)等。

平台层包括模型基本信息配置模块、数据准备模块、数据处理模块、分箱配置模块、监控指标配置模块、监控报警配置模块，分别用于对信贷风险模型的模型基本信息、数据源地址、数据处理方法、样本分箱、监控指标、监控报警阈值等信息进行配置，其中：

模型基本信息主要涉及配置模型的实验阶段需要的参数和条件。例如，模型的超参数(例如神经网络的隐藏层数量、学习率等)、优化算法的选择(例如随机梯度下降、Adam等)、训练的迭代次数等的配置。

数据源地址指连接到数据源的方式，包括数据源的类型(例如数据库、API等)、连接方式(例如使用什么协议、端口、用户名/密码等)、数据源的位置(例如URL、服务器地址等)等。

数据处理方法为处理和准备数据以供模型使用的方法。这可能包括数据清洗(例如去除异常值、填补缺失值等)、数据转换(例如特征工程、归一化等)以及可能的预处理步骤等。

样本分箱指对将样本数据进行分箱的参数。

监控指标是指度量和监控模型的性能的指标。这可能包括选择合适的评估指标(例如准确率、召回率、F1得分等)、如何计算这些指标以及何时进行模型性能的评估。

监控报警阈值指设置和监控模型的性能指标阈值，如果某个或某些指标超过或低于设定的阈值，如何进行报警等。

服务层包括数据加工模块、评估指标计算模块、报警模块，分别用于进行数据加工、用于评估模型性能的指标信息的计算、报警等。

计算引擎层包括Hadoop分布式框架、Yarn资源调度和任务管理框架、Spark计算引擎、Hive数据仓库工具，用于基于Hadoop生态，Yarn资源调度，Spark等计算引擎进行离线批处理，完成本申请中的离线批处理任务。

存储层包括BOS、HDFS、Mysql数据库，用于基于BOS，将集群产出的样本加工结果(每个样本输入信贷风险模型后得到的风险评估结果)和风险信贷模型的目标评估结果存储至HDFS，最终存储至Mysql数据库，并通过平台展示。

本系统实施例中的各组成单元，如用户层、平台层、服务层、计算引擎层以及存储层的执行原理及交互过程可参见如上述各方法实施例的描述。

基于端到端的技术设计架构和将变量抽象为可配置的封装模块，极大减少了模型评估系统的开发和维护成本，缩短了模型部署和策略变更的服务周期。

本申请提供的获取目标类型的用户对应的多个待评估特征；基于所述多个待评估特征确定对应的多个预设待评估特征信息；从所述目标类型的用户对应的第一样本信息集中，确定出与所述多个预设待评估特征信息对应的目标样本信息集；基于所述目标样本信息集对信贷风险模型进行评估，得到所述信贷风险模型对应的目标评估结果，所述目标评估结果用于指示所述信贷风险模型在基于所述多个待评估特征评估所述目标类型的用户的信用风险时的指标信息的方案，可利用对目标类型的用户设置预设的多个待评估特征，使得在对信贷风险模型进行评估时，针对每一类用户均有对应的待评估特征，得到信贷风险模型在基于不同评估特征对不同用户进行风险预测时的性能，从而达到提高信贷风险模型评估方法的准确度的技术效果。

图5为本申请一示例性实施例提供的一种信贷风险模型评估装置的结构示意图；

其中，该装置包括：

获取单元51，用于获取目标类型的用户对应的多个待评估特征；

确定单元52，用于基于所述多个待评估特征确定对应的多个预设待评估特征信息；

选择单元53，用于从所述目标类型的用户对应的第一样本信息集中，确定出与所述多个预设待评估特征信息对应的目标样本信息集；

评估单元54，用于基于所述目标样本信息集对信贷风险模型进行评估，得到所述信贷风险模型对应的目标评估结果，所述目标评估结果用于指示所述信贷风险模型在基于所述多个待评估特征评估所述目标类型的用户的信用风险时的指标信息。

在一些实施例中，装置在用于基于所述目标样本信息集对信贷风险模型进行评估，得到所述信贷风险模型对应的目标评估结果时，具体用于：

获取所述目标样本信息集对应的原始数据；

基于所述原始数据确定出所述目标样本信息集对应的原始评估结果；

将所述目标样本信息集输入信贷风险模型，得到所述目标样本信息集本对应的风险评估结果；

基于所述原始评估结果与所述风险评估结果确定所述信贷风险模型对应的目标评估结果。

在一些实施例中，装置在用于获取目标类型的用户对应的多个待评估特征时，具体用于；

获取针对所述目标类型的用户的待评估特征配置信息；

基于所述待评估特征配置信息确定目标类型的用户对应的多个待评估特征。

在一些实施例中，装置还用于：

获取初始样本信息集；

基于用户群体的不同将所述初始样本信息集划分为多种用户对应的多个样本信息集；所述目标类型的用户对应的第一样本信息集包含于所述多个样本信息集。

在一些实施例中，装置还用于：

基于所述目标评估结果对所述信贷风险模型的模型参数进行调整。

在一些实施例中，所述多个待评估特征至少包括：用户资产特征、用户可借款额度特征。

在一些实施例中，所述指标信息包括稳定性指标和业务指标，其中，所述稳定性指标包括以下至少之一：稳定度指标PSI、准确率、召回率，所述业务指标包括以下至少之一：逾期率、复购率。

应理解的是，装置实施例与方法实施例可以相互对应，类似的描述可以参照方法实施例。为避免重复，此处不再赘述。具体地，该装置可以执行上述方法实施例，并且该装置中的各个模块的前述和其它操作和/或功能分别为了上述方法实施例中的各个方法中的相应流程，为了简洁，在此不再赘述。

上文中结合附图从功能模块的角度描述了本申请实施例的装置。应理解，该功能模块可以通过硬件形式实现，也可以通过软件形式的指令实现，还可以通过硬件和软件模块组合实现。具体地，本申请实施例中的方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路和/或软件形式的指令完成，结合本申请实施例公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。可选地，软件模块可以位于随机存储器，闪存、只读存储器、可编程只读存储器、电可擦写可编程存储器、寄存器等本领域的成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法实施例中的步骤。

图6是本申请实施例提供的电子设备的示意性框图，该电子设备可包括：

存储器601和处理器602，该存储器601用于存储计算机程序，并将该程序代码传输给该处理器602。换言之，该处理器602可以从存储器601中调用并运行计算机程序，以实现本申请实施例中的方法。

例如，该处理器602可用于根据该计算机程序中的指令执行上述方法实施例。

在本申请的一些实施例中，该处理器602可以包括但不限于：

通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等等。

在本申请的一些实施例中，该存储器601包括但不限于：

易失性存储器和/或非易失性存储器。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DR RAM)。

在本申请的一些实施例中，该计算机程序可以被分割成一个或多个模块，该一个或者多个模块被存储在该存储器601中，并由该处理器602执行，以完成本申请提供的方法。该一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述该计算机程序在该电子设备中的执行过程。

如图6所示，该电子设备还可包括：

收发器603，该收发器603可连接至该处理器602或存储器601。

其中，处理器602可以控制该收发器603与其他设备进行通信，具体地，可以向其他设备发送信息或数据，或接收其他设备发送的信息或数据。收发器603可以包括发射机和接收机。收发器603还可以进一步包括天线，天线的数量可以为一个或多个。

应当理解，该电子设备中的各个组件通过总线系统相连，其中，总线系统除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。

本申请还提供了一种计算机存储介质，其上存储有计算机程序，该计算机程序被计算机执行时使得该计算机能够执行上述方法实施例的方法。或者说，本申请实施例还提供一种包含指令的计算机程序产品，该指令被计算机执行时使得计算机执行上述方法实施例的方法。

当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本申请实施例该的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc，DVD))、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，该模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。例如，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。

以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以该权利要求的保护范围为准。