模型风险等级的评估方法及装置、存储介质、电子设备

技术领域

本申请实施例涉及计算机领域，具体而言，涉及一种模型风险等级的评估方法及装置、存储介质、电子设备。

背景技术

随着模型的不断发展，已经将其应用在了各个行业，例如，将模型应用在商业银行各个业务环节中。但模型在提升银行业务管理水平和自动化程度的同时，也加剧了模型风险管理的复杂性，对模型风险管理提出了严峻挑战。

目前模型风险管理的范围还停留在满足监管合规的要求上，模型风险管理并没有跟上模型应用的飞速发展，现阶段国内商业银行在模型风险管理方面存在以下问题：模型风险管理依赖专家经验判断，缺乏统一量化标准。从目前的情况来看，商业银行在业务范围不断扩大的过程中，还未能认识到各种模型风险对经营管理所造成的不良影响，在这样的情况下很多商业银行就模型风险管理工作的开展还没有建立统一标准，模型风险评估缺乏科学的量化指标，主要靠经验判断，存在一定的片面性，影响模型风险评估的准确性和有效性。

发明内容

本申请实施例提供了一种模型风险等级的评估方法及装置、存储介质、电子设备，以至少解决相关技术中模型风险评估的准确性和有效性比较低的问题。

根据本申请的一个实施例，提供了一种模型风险等级的评估方法，包括：获取目标模型的N个模型数据集合，其中，一个上述模型数据集合对应一个模型维度，每个上述模型数据集合中均包括多个风险指标数据，上述N是大于或等于1的自然数；确定每个上述模型数据集合的目标指标得分和目标指标权重，得到N个目标指标得分和N个目标指标权重；利用上述N个目标指标得分和上述N个目标指标权重评估上述目标模型的风险等级。

根据本申请的另一个实施例，提供了一种模型风险等级的评估装置，包括：第一获取模块，用于获取目标模型的N个模型数据集合，其中，一个所述模型数据集合对应一个模型维度，每个所述模型数据集合中均包括多个风险指标数据，所述N是大于或等于1的自然数；第一确定模块，用于确定每个所述模型数据集合的目标指标得分和目标指标权重，得到N个目标指标得分和N个目标指标权重；第一评估模块，用于利用所述N个目标指标得分和所述N个目标指标权重评估所述目标模型的风险等级。

在一个示例性实施例中，上述第一获取模块，包括：第一获取单元，用于对每个上述模型数据集合均执行以下步骤，以获取每个上述模型数据集合：第一生成单元，用于按照上述模型维度生成模型数据集合；第一归类单元，用于将获取的上述风险指标数据按照所归属的模型维度归类至对应的模型数据集合中。

在一个示例性实施例中，上述模型维度包括以下至少之一：上述目标模型的运行数据，上述目标模型的结构数据，上述目标模型的性能数据，其中，上述性能数据包括合法性数据、与其他模型之间的关联性。

在一个示例性实施例中，上述第一确定模块，包括：第一计算单元，用于计算上述模型数据集合中每组风险指标数据的指标得分，得到多个指标数据，其中，上述每组风险指标数据中的风险指标数据的数据属性相同，上述每组风险指标数据的指标得分是从上述每组风险指标数据中包括的多个风险指标得分中选取的；第一确定单元，用于将多个指标数据的和值确定为上述目标指标得分。

在一个示例性实施例中，上述第一确定模块，包括：第二计算单元，用于计算上述模型数据集合中每组风险指标数据的权重得分，得到多个权重数据，其中，上述每组风险指标数据中的风险指标数据的数据属性相同，上述每组风险指标数据对应一个权重得分；第二确定单元，用于将多个权重数据的和值确定为上述目标指标权重。

在一个示例性实施例中，上述第一评估模块，包括：第一处理单元，用于对每个上述模型数据集合均执行以下步骤，以确定每个上述模型数据集合的风险评分：第二处理单元，用于利用每个上述模型数据集合对应的上述目标指标得分和上述目标指标权重计算每个上述模型数据的风险评分，得到N个风险评分；第三处理单元，用于利用N个上述风险评分计算上述目标模型的目标风险评分；基于上述目标风险评分估计上述目标模型的风险等级。

在一个示例性实施例中，上述第一评估模块，包括：第一比较单元，用于将上述目标风险评分与预设阈值进行比较，得到比较结果；第一评估单元，用于按照上述比较结果估计上述目标模型的风险等级，并将上述风险等级输出至显示设备进行显示。

根据本申请的又一个实施例，还提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

根据本申请的又一个实施例，还提供了一种电子设备，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。

通过本申请，由于获取目标模型的N个模型数据集合，一个模型数据集合对应一个模型维度，每个模型数据集合中均包括多个风险指标数据；确定每个模型数据集合的目标指标得分和目标指标权重，得到N个目标指标得分和N个目标指标权重；利用N个目标指标得分和N个目标指标权重评估目标模型的风险等级。可以将模型在多个维度的数据集中起来对模型进行评估，并不需要依赖人工经验进行评估，实现了模型风险评估的统一量化，避免了人工经验可能带来的局限性，有助于提升模型的管理效率。因此，可以解决相关技术中模型风险评估的准确性和有效性比较低的问题，达到提高模型风险评估的准确性和有效性的效果。

附图说明

图1是本申请实施例的一种模型风险等级的评估方法的移动终端的硬件结构框图；

图2是根据本申请实施例的的流程图；

图3是根据本申请实施例的模型风险指标的示意图；

图4是根据本申请实施例的模型风险指标的具体数据示意图；

图5是根据本申请实施例的对模型A进行评估的流程图；

图6是根据本申请实施例的模型风险等级的评估装置的结构框图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本申请的实施例。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

本申请实施例中所提供的方法实施例可以在移动终端、计算机终端或者类似的运算装置中执行。以运行在移动终端上为例，图1是本申请实施例的一种模型风险等级的评估方法的移动终端的硬件结构框图。如图1所示，移动终端可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，其中，上述移动终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述移动终端的结构造成限定。例如，移动终端还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。

存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本申请实施例中的模型风险等级的评估方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括移动终端的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。

在本实施例中提供了一种模型风险等级的评估方法，图2是根据本申请实施例的的流程图，如图2所示，该流程包括如下步骤：

步骤S202，获取目标模型的N个模型数据集合，其中，一个模型数据集合对应一个模型维度，每个模型数据集合中均包括多个风险指标数据，N是大于或等于1的自然数；

步骤S204，确定每个模型数据集合的目标指标得分和目标指标权重，得到N个目标指标得分和N个目标指标权重；

步骤S206，利用N个目标指标得分和N个目标指标权重评估目标模型的风险等级。

其中，上述步骤的执行主体可以为终端、服务器、终端或服务器中设置的具体处理器，或者与终端或者服务器相对独立设置的处理器或者处理设备，但不限于此。

可选地，目标模型包括但不限于是数据分析模型、数据收集模型、数据检测模型等。例如，在商业银行中对银行中客户的数据进行获取和分析的场景中。

通过上述步骤，由于获取目标模型的N个模型数据集合，一个模型数据集合对应一个模型维度，每个模型数据集合中均包括多个风险指标数据；确定每个模型数据集合的目标指标得分和目标指标权重，得到N个目标指标得分和N个目标指标权重；利用N个目标指标得分和N个目标指标权重评估目标模型的风险等级。可以将模型在多个维度的数据集中起来对模型进行评估，并不需要依赖人工经验进行评估，实现了模型风险评估的统一量化，避免了人工经验可能带来的局限性，有助于提升模型的管理效率。因此，可以解决相关技术中模型风险评估的准确性和有效性比较低的问题，达到提高模型风险评估的准确性和有效性的效果。

在一个示例性实施例中，获取目标模型的N个模型数据集合，包括：对每个模型数据集合均执行以下步骤，以获取每个模型数据集合：按照模型维度生成模型数据集合；将获取的风险指标数据按照所归属的模型维度归类至对应的模型数据集合中。

可选地，模型维度包括以下至少之一：目标模型的运行数据，目标模型的结构数据，目标模型的性能数据，其中，性能数据包括合法性数据、与其他模型之间的关联性。例如，运行数据中包括目标模型运行时与其他模型时间的关联数据、运行的性能数据等。结构数据包括目标模型本身的结构，例如，目标模型中包括的神经网络结构、模型的构建方法、数据的结构等。性能数据包括目标模型的是否合法的数据、目标模型的用途，风险暴露等。例如，如图3所示，模型风险指标(相当于模型维度)包括：模型重要性、模型依赖性、模型复杂性和模型合规性四个维度。每个维度又包括2到3个风险指标数据，具体如下：

模型重要性包括3个风险指标数据，分别为模型用途、模型风险暴露、模型关注度。模型用途主要关注模型用于何种报告或决策；模型风险暴露根据模型的不同，进行差异化设定；模型关注度是指监管机构对模型的关注程度。

模型依赖性包括3个风险指标数据，分别为银行对模型的依赖程度、模型是否在多部门使用、与上下游模型的关系。银行对模型的依赖程度是指银行关键决策对模型的依赖程度；与上下游模型的关系，是指模型是否依赖于上游模型的输出结果或者模型输出是否用于下游模型。

模型复杂性包括2个风险指标数据，分别为建模方法、数据可获得性。建模方法主要关注模型是否使用复杂的建模方法；数据可获得性是指模型输入数据是否难以获取，是否包括行外数据。

模型合规性包括2个风险指标数据，分别为未解决问题、模型使用风险。未解决问题是指模型是否存在未解决的监管、审计、验证等问题；模型使用风险考虑使用模型是否可能存在较大的信誉影响或法律影响。

本实施例通过从多个维度获取目标模型的风险指标数据，可以对目标模型的风险进行集中和全面的评估。

在一个示例性实施例中，确定每个模型数据集合的目标指标得分，包括：计算模型数据集合中每组风险指标数据的指标得分，得到多个指标数据，其中，每组风险指标数据中的风险指标数据的数据属性相同，每组风险指标数据的指标得分是从每组风险指标数据中包括的多个风险指标得分中选取的；将多个指标数据的和值确定为目标指标得分。在本实施例中，一组风险指标数据中包括多个风险指标数据，例如，如图4所示，在模型重要性这个指标维度中，模型数据集合中包括模型用途、模型风险暴露和模型关注度，模型用途的指标得分是用于非关键性决策、用于关键报告或决策中的任一个的得分，例如得分是S1。模型风险暴露的指标得分是风险暴露较小、风险暴露适中、风险暴露较大中的任一个得分，例如得分是S2。模型关注度的指标得分是监管机构重点关注的模型和非监管机构重点关注的模型的任一个的得分，例如得分是S3。将S1、S2和S3相加的得分就是在模型重要性的维度下的模型数据集合的目标指标得分。本实施例通过从不同的风险指标数据中计算指标得分，可以更加全面的对模型风险进行评估。

在一个示例性实施例中，确定每个模型数据集合的目标指标权重，包括：计算模型数据集合中每组风险指标数据的权重得分，得到多个权重数据，其中，每组风险指标数据中的风险指标数据的数据属性相同，每组风险指标数据对应一个权重得分；将多个权重数据的和值确定为目标指标权重。在本实施例中，一组风险指标数据中包括多个风险指标数据，例如，如图4所示，在模型重要性这个指标维度中，模型数据集合中包括模型用途、模型风险暴露和模型关注度，例如模型用途、模型风险暴露和模型关注的指标得分是W1、W2、W3。将W1、W2、W3相加的得分就是在模型重要性的维度下的模型数据集合的权重得分。本实施例通过从不同的风险指标数据中计算权重得分，可以更加全面的对模型风险进行评估。

在一个示例性实施例中，利用N个目标指标得分和N个目标指标权重评估目标模型的风险等级，包括：对每个模型数据集合均执行以下步骤，以确定每个模型数据集合的风险评分：利用每个模型数据集合对应的目标指标得分和目标指标权重计算每个模型数据的风险评分，得到N个风险评分；利用N个风险评分计算目标模型的目标风险评分；基于目标风险评分估计目标模型的风险等级。在本实施例中，每个模型数据集合对应一个风险评分，例如，将S1、S2、S3的和值，W1、W2、W3的和值之间的乘积确定为在模型重要性的维度下的模型数据集合的风险评分。本实施例通过计算多个模型数据集合的风险评分，可以更加准确的评估出目标模型的风险等级。

在一个示例性实施例中，基于目标风险评分估计目标模型的风险等级，包括：将目标风险评分与预设阈值进行比较，得到比较结果；按照比较结果估计目标模型的风险等级，并将风险等级输出至显示设备进行显示。在本实施例中，预设阈值可以是按照目标模型的类型确定的，也可以是按照模型数据集合的数据量确定的。预设阈值是具体的数值，在目标风险评分与80进行比较，在小于80时，确定目标模型为是低风险等级的模型；在大于50小于80时，确定目标模型为是中风险等级的模型；在小于50时，确定目标模型为是高风险等级的模型。本实施例通过将目标风险评分与预设阈值进行比较，可以准确的确定出目标模型的风险等级。

下面结合具体实施例对本发明进行说明：

本实施例对商业银行使用的模型A的风险等级进行评估。如图5所示，按照模型风险指标选项对模型A进行模型风险指标的填选，根据选项结果分别映射对应的模型风险指标得分，然后对模型整体风险进行加权打分，最后通过比对评分阈值得到模型风险评级，并输出评级结果。

具体如图4所示，按照模型重要性、模型依赖性、模型复杂性和模型合规性四个维度共划分了10个模型风险指标，每个模型风险指标都有各自的指标选项，不同的指标选项映射不同的得分，即指标得分Si，同时每个模型风险指标对应各自的指标权重得分Wi，通过加权计算得出整体的模型风险评分S。最后通过比较模型风险评分和评分阈值的关系映射得出模型最终的风险评级，按照模型给商业银行可能带来的不利影响程度共设定高、中、低三个风险等级。对商业银行各个部门、各个业务条线的所有模型进行统一标准的模型风险评级管理，从根本上避免了准确性和时效性的问题。实现了模型风险评级的统一量化，避免专家经验可能带来的局限性、不透明性，有助于提升商业银行模型管理效率。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。

在本实施例中还提供了一种模型风险等级的评估装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图6是根据本申请实施例的模型风险等级的评估装置的结构框图，如图6所示，该装置包括：

第一获取模块62，用于获取目标模型的N个模型数据集合，其中，一个上述模型数据集合对应一个模型维度，每个上述模型数据集合中均包括多个风险指标数据，上述N是大于或等于1的自然数；

第一确定模块64，用于确定每个上述模型数据集合的目标指标得分和目标指标权重，得到N个目标指标得分和N个目标指标权重；

第一评估模块66，用于利用上述N个目标指标得分和上述N个目标指标权重评估上述目标模型的风险等级。

在一个示例性实施例中，上述第一获取模块，包括：

第一获取单元，用于对每个上述模型数据集合均执行以下步骤，以获取每个上述模型数据集合：

第一生成单元，用于按照上述模型维度生成模型数据集合；

第一归类单元，用于将获取的上述风险指标数据按照所归属的模型维度归类至对应的模型数据集合中。

在一个示例性实施例中，上述模型维度包括以下至少之一：上述目标模型的运行数据，上述目标模型的结构数据，上述目标模型的性能数据，其中，上述性能数据包括合法性数据、与其他模型之间的关联性。

在一个示例性实施例中，上述第一确定模块，包括：

第一计算单元，用于计算上述模型数据集合中每组风险指标数据的指标得分，得到多个指标数据，其中，上述每组风险指标数据中的风险指标数据的数据属性相同，上述每组风险指标数据的指标得分是从上述每组风险指标数据中包括的多个风险指标得分中选取的；

第一确定单元，用于将多个指标数据的和值确定为上述目标指标得分。

在一个示例性实施例中，上述第一确定模块，包括：

第二计算单元，用于计算上述模型数据集合中每组风险指标数据的权重得分，得到多个权重数据，其中，上述每组风险指标数据中的风险指标数据的数据属性相同，上述每组风险指标数据对应一个权重得分；

第二确定单元，用于将多个权重数据的和值确定为上述目标指标权重。

在一个示例性实施例中，上述第一评估模块，包括：

第一处理单元，用于对每个上述模型数据集合均执行以下步骤，以确定每个上述模型数据集合的风险评分：利用每个上述模型数据集合对应的上述目标指标得分和上述目标指标权重计算每个上述模型数据的风险评分，得到N个风险评分；第二处理单元，用于利用N个上述风险评分计算上述目标模型的目标风险评分；第三处理单元，用于基于上述目标风险评分估计上述目标模型的风险等级。

在一个示例性实施例中，上述第一评估模块，包括：

第一比较单元，用于将上述目标风险评分与预设阈值进行比较，得到比较结果；

第一评估单元，用于按照上述比较结果估计上述目标模型的风险等级，并将上述风险等级输出至显示设备进行显示。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

本申请的实施例还提供了一种计算机可读存储介质，该计算机可读存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。

在一个示例性实施例中，上述计算机可读存储介质可以包括但不限于：U盘、只读存储器(Read-Only Memory，简称为ROM)、随机存取存储器(Random Access Memory，简称为RAM)、移动硬盘、磁碟或者光盘等各种可以存储计算机程序的介质。

本申请的实施例还提供了一种电子设备，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。

在一个示例性实施例中，上述电子设备还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。

本实施例中的具体示例可以参考上述实施例及示例性实施方式中所描述的示例，本实施例在此不再赘述。

显然，本领域的技术人员应该明白，上述的本申请的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本申请不限制于任何特定的硬件和软件结合。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的原则之内，所作的任何修改、等同替换、改进等，均应包括在本申请的保护范围之内。