基于可解释性的模型集成方法、装置、设备及介质

技术领域

本发明涉及人工智能领域及数字医疗领域，涉及一种基于可解释性的模型集成方法、装置、设备及介质。

背景技术

在传统模型中，为了提高模型效果，最常用的方法是进行模型集成，例如分类问题，是以模型集成中的多个模型计算出的结果进行投票决定最终答案，或者是线性问题，是以模型集成中的多个模型计算出来的多个结果，取多个结果的均值作为预测数值。

在现有技术中，很多模型集成可以做出非常好的预测，但是它们并不能很好地解释它们是如何进行预测的，很多数据专业领域人士都很难知晓为什么该算法会得到这样的预测结果，若我们无法知道某个算法是如何进行预测，则很难基于模型知道业务发展，例如，在医疗领域上，我们可以使用深度学习算法对医学影像数据(如CT影像、DR影像等)进行分析或分类，以帮助医生更好地理解患者的健康状况并制定更好地治疗方案，然而，这些深度学习算法通常是黑盒模型，我们很难了解他们是如何进行预测的，也不知道它们的预测结果是如何得出的，使得医生难以信任这些算法的预测结果，医生很难根据这些结果制定更好的治疗方案，由于常用的模型集成所计算出的集成结果的可靠性不足，不太适用于某一些领域，尤其是医疗领域上，模型集成的集成结果显得尤为重要。

为了解决利用模型集成的技术中，由于模型集成所计算出的集成结果可靠性不足的技术问题，在此基础上，提出一种基于可解释性的模型集成方法，该基于模型可解释性进行集成的方法还可以支持疾病辅助诊断、健康管理、远程会诊等功能。

发明内容

本发明提供一种基于可解释性的模型集成方法、装置、设备及介质，其主要目的在于解决现有技术中，深度模型的模型集成的集成结果可靠性不足的技术问题。

为实现上述目的，本发明提供一种基于可解释性的模型集成方法，所述方法包括：

将待分类数据分别输入模型集中的各个模型，利用预设的可解释性算法对各个模型的预设特征层处理所述待分类数据产生的数值进行分析，生成与每个模型对应的一组热力图；

分别计算每组热力图中，热力图数值大于预设阈值的图像区域在相应热力图中的交并比；

计算所述每组热力图中包含的所有热力图的交并比的均值，得到所述各个模型在所述模型集中的权重；

利用所述模型集中的各个模型分别对所述待分类数据进行处理，得到所述各个模型输出的初始分类结果，基于所述各个模型的权重对所述初始分类结果进行加权计算，得到所述待分类数据的目标分类结果。

可选地，所述模型集包括第一模型、第二模型和第三模型，所述第一模型为vgg16模型，所述第二模型为resnet18模型，所述第三模型为alexNet模型；

所述预设的可解释性算法包括第一可解释性算法、第二可解释性算法和第三可解释性算法，所述第一可解释性算法为Grad-cam，第二可解释性算法为Score-cam，所述第三可解释性算法为Ablation-cam。

可选地，在利用所述模型集包含的各个模型分别对待分类数据进行处理之前，该方法还包括：

判断所述待分类数据的类别；

若所述待分类数据是图像数据，则对所述待分类数据进行归一化和降采样处理；

若所述待分类数据不是图像数据，则利用预设方法将所述待分类数据转换成图像数据，再对所述图像数据进行归一化和降采样处理。

可选地，所述利用预设的可解释性算法对各个模型的预设特征层处理所述待分类数据产生的数值进行分析，生成与每个模型对应的一组热力图，包括：

利用基于欧几里得距离分别提取所述第一模型、所述第二模型和所述第三模型的预设特征层处理所述待分类数据时产生的数值，得到第一数值、第二数值和第三数值；

利用所述第一可解释性算法、所述第二可解释性算法和所述第三可解释性算法分别对所述第一数值进行分析，得到与所述第一模型对应的一组热力图；

利用所述第一可解释性算法、所述第二可解释性算法和所述第三可解释性算法分别对所述第二数值进行分析，得到与所述第二模型对应的一组热力图；

利用所述第一可解释性算法、所述第二可解释性算法和所述第三可解释性算法分别对所述第三数值进行分析，得到与所述第三模型对应的一组热力图。

可选地，所述分别计算每组热力图中，热力图数值大于预设阈值的图像区域在相应热力图中的交并比，包括：

将所述热力图进行标准化处理，得到可视化灰度图像；

计算所述可视化灰度图像的各个图像区域的灰度值，选取大于预设阈值的图像区域作为关键区域；

计算所述关键区域占所述可视化灰度图像的所有图像区域的比例，得到所述热力图的交并比。

可选地，所述基于所述各个模型的权重对所述初始分类结果进行加权计算，得到所述待分类数据的目标分类结果，包括：

基于各个模型对应的权重，将各个模型所得到的初始分类结果进行加权求和，得到所述待分类数据的目标分类结果。

可选地，所述模型集成中每个模型的训练方法，包括：

从预设的数据库中获取第一数量的训练数据，从所述第一数量训练数据中选取第二数量的数据进行标注，将带有标注标签的记为正样本数据，将未带有标注标签的记为负样本数据；

利用所述正样本数据和所述负样本数据分别训练模型集成中每个模型，完成训练。

为了解决上述问题，本发明提供了一种模型集成装置，所述装置包括：

数值分析模块，用于将待分类数据分别输入模型集中的各个模型，利用预设的可解释性算法对各个模型的预设特征层处理所述待分类数据产生的数值进行分析，生成与每个模型对应的一组热力图；

数值计算模块，用于分别计算每组热力图中，热力图数值大于预设阈值的图像区域在相应热力图中的交并比；

权重计算模块，用于计算所述每组热力图中包含的所有热力图的交并比的均值，得到所述各个模型在所述模型集中的权重；

加权求和模块，用于利用所述模型集中的各个模型分别对所述待分类数据进行处理，得到所述各个模型输出的初始分类结果，基于所述各个模型的权重对所述初始分类结果进行加权计算，得到所述待分类数据的目标分类结果。

为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：

至少一个处理器；以及，

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任意一项所述的基于可解释性的模型集成方法。

为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机程序被处理器执行时实现所述的基于可解释性的模型集成方法。

本发明实施例将待分类数据分别输入模型集中的各个模型，利用预设的可解释性算法对各个模型的预设特征层处理所述待分类数据产生的数值进行分析，生成与每个模型对应的一组热力图，能对数据资源及计算资源等的资源依赖性较小，能达到甚至超过单个模型的效果，更容易部署落地，应用场景较为丰富；分别计算每组热力图中，热力图数值大于预设阈值的图像区域在相应热力图中的交并比；计算所述每组热力图中包含的所有热力图的交并比的均值，得到所述各个模型在所述模型集中的权重；利用所述模型集中的各个模型分别对所述待分类数据进行处理，得到所述各个模型输出的初始分类结果，基于所述各个模型的权重对所述初始分类结果进行加权计算，得到所述待分类数据的目标分类结果，利用模型可解释性的特性，在集成过程中考虑了结果的可靠性，得到的结果更为可靠，在医疗领域中，本实施例所述的基于可解释性的模型集成方法，可以使医生更好地理解和信任模型的预测结果，而不仅仅是被动地接受结果；此外，这种方法还可以让医生更好地与机器学习算法合作，共同指定更好地治疗方案，从而高治疗效果，减少医疗事故的发生，改善医生诊疗效率和准确性，减少医疗风险，并且可以为患者提供更好的医疗服务。

附图说明

图1为本发明提供的基于可解释性的模型集成方法的流程图；

图2为本发明提供的模块示意图；

图3为发明提供的电子设备的示意图；

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

本发明实施例可以基于人工智能技术及数字医疗领域对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。

人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物检索技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

本发明实施例提供一种基于可解释性的模型集成方法，所述基于可解释性的模型集成方法的执行主体包括但不限于客户端、移动终端等能够被配置为执行本申请实施例提供的该方法的电子设备中的至少一种。所述APP可以是区块链平台。所述移动终端包括但不限于：单台服务器、服务器集群、云端服务器或者是云端服务器集群等。

本发明实施例中，所述基于可解释性的模型集成方法通过服务器预先设定的模块针对于待分类数据进行分析，提取出待分类数据解析过程中预设特征层对应的数值，利用预设数量的可解释性算法计算预设特征层对应的数值，得到模型集中各个模型的权重值，加权求和得到目标分类结果。本发明实施例的核心在于：将待分类数据分别输入模型集中的各个模型，利用预设的可解释性算法对各个模型的预设特征层处理所述待分类数据产生的数值进行分析，生成与每个模型对应的一组热力图；分别计算每组热力图中，热力图数值大于预设阈值的图像区域在相应热力图中的交并比；计算所述每组热力图中包含的所有热力图的交并比的均值，得到所述各个模型在所述模型集中的权重；利用所述模型集中的各个模型分别对所述待分类数据进行处理，得到所述各个模型输出的初始分类结果，基于所述各个模型的权重对所述初始分类结果进行加权计算，得到所述待分类数据的目标分类结果。

以下结合图1对本发明的实现原理进一步说明。

参照图1所示的流程图描述了本发明提供的基于可解释性的模型集成方法，包括：

S10、将待分类数据分别输入模型集中的各个模型，利用预设的可解释性算法对各个模型的预设特征层处理所述待分类数据产生的数值进行分析，生成与每个模型对应的一组热力图。

在本实施例中，将待分类数据分别输入模型集中的各个模型中，所述各个模型分别对所述待分类数据进行解析或处理，各个模型在处理的过程中，模型的每个层(例如输入层、卷积层、输出层等)会产生相应的数值，利用预设方法提取模型的预设特征层中所产生的数值，利用预设的可解释性方法对所述预设特征层中所产生的数值进行分析，生成与每个模型对应的一组热力图；所述模型中预设特征层层是指模型所提取待分类数据对应特征的层次，例如卷积层。

例如，在医疗领域中，待分析数据是乳腺癌X光图像，将乳腺癌X光图像分别输入模型集的各个模型中，可以包括卷积神经网络和全连接神经网络等，利用各个模型对乳腺癌X光图像进行解析或处理，并在处理过程中提取所产生地相应的数值，利用预设的可解释性算法对所提取的数值进行分析，生成与每个模型处理乳腺癌X光图像对应的热力图，以帮助医生判断乳腺癌X光图像中的关键特征(如是否有肿块)，提高诊断准确率和效率。

关于深度学习中进行模型集成的相关研究较少，多数是通过设计更为复杂的、更深或者更宽的深度学习模型来实现。

在深度学习中，可以采用模型集成的方式来提高模型效果，通过模型集成可以多个小模型达到大模型的预期效果，甚至超过大模型的预期效果，从而降低计算依赖，使得模型更容易进行部署落地。

在本实施例中，所述模型集成是由两个及以上的深度模型构成，深度模型是机器学习的一种，而机器学习是实现人工智能的必经路径，深度学习的概念源于人工神经网络的研究，多个隐藏层的多层感知器就是一种深度学习结构。深度学习通过组合底层特征形成更加抽象的高层标识属性类别或特征，以发现数据的分布式特征表示。研究深度学习的动机在于建立模拟人脑进行分析学习的神经网络，它模型人脑的机制来解释数据，例如图像，声音和文本等。

所述可解释性在广义上是指我们需要了解或者解决一件事情的时候，我们可以获得我们所需要的过程信息，在模型上，所述可解释性可以解释模型是如何进行预算得到预测结果。

在本实施例中，所述模型集成由三个深度学习模型构成，所述模型集包括第一模型、第二模型和第三模型，所述第一模型为vgg16模型，所述第二模型为resnet18模型，所述第三模型为alexNet模型；

所述预设的可解释性算法包括第一可解释性算法、第二可解释性算法和第三可解释性算法，所述第一可解释性算法为Grad-cam，第二可解释性算法为Score-cam，所述第三可解释性算法为Ablation-cam。

所述Vgg16模型包括卷积层、全连接层、输出层构成，层与层之间使用max-pooling(最大池化)分开，所有隐层的激活函数都采用ReLU函数。

所述Resnet18模型的基本架构是ResNet网络，网络的深度是18层，包括线性层、采样层、激活层、卷积层和池化层。

所述AlexNet模型包括卷积层和全连接层，模型结构对应两块GPU，在特定的网络层中两块GPU进行交互，利用两块GPU提高运算的效率。

在本实施例中，所述预设的可解释性算法分别是第一可解释性算法：Grad-cam可解释性算法、第二可解释性算法：Score-cam可解释性算法和第三可解释性算法：Ablation-cam可解释性算法。

所述Grad-cam可解释性算法分析模型对某个类别的关注区域，通过关注的区域分析网络是否学习到正确的特征或信息，相较于CAM可解释性方法具有不需要修改网络结构和重新训练的优点。

所述Score-cam可解释性算法通过每个激活映射在目标类上的前向传递分数来获得每个激活映射的权重，摆脱了对梯度的依赖。

所述Ablation-cam可解释性算法通过ablation分析来确定特征图上每个单元的重要程度。

一般而言，若待分类数据是图像，由于不同成像条件获得的图像的分辨率或者是尺寸之间可能存在差异，需要对图像进行预处理。

在一个实施例中，从预设的数据库中获取待分类数据，所述待分类数据是需要进行分析的一类数据，对待分类数据进行预处理，得到预处理数据。

例如，待分类数据是一张待检索图像，在医学应用场景中，待检索图像的样本图像为医学影像，样本图像包含的对象所属类型为病灶，即机体上发生病变的部分。医学影像是指为了医疗或医学研究，以非侵入方式取得的内部组织，例如，胃部、腹部、心脏、膝盖、脑部的影像，比如，CT(Computed Tomography，电子计算机断层扫描)、MRI(Magnetic ResonanceImaging，磁共振成像)、US(ultrasonic，超声)、X光图像、脑电图以及光学摄影灯由医学仪器生成的图像。

由于模型集成中的模型要求输入的数据为图像，故需要将非图像的待分类数据转换成图像形式，例如，待分类数据是文字形式，则将文字形式转换成图像形式，便于后续模型集成的处理；若待分类数据是图像，则对所述图像进行预处理。

在一个实施例中，在利用所述模型集包含的各个模型分别对待分类数据进行处理之前，该方法还包括：

判断所述待分类数据的类别；

若所述待分类数据是图像数据，则对所述待分类数据进行归一化和降采样处理；

若所述待分类数据不是图像数据，则利用预设方法将所述待分类数据转换成图像数据，再对所述图像数据进行归一化和降采样处理。

在本实施例中，按照文字数据中每个变量对应图像中一个像素点的原则，将每个变量所对应的特征信息重组聚合成一个特征矩阵，并将不足的像素区域使用零代替，将特征矩阵转换成特征成像图。

在本实施例中，将所有图像进行归一化和降采样处理，使得后续输入模型集成的图像的分辨率和尺寸都是相同的；所述归一化的方法可以为均值方差归一化方法，或者是min-max归一化方法等，归一化方法可以将所有图像的像素值统一到同样的范围内，降低模型集成的识别处理难度；降采样处理可以缩小图像的尺寸，例如通过降采样两倍处理将图像的尺寸缩小，降低模型集成的处理难度。

在本实施例中，对所获取的待分类数据进行判别，将待分类数据转换成图像形式并进行预处理，将图像统一成一个格式，便于后续模型的处理，减少模型处理步骤，提高模型处理速度。

在一个实施例中，所述利用预设的可解释性算法对各个模型的预设特征层处理所述待分类数据产生的数值进行分析，生成与每个模型对应的一组热力图，包括：

利用基于欧几里得距离分别提取所述第一模型、所述第二模型和所述第三模型的预设特征层处理所述待分类数据时产生的数值，得到第一数值、第二数值和第三数值；

利用所述第一可解释性算法、所述第二可解释性算法和所述第三可解释性算法分别对所述第一数值进行分析，得到与所述第一模型对应的一组热力图；

利用所述第一可解释性算法、所述第二可解释性算法和所述第三可解释性算法分别对所述第二数值进行分析，得到与所述第二模型对应的一组热力图；

利用所述第一可解释性算法、所述第二可解释性算法和所述第三可解释性算法分别对所述第三数值进行分析，得到与所述第三模型对应的一组热力图。

具体地，假设待分类数据是尺寸为224*224*3的图像，输入第一模型：Vgg16模型中，经过64个，通道为3，尺寸为3*3的卷积核，步长为1，padding＝same填充，进行两次卷积，经过ReLU函数进行激活，输出的尺寸大小为224*224*64的图像；

尺寸大小为224*224*64的图像经过max pooling(最大池化)，滤波器为2*2，步长为2，得到尺寸为112*112*64的图像；

尺寸为112*112*64的图像在经过多次卷积核池化处理后，进行张量扁平化操作，将数据拉平成向量，经过两层全连接层，采用ReLU激活函数，得到预测结果；

基于欧几里得距离提取出卷积层所对应的数据，得到卷积层产生的数值。

同样地，将所述待分类数据分别输入第二模型：Resnet18模型和第三模型：AlexNet模型中，通过第二模型和第三模型对所述待分类数据进行解析，得到对应的解析结果，采用上述方法提取第二模型和第三模型中预设特征层产生的数值。

在本实施例中，结合vgg16模型的稳定性，AlexNet的快速性和ResNet18的准确性的优点，对待分类数据进行分析，使得分析得更充分，模型分析的结果准确率更高，效率较快；在特定的一些领域上，由于训练数据集较难获取，采用预设数量的小模型组成的模型集成，能通过小的数据集进行训练，利用模型集成，可以通过小数据集对各个模型进行训练，达到大模型的效果，甚至超过大模型的效果，提高了模型的易实现性和模型的实用性，模型集成所应用的场景更丰富。

在本实施例中，利用三个可解释性算法分别对各个模型的预设特征层所产生的数值进行分析，生成与每个模型对应的一组热力图，值得一提的是，一个可解释算法分析一个模型的预设特征层，就会生成一个热力图，在本实施例中，利用三个可解释性算法对各个模型的预设特征层所产生的数值进行分析，生成与每个模型对应的三个热力图。

在本实施例中，采用三个不同的可解释性方法对各个模型对待分类数据分析时，预设特征层所产生的数值进行分析，三个可解释性算法分别从不同的角度对数据进行分析，利用可解释性算法自身的优点，对数值进行全方位的分析，产生侧重点不同的三个热图。

S20、分别计算每组热力图中，热力图数值大于预设阈值的图像区域在相应热力图中的交并比。

在一个实施例中，所述分别计算每组热力图中，热力图数值大于预设阈值的图像区域在相应热力图中的交并比，包括：

将所述热力图进行标准化处理，得到可视化灰度图像；

计算所述可视化灰度图像的各个图像区域的灰度值，选取大于预设阈值的图像区域作为关键区域；

计算所述关键区域占所述可视化灰度图像的所有图像区域的比例，得到所述热力图的交并比。

具体地，每组热力图中包括多个热力图，将每个热力图标准化处理，转换成0-255灰度值的可视化灰度图像，计算出可视化灰度图像的各个图像区域的灰度值，设立一个灰度值阈值，将大于灰度值阈值的图像区域作为关键区域，计算所述关键区域占可视化灰度图像的所有图像区域的比例，得到每个热力图的交并比。

在本实施例中，将第一模型对应的第一热力图进行标准化处理，转换成0-255灰度值的可视化灰度图像，计算可视化灰度图像中各个图像区域的灰度值，选取大于预设阈值的图像区域作为关键区域，计算关键区域占可视化灰度图像的所有图像区域的比例，得到与第一模型对应的第一交并比，记为IOU1；

将第一模型对应的第二热力图进行标准化处理，转换成0-255灰度值的可视化灰度图像，计算可视化灰度图像中各个图像区域的灰度值，选取大于预设阈值的图像区域作为关键区域，计算关键区域占可视化灰度图像的所有图像区域的比例，得到与第一模型对应的第二交并比，记为IOU2；

将第一模型对应的第三热力图进行标准化处理，转换成0-255灰度值的可视化灰度图像，计算可视化灰度图像中各个图像区域的灰度值，选取大于预设阈值的图像区域作为关键区域，计算关键区域占可视化灰度图像的所有图像区域的比例，得到与第一模型对应的第三交并比，记为IOU3；

同理，在本实施例中，利用上述计算第一模型对应的交并比的方法，计算第二模型对应的交并比和第三模型对应的交并比。

例如，利用模型集成对乳腺X光图像进行分类和诊断，并生成相应地热力图，热力图展示了图像中不同区域对诊断结果的贡献程度，可以帮助医生更好地理解和解释算法的预测结果，将热力图转换成灰度图像，选取大于预设阈值的区域作为关键区域，并计算出关键区域占整个灰度图像的比例，得到乳腺X光图像的交并比，利用交并比评估模型的性能，医生可以利用交并比来评估模型对肿块的识别准确性，并根据热力图结果做出最终的诊断和治疗计划。

在本实施例中，通过计算出各个模型的预设特征层产生的数值的交并比，标记出同个目标图像的不同真实区域，利用交并比评估模型的准确性，综合模型对应的三个交并比，能较为准确的测量模型的准确性。

S30、计算所述每组热力图中包含的所有热力图的交并比的均值，得到所述各个模型在所述模型集中的权重。

在本实施例中，将各个模型对应的所有热力图的交并比相加，取所有热力图的交并比的均值，得到各个模型在所述模型集中的权重。

在医疗领域中，可以利用本实施例进行多模型融合，以提高医学影像等的诊断准确率，例如，在对乳腺X光图像进行诊断时，可以利用模型集中的各个模型对乳腺X光图像进行解析或处理，生成对应的热力图，通过计算各个模型对应的所有热力图的交并比相加，取所有热力图的交并比的均值，可以得到各个模型在所述模型集中的权重，这些权重可以反映出各个模型对于诊断结果的贡献，进行多个模型的结果进行融合，提高了诊断的准确性和鲁棒性。

具体地，第一模型所对应的第一交并比IOU1、第二交并比IOU2、第三交并比IOU3相加，取三个交并比的均值，得到第一模型对应的权重。

第二模型所对应的第一交并比IOU1、第二交并比IOU2、第三交并比IOU3相加，取三个交并比的均值，得到第二模型对应的权重。

第三模型所对应的第一交并比IOU1、第二交并比IOU2、第三交并比IOU3相加，取三个交并比的均值，得到第三模型对应的权重。

在本实施例中，通过综合三个交并比的均值，得到各个模型所对应的权重，从多个方向计算，达到了模型的全面性，提升了模型的准确度。

S40、利用所述模型集中的各个模型分别对所述待分类数据进行处理，得到所述各个模型输出的初始分类结果，基于所述各个模型的权重对所述初始分类结果进行加权计算，得到所述待分类数据的目标分类结果。

在本实施例中，利用所述模型集中的各个模型分别对待分类数据进行处理，得到所述各个模型的输出的初始分类结果，基于各个模型所对应的权重和输出的初始分类结果进行加权计算，得到所述待分类数据的目标分类结果。

例如，将乳腺X光图像输入到各个模型中，得到各个模型的输出结果，为每个模型分配一个权重系数，假如有三个模型，分别对应的权重系数为0.4、0.3、0.3，对每个模型处理乳腺X光图像所输出的结果进行加权求和，得到乳腺X光图像的目标分类结果，根据目标分类结果判断乳腺X光图像是否有肿块，通过模型集成技术，可以有效提高病理图像的诊断准确度和鲁棒性。

在一个实施例中，所述基于所述各个模型的权重对所述初始分类结果进行加权计算，得到所述待分类数据的目标分类结果，包括：

基于各个模型对应的权重，将各个模型所得到的初始分类结果进行加权求和，得到所述待分类数据的目标分类结果。

在一个实施例中，在所述利用模型集成中每个模型分别对所述待分类数据进行解析之前，该方法还包括：

从预设的数据库中获取第一数量的训练数据，从所述第一数量训练数据中选取第二数量的数据进行标注，将带有标注标签的记为正样本数据，将未带有标注标签的记为负样本数据；

利用所述训练数据分别训练模型集成中每个模型，完成训练。

在本实施例中，采用cifar10数据集分别对所述模型集成中每个模型进行训练，每个模型不断迭代训练数据，当模型的分类准确度达到预设阈值时，结束训练，所述cifar10数据集是一个用于识别普适物体的小型数据集，一共包含10个类别的RGB彩色图像，图片的尺寸为32*32，数据集一共有50000张训练图像和10000张测试图像。

由于所获取的训练数据中，往往会出现与正样本数据较为相似的负样本数据，导致训练数据中未带有标注标签的负样本数据混入一些意思正样本数据的情况；因此，为了进一步改善上述训练样本数据中被标记出的正样本数据和负样本数据的准确度，对负样本数据进行过滤处理。

在另一个实施例中，从所述负样本数据中挑选并删除相似度值大于预设阈值的负样本数据。

具体地，当从训练数据的负样本数据中，筛选出相似度值大于预设阈值的负样本数据后，对筛选出作为疑似正样本进行过滤处理，以提高该训练数据中正样本数据和负样本数据的准确度。

其中，上述预设阈值的取值大小，在本说明书不进行特别限定，本领域技术人员可以基于实际的需求进行灵活配置。

在另一个实施例中，所述从所述负样本数据中挑选并删除相似度值大于预设阈值的负样本数据，该方法还包括：

也可以不采用直接删除的方式，将相似度大于预设阈值的负样本数据重新标记成正样本数据。

在本实施例中，利用训练好的模型集的各个模型对待分类数据进行处理，得到初始分类结果，基于每个模型的权重，对所述初始分类结果进行加权求和，在模型权重的参与下，得到的分类结果较为为准确，可靠性更强。

参照图2所示，为本发明模型集成装置100的功能模块示意图。

数值分析模块110，用于将待分类数据分别输入模型集中的各个模型，利用预设的可解释性算法对各个模型的预设特征层处理所述待分类数据产生的数值进行分析，生成与每个模型对应的一组热力图。

在一个实施例中，所述模型集包括第一模型、第二模型和第三模型，所述第一模型为resnet18模型，所述第二模型为vgg16模型，所述第三模型为alexNet模型；

所述预设的可解释性算法包括第一可解释性算法、第二可解释性算法和第三可解释性算法，所述第一可解释性算法为Grad-cam，第二可解释性算法为Score-cam，所述第三可解释性算法为Ablation-cam。

在一个实施例中，在利用所述模型集包含的各个模型分别对待分类数据进行处理之前，该方法还包括：

判断所述待分类数据的类别；

若所述待分类数据是图像数据，则对所述待分类数据进行归一化和降采样处理；

若所述待分类数据不是图像数据，则利用预设方法将所述待分类数据转换成图像数据，再对所述图像数据进行归一化和降采样处理。

在一个实施例中，所述利用预设的可解释性算法对各个模型的预设特征层处理所述待分类数据产生的数值进行分析，生成与每个模型对应的一组热力图，包括：

利用基于欧几里得距离分别提取所述第一模型、所述第二模型和所述第三模型的预设特征层处理所述待分类数据时产生的数值，得到第一数值、第二数值和第三数值；

利用所述第一可解释性算法、所述第二可解释性算法和所述第三可解释性算法分别对所述第一数值进行分析，得到与所述第一模型对应的一组热力图；

利用所述第一可解释性算法、所述第二可解释性算法和所述第三可解释性算法分别对所述第二数值进行分析，得到与所述第二模型对应的一组热力图；

利用所述第一可解释性算法、所述第二可解释性算法和所述第三可解释性算法分别对所述第三数值进行分析，得到与所述第三模型对应的一组热力图。

数值计算模块120，用于分别计算每组热力图中，热力图数值大于预设阈值的图像区域在相应热力图中的交并比。

在一个实施例中，所述分别计算每组热力图中，热力图数值大于预设阈值的图像区域在相应热力图中的交并比，包括：

将所述热力图进行标准化处理，得到可视化灰度图像；

计算所述可视化灰度图像的各个图像区域的灰度值，选取大于预设阈值的图像区域作为关键区域；

计算所述关键区域占所述可视化灰度图像的所有图像区域的比例，得到所述热力图的交并比。

权重计算模块130，用于计算所述每组热力图中包含的所有热力图的交并比的均值，得到所述各个模型在所述模型集中的权重。

加权求和模块140，用于利用所述模型集中的各个模型分别对所述待分类数据进行处理，得到所述各个模型输出的初始分类结果，基于所述各个模型的权重对所述初始分类结果进行加权计算，得到所述待分类数据的目标分类结果。

在一个实施例中，所述基于所述各个模型的权重对所述初始分类结果进行加权计算，得到所述待分类数据的目标分类结果，包括：

将所述初始分类结果对应的权重进行加权求和，得到所述待分类数据的目标分类结果。

在一个实施例中，所述模型集成中每个模型的训练方法，包括：

从预设的数据库中获取第一数量的训练数据，从所述第一数量训练数据中选取第二数量的数据进行标注，将带有标注标签的记为正样本数据，将未带有标注标签的记为负样本数据；

利用所述正样本数据和所述负样本数据分别训练模型集成中每个模型，完成训练。

参照图3所示，为本发明电子设备1较佳实施例的示意图。

该电子设备1包括但不限于：存储器11、处理器12、显示器13及网络接口14。所述电子设备1通过网络接口14连接网络，获取原始数据。其中，所述网络可以是企业内部网(Intranet)、互联网(Internet)、全球移动通讯系统(GlobalSystemofMobilecommunication，GSM)、宽带码分多址(WidebandCodeDivisionMultipleAccess，WCDMA)、4G网络、5G网络、蓝牙(Bluetooth)、Wi-Fi、通话网络等无线或有线网络。

其中，存储器11至少包括一种类型的可读介质，所述可读介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器11可以是所述电子设备1的内部存储单元，例如该电子设备1的硬盘或内存。在另一些实施例中，所述存储器11也可以是所述电子设备1的外部存储设备，例如该电子设备1配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(FlashCard)等。当然，所述存储器11还可以既包括所述电子设备1的内部存储单元也包括其外部存储设备。本实施例中，存储器11通常用于存储安装于所述电子设备1的操作系统和各类应用软件，例如模型集成10的程序代码等。此外，存储器11还可以用于暂时地存储已经输出或者将要输出的各类数据。

处理器12在一些实施例中可以是中央处理器(Central Processing Unit，CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器12通常用于控制所述电子设备1的总体操作，例如执行数据交互或者通信相关的控制和处理等。本实施例中，所述处理器12用于运行所述存储器11中存储的程序代码或者处理数据，例如运行模型集成10的程序代码等。

显示器13可以称为显示屏或显示单元。在一些实施例中显示器13可以是LED显示器、液晶显示器、触控式液晶显示器以及有机发光二极管(OrganicLight-EmittingDiode，OLED)触摸器等。显示器13用于显示在电子设备1中处理的信息以及用于显示可视化的工作界面，例如显示数据统计的结果。

网络接口14可选地可以包括标准的有线接口、无线接口(如WI-FI接口)，该网络接口14通常用于在所述电子设备1与其它电子设备之间建立通信连接。

图3仅示出了具有组件11-14以及模型集成10的电子设备1，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。

可选地，所述电子设备1还可以包括用户接口，用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及有机发光二极管(OrganicLight-EmittingDiode，OLED)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。

该电子设备1还可以包括射频(Radio Frequency，RF)电路、传感器和音频电路等等，在此不再赘述。

在上述实施例中，处理器12执行存储器11中存储的模型集成10时可以实现如下步骤：

将待分类数据分别输入模型集中的各个模型，利用预设的可解释性算法对各个模型的预设特征层处理所述待分类数据产生的数值进行分析，生成与每个模型对应的一组热力图；

分别计算每组热力图中，热力图数值大于预设阈值的图像区域在相应热力图中的交并比；

计算所述每组热力图中包含的所有热力图的交并比的均值，得到所述各个模型在所述模型集中的权重；

利用所述模型集中的各个模型分别对所述待分类数据进行处理，得到所述各个模型输出的初始分类结果，基于所述各个模型的权重对所述初始分类结果进行加权计算，得到所述待分类数据的目标分类结果。

关于上述步骤的详细介绍，请参照图1关于基于可解释性的模型集成方法实施例的流程图的说明。

此外，本发明实施例还提出一种计算机可读介质，所述计算机可读介质可以是非易失性的，也可以是易失性的。该计算机可读介质可以是硬盘、多媒体卡、SD卡、闪存卡、SMC、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器等等中的任意一种或者几种的任意组合。所述计算机可读介质中包括存储数据区和存储程序区，存储数据区存储根据区块链节点的使用所创建的数据，存储程序区存储有模型集成10，所述模型集成10被处理器执行时实现如下操作：

将待分类数据分别输入模型集中的各个模型，利用预设的可解释性算法对各个模型的预设特征层处理所述待分类数据产生的数值进行分析，生成与每个模型对应的一组热力图；

分别计算每组热力图中，热力图数值大于预设阈值的图像区域在相应热力图中的交并比；

计算所述每组热力图中包含的所有热力图的交并比的均值，得到所述各个模型在所述模型集中的权重；

利用所述模型集中的各个模型分别对所述待分类数据进行处理，得到所述各个模型输出的初始分类结果，基于所述各个模型的权重对所述初始分类结果进行加权计算，得到所述待分类数据的目标分类结果。

本发明之计算机可读介质的具体实施方式与上述基于可解释性的模型集成方法的具体实施方式大致相同，在此不再赘述。

在另一个实施例中，本发明所提供的基于可解释性的模型集成方法，为进一步保证上述所有出现的数据的私密和安全性，上述所有数据还可以存储于一区块链的节点中。例如特征维度、特征嵌入，这些数据均可存储在区块链节点中。

需要说明的是，本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(Blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，电子装置，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护。