分类模型的构建方法、装置、计算机设备及存储介质

技术领域

本发明涉及人工智能技术的分类模型技术领域，具体而言，本发明涉及一种分类模型的构建方法、装置、计算机设备及存储介质。

背景技术

人工智能领域的发展日新月异，特别是随着深度学习技术的广泛应用，其在物体检测、识别等领域取得了突破性的进展。一般地，人工智能AI算法主要是基于监督式学习的深度学习技术，而训练数据是人工智能模型的驱动力。

传统的分类方法依赖于手工特征的选择，并要求对先验领域知识有清晰的认识，特征学习方法可以有效地检测不同模式的特征，但训练数据中缺乏标注数据时，则无法准确地训练得到高精度的分类模型。

发明内容

本发明的主要目的为提供一种分类模型的构建方法、装置、计算机设备及存储介质，以在训练数据中缺乏标注数据时，能够准确地训练得到高精度的分类模型。

为了实现上述发明目的，本发明提供一种分类模型的构建方法，其包括：

获取数据集及多个基分类器；

利用所述数据集对所述多个基分类器进行K折交叉验证，获取每个基分类器在交叉验证后得到的预测值；其中，所述K为大于2的整数；

将每个基分类器在交叉验证后得到的预测值添加至所述数据集中，得到目标数据集；

利用所述目标数据集对预设的深度神经网络模型进行训练；

计算训练至收敛的深度神经网络模型在预设评价指标的指标值，在所述指标值满足要求后，得到训练好的分类模型。

优选地，所述利用所述目标数据集对预设的深度神经网络模型进行训练，包括：

将所述目标数据集进行随机分组，得到模型训练集与模型测试集；其中，所述模型测试集包括每个基分类器在交叉验证后得到的预测值；

基于所述模型训练集对预设的深度神经网络模型进行训练，得到第一深度神经网络模型；

所述计算训练至收敛的深度神经网络模型在预设评价指标的指标值，在所述指标值满足要求后，得到训练好的分类模型，包括：

利用所述模型测试集对所述第一深度神经网络模型进行预测，得到第一预测值；其中，所述指标值包括第一预测值；

计算所述第一预测值与每个基分类器在交叉验证后得到的预测值的误差，得到标准误差；

在所述标准误差小于预设阈值时，得到训练好的分类模型。

优选地，所述计算所述第一预测值与每个基分类器在交叉验证后得到的预测值的误差，得到标准误差，包括：

计算所述第一预测值分别与每个基分类器在交叉验证后得到的预测值的误差，得到多个第一误差；

根据标准差计算公式计算得到所述多个第一误差对应的标准误差。

优选地，所述将每个基分类器在交叉验证后得到的预测值添加至所述数据集中，得到目标数据集，包括：

计算每个基分类器在交叉验证后得到的预测值的平均值，得到平均预测值；

将所述平均预测值添加至所述数据集中，得到目标数据集。

优选地，所述利用所述数据集对所述多个基分类器进行K折交叉验证，获取每个基分类器在交叉验证后得到的预测值，包括：

将所述数据集划分为K个子数据集；其中，所述K为所述基分类器的数量；

在每轮交叉验证时，从所述多个基分类器中不重复地选取一个基分类器作为目标基分类器；

从所述K个子数据集中不重复地选取一个子数据集作为子测试集，将剩余子数据集作为子训练集；

利用所述子训练集对所述目标基分类器进行训练，利用所述子测试集对训练后的所述目标基分类器进行预测，得到所述目标基分类器的预测值。

在一实施例中，所述预设的深度神经网络模型有多个，所述计算训练至收敛的深度神经网络模型在预设评价指标的指标值，在确定所述指标值满足要求后，得到训练好的分类模型，包括：

计算各个训练至收敛的深度神经网络模型在预设评价指标的指标值；

从所述指标值满足要求的所有深度神经网络模型中，选择指标值最佳的深度神经网络模型作为训练好的分类模型。

进一步地，所述计算训练至收敛的深度神经网络模型在预设评价指标的指标值之后，还包括：

在所述指标值不满足要求时，调整所述深度神经网络模型的参数；

利用所述目标数据集对调整参数后的所述深度神经网络模型进行重新训练，直至所述指标值满足要求时，得到训练好的分类模型。

本发明还提供一种分类模型的构建装置，其包括：

获取模块，用于获取数据集及多个基分类器；

交叉验证模块，用于利用所述数据集对所述多个基分类器进行K折交叉验证，获取每个基分类器在交叉验证后得到的预测值；其中，所述K为大于2的整数；

添加模块，用于将每个基分类器在交叉验证后得到的预测值添加至所述数据集中，得到目标数据集；

训练模块，用于利用所述目标数据集对预设的深度神经网络模型进行训练；

计算模块，用于计算训练至收敛的深度神经网络模型在预设评价指标的指标值，在所述指标值满足要求后，得到训练好的分类模型。

本发明还提供一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述任一项所述方法的步骤。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现上述任一项所述方法的步骤。

本发明所提供的一种分类模型的构建方法、装置、计算机设备及存储介质，获取数据集及多个基分类器，利用数据集对多个基分类器进行K折交叉验证，获取每个基分类器在交叉验证后得到的预测值，将每个基分类器在交叉验证后得到的预测值添加至数据集中，得到目标数据集，利用目标数据集对预设的深度神经网络模型进行训练，计算训练至收敛的深度神经网络模型在预设评价指标的指标值，在指标值满足要求后，得到训练好的分类模型，从而利用数据集交叉验证多个基分类器，提高预测值的准确性，并将每个基分类器在交叉验证后得到的预测值作为标注数据添加至数据集中，得到目标数据集，利用目标数据集对预设的深度神经网络模型进行训练，实现自动标注，能够准确地训练得到高精度的分类模型。

附图说明

图1为本发明一实施例的分类模型的构建方法的流程示意图；

图2为本发明又一实施例的分类模型的构建方法的流程示意图；

图3为本发明又一实施例的分类模型的构建方法的流程示意图；

图4为本发明另一实施例的分类模型的构建方法的流程示意图；

图5为本发明又一实施例的分类模型的构建方法的流程示意图；

图6为本发明另一实施例的分类模型的构建方法的流程示意图；

图7为本发明又一实施例的分类模型的构建方法的流程示意图；

图8为本发明又一实施例的分类模型的构建方法的流程示意图；

图9为本发明一实施例的分类模型的构建装置的结构示意框图；

图10为本发明一实施例的计算机设备的结构示意框图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提出一种分类模型的构建方法，本发明实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。

人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

本发明提出的一种分类模型的构建方法，以服务器为执行主体，服务器可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(Content Delivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。

参考图1，其中一个实施例中，该分类模型的构建方法包括以下步骤S11-S15：

S11、获取数据集及多个基分类器；

S12、利用所述数据集对所述多个基分类器进行K折交叉验证，获取每个基分类器在交叉验证后得到的预测值；其中，所述K为大于2的整数；

S13、将每个基分类器在交叉验证后得到的预测值添加至所述数据集中，得到目标数据集；

S14、利用所述目标数据集对预设的深度神经网络模型进行训练；

S15、计算训练至收敛的深度神经网络模型在预设评价指标的指标值，在所述指标值满足要求后，得到训练好的分类模型。

如上述步骤S11所述，数据集包括临床数据集，可以是图片、文本或音视频形式，用于对基分类器及深度神经网络模型进行训练，该数据集包括多份临床数据，且临床数据的数量需大于一定数量，以提高基分类器及深度神经网络模型的训练效果。其中，临床数据可包括以下至少之一或其组合：摘要信息、就诊信息、过敏/不良反应与事件、诊断结果、医嘱、检查内容、检验内容、手术信息、治疗信息、病历文书、护理记录、体检信息、随访信息。

本实施例的服务器可与用户的可穿戴设备建立通信连接，实时采集用户的临床数据；此外，该临床数据还可以是用户在看病过程中人工检测或机器检测产生的数据。

该基分类器包括决策树，决策树可以较为方便地将样本的权重整合到训练过程中，而不需要使用过采样的方法来调整样本权重；决策树的表达能力和泛化能力，可以通过调节树的层数来做折中；数据样本的扰动对于决策树的影响较大，因此不同子样本集合生成的决策树基分类器随机性较大，这样的“不稳定学习器”更适合作为基分类器。此外，在决策树节点分裂的时候，随机地选择一个特征子集，从中找出最优分裂属性，很好地引入了随机性。除了决策树外，神经网络模型也适合作为基分类器，主要由于神经网络模型也比较“不稳定”，而且还可以通过调整神经元数量、连接方式、网络层数、初始权值等方式引入随机性。

如上述步骤S12-S13所述，交叉验证主要用于建模应用中，例如PCR、PLS回归建模中。在给定的建模样本中，拿出大部分样本进行建模型，留小部分样本用刚建立的模型进行预报，并求这小部分样本的预报误差，记录它们的平方加和，这个过程一直进行，直到所有的样本都被预报了一次而且仅被预报一次，把每个样本的预报误差平方加和，称为PRESS(predicted Error Sum of Squares)。

具体的，本实施例将数据集等分为K份子数据集，K与基分类器的数量相同，每次取出其中一份作为为测试集，其余K-1份为训练集，每次抽取其中一个基分类器，采用训练集训练该基分类器，在训练过程中，可以采网格搜索方法对基分类器进行调参，当基分类器在测试集的误差最小或小于预设阈值后，可以将此时的基分类器作为本折交叉验证的训练结果，在基分类器训练好后，可以用训练好的基分类器分别测试原始的测试集和本折交叉验证中的测试集，得到本折交叉验证中测试集的预测值和测试集的预测值，在K折交叉验证后，训练集的每个子集分别在某折交叉验证作为测试集，因此，所有测试集的预测值就构成了整个训练集的预测值。K可以根据需求事先设定，例如可以为5/10/20等等。

例如，K取10，则将数据集等分为10份子集，每折交叉验证依次取出其中一份为测试集，其余9份为训练集，10折交叉验证训练完后，就可以得到10份测试集的预测值，就构成整个训练集的预测值；每折交叉验证训练好基分类器后，都可以用基分类器来测试整个测试集，得到测试集的一份预测值，最后可以得到测试集的10份预测值，并将每轮交叉验证得到的预测值作为参考预测值，添加至数据集中作为下一层深度神经网络模型的训练集部分，以在深度神经网络模型训练完成后，基于每轮交叉验证得到的预测值计算该深度神经网络模型的预测误差，以提高深度神经网络模型的预测精度；此外，每轮交叉验证完成后，对原数据集的测试集进行预测，得到的每轮预测值相加取平均后作为参考预测值，添加至数据集中作为下一层深度神经网络模型的训练集。

如上述步骤S14-S15所述，深度神经网络模型可以为卷积神经网络模型(CNN)、递归神经网络模型、长短期记忆模型(LSTM)等等，优选地，可以为卷积神经网络模型，可以包括输入层、用于将单个数值转换为列向量的隐含层、用于将隐含层转换所得的列向量转换为矩阵的转换层、卷积层、池化层、全连接层和输出层。

卷积神经网络各个网络层都是由神经元组成，每个神经元可以包含权重和偏置；它可以接收上一层输入，将所接收的输入与权重相乘再加上偏置作为输出，另外，还可以再经过一个非线性函数(如ReLu激活函数)输出。

本实施例利用目标数据集对预设的深度神经网络模型进行训练，在深度神经网络模型训练次数达到预设次数时，则表明深度神经网络模型训练至收敛，此时计算训练至收敛的深度神经网络模型在预设评价指标的指标值，在所述指标值满足要求后，得到训练好的分类模型。其中，指标值可以包括训练集的RMSE(Root Mean Squard Error，均方根误差)和测试集的RMSE，或者，在其他实施方式中，也可以为训练集和/或测试集的平均绝对误差(MAE)、均方误差(MSE)等等。

具体的，本实施例可将数据集进行划分，得到多个子数据集，利用多个子数据集对每个基分类器均进行5折交叉验证，每一次交叉验证包含两个过程：基于多个子数据集中的训练集训练基分类器，基于多个子数据集中的一份测试集预测完成训练后的基分类器，得到预测值，将每轮交叉验证得到的预测值作为下一层深度神经网络模型的训练集部分。

例如，设基学习算法为L

C

其中，S表示骨折患者的数据集，且S中的样本为S

S

其中，X

本实施例使用交叉验证方式，将数据集S分割为10份。此时设

其中，S

其中，

本发明所提供的一种分类模型的构建方法，获取数据集及多个基分类器，利用数据集对多个基分类器进行K折交叉验证，获取每个基分类器在交叉验证后得到的预测值，将每个基分类器在交叉验证后得到的预测值添加至数据集中，得到目标数据集，利用目标数据集对预设的深度神经网络模型进行训练，计算训练至收敛的深度神经网络模型在预设评价指标的指标值，在指标值满足要求后，得到训练好的分类模型，从而利用数据集交叉验证多个基分类器，提高预测值的准确性，并将每个基分类器在交叉验证后得到的预测值作为标注数据添加至数据集中，得到目标数据集，利用目标数据集对预设的深度神经网络模型进行训练，实现自动标注，能够准确地训练得到高精度的分类模型。

在一实施例中，参考图2所示，所述利用所述目标数据集对预设的深度神经网络模型进行训练，可具体包括以下步骤S21-S22：

S21、将所述目标数据集进行随机分组，得到模型训练集与模型测试集；其中，所述模型测试集包括每个基分类器在交叉验证后得到的预测值；

S22、基于所述模型训练集对预设的深度神经网络模型进行训练，得到第一深度神经网络模型。

本实施例的数据集可以通过从网站下载或从网页抓取或获得其他设备采集的数据等方式获得原始数据，原始数据可以是任何类型的数据，将每个基分类器在交叉验证后得到的预测值添加至所述数据集中，得到目标数据集，可以将目标数据集按照预设比例分为模型训练集和模型测试集，例如，随机将目标数据集的70％作为模型训练集，30％作为模型测试集，基于模型训练集对预设的深度神经网络模型进行训练，在深度神经网络模型训练次数达到预设次数时，则表明深度神经网络模型训练至收敛，将训练至收敛的深度神经网络模型作为第一深度神经网络模型。

在一实施例中，参考图3所示，所述计算训练至收敛的深度神经网络模型在预设评价指标的指标值，在所述指标值满足要求后，得到训练好的分类模型，可具体包括以下步骤S31-S33：

S31、利用所述模型测试集对所述第一深度神经网络模型进行预测，得到第一预测值；其中，所述指标值包括第一预测值；

S32、计算所述第一预测值与每个基分类器在交叉验证后得到的预测值的误差，得到标准误差；

S33、在所述标准误差小于预设阈值时，得到训练好的分类模型。

在训练得到第一深度神经网络模型后，利用模型测试集对第一深度神经网络模型进行预测，得到第一预测值，如预测是否会发生骨折，将第一预测值与每个基分类器在交叉验证后得到的预测值进行比对，计算第一预测值与每个基分类器在交叉验证后得到的预测值的误差，得到标准误差，在标准误差小于预设阈值时，将该第一深度神经网络模型作为训练好的分类模型。

在一实施例中，参考图4所示，所述计算所述第一预测值与每个基分类器在交叉验证后得到的预测值的误差，得到标准误差，可具体包括以下步骤S41-S42：

S41、计算所述第一预测值分别与每个基分类器在交叉验证后得到的预测值的误差，得到多个第一误差；

S42、根据标准差计算公式计算得到所述多个第一误差对应的标准误差。

在本实施例中，标准误差是指在抽样试验(或重复的等精度测量)中，常用到样本平均数的标准差，本实施例计算第一预测值分别与每个基分类器在交叉验证后得到的预测值的误差，得到多个第一误差，并计算多个第一误差的平均误差，根据平均误差及标准差计算公式计算得到多个第一误差对应的标准误差。

在一实施例中，参考图5所示，所述将每个基分类器在交叉验证后得到的预测值添加至所述数据集中，得到目标数据集，可具体包括以下步骤S51-S52：

S51、计算每个基分类器在交叉验证后得到的预测值的平均值，得到平均预测值；

S52、将所述平均预测值添加至所述数据集中，得到目标数据集。

本实施例可将每轮交叉验证得到的预测值作为参考预测值，添加至数据集中作为下一层深度神经网络模型的训练集部分，以在深度神经网络模型训练完成后，基于每轮交叉验证得到的预测值计算该深度神经网络模型的预测误差，以提高深度神经网络模型的预测精度；此外，每轮交叉验证完成后，对原数据集的测试集进行预测，得到的每轮预测值相加取平均后作为参考预测值，添加至数据集中作为下一层深度神经网络模型的训练集，得到目标数据集。

在一实施例中，参考图6所示，所述利用所述数据集对所述多个基分类器进行K折交叉验证，获取每个基分类器在交叉验证后得到的预测值，可具体包括以下步骤S61-S64：

S61、将所述数据集划分为K个子数据集；其中，所述K为所述基分类器的数量；

S62、在每轮交叉验证时，从所述多个基分类器中不重复地选取一个基分类器作为目标基分类器；

S63、从所述K个子数据集中不重复地选取一个子数据集作为子测试集，将剩余子数据集作为子训练集；

S64、利用所述子训练集对所述目标基分类器进行训练，利用所述子测试集对训练后的所述目标基分类器进行预测，得到所述目标基分类器的预测值。

本实施例将数据集分成K组(一般是均分)，得到K个子数据集，将每个子数据集分别做一次测试集，其余的K-1组子数据集作为训练集，在每轮交叉验证时，从多个基分类器中不重复地选取一个基分类器作为目标基分类器，利用子训练集对目标基分类器进行训练，利用子测试集对训练后的目标基分类器进行预测，得到每个目标基分类器的预测值。K一般大于等于2，实际操作时一般从3开始取，只有在数据集的数据量较小的时候才会尝试取2。

例如，将数据集分成十份，轮流将其中9份作为子训练集，1份作为测试集，进行试验，每次试验都会得出相应的预测值。10次的结果的正确率的平均值作为对算法精度的估计，一般还需要进行多次10折交叉验证(例如10次10折交叉验证)，再求其均值，作为对算法准确性的估计。

在一实施例中，参考图7所示，所述预设的深度神经网络模型有多个，所述计算训练至收敛的深度神经网络模型在预设评价指标的指标值，在确定所述指标值满足要求后，得到训练好的分类模型，可具体包括以下步骤S71-S72：

S71、计算各个训练至收敛的深度神经网络模型在预设评价指标的指标值；

S72、从所述指标值满足要求的所有深度神经网络模型中，选择指标值最佳的深度神经网络模型作为训练好的分类模型。

本实施例可预设多个深度神经网络模型，各深度神经网络模型的卷积核大小、通道数、全连接层维数、Dropout概率值等参数可以不同，针对每个模型均进行训练，得到训练至收敛的各深度神经网络模型，从指标值符合预设指标条件的各深度神经网络模型中，选择指标值最佳的深度神经网络模型作为分类模型，例如，采用误差值进行深度神经网络模型的评价，选取测试集中误差值最小为分类模型。具体选取模型的原则可以为：先从训练至收敛的各深度神经网络模型中选测试集误差值小的模型，再从选出的模型中选训练集与测试集的误差值之差小的模型作为训练好的分类模型。

若深度神经网络模型的指标值不满足要求，则可以在每次训练至收敛后，重新调整模型的参数并重新训练，进而得到各参数下训练至收敛的深度神经网络模型，并从中选择指标值最佳的深度神经网络模型作为训练好的分类模型。

在一实施例中，参考图8所示，所述计算训练至收敛的深度神经网络模型在预设评价指标的指标值之后，还可包括以下步骤S81-S82：

S81、在所述指标值不满足要求时，调整所述深度神经网络模型的参数；

S82、利用所述目标数据集对调整参数后的所述深度神经网络模型进行重新训练，直至所述指标值满足要求时，得到训练好的分类模型。

在训练至收敛的深度神经网络模型的指标值不满足要求时，本实施例可以采用自适应时刻估计方法或随机梯度下降算法等优化算法调整深度神经网络模型的参数，进而重新对调整参数后的深度神经网络模型进行训练，直至深度神经网络模型的指标值满足要求时，将指标值满足要求的深度神经网络模型作为训练好的分类模型。

此外，数据集及训练好的分类模型能够存储于区块链中，以使服务器需要使用是对区块链进行广播，并调用训练好的分类模型。该区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。

参照图9，本发明实施例中还提供一种分类模型的构建装置，所述装置包括：

获取模块11，用于获取数据集及多个基分类器；

交叉验证模块12，用于利用所述数据集对所述多个基分类器进行K折交叉验证，获取每个基分类器在交叉验证后得到的预测值；其中，所述K为大于2的整数；

添加模块13，用于将每个基分类器在交叉验证后得到的预测值添加至所述数据集中，得到目标数据集；

训练模块14，用于利用所述目标数据集对预设的深度神经网络模型进行训练；

计算模块15，用于计算训练至收敛的深度神经网络模型在预设评价指标的指标值，在所述指标值满足要求后，得到训练好的分类模型。

数据集包括临床数据集，可以是图片、文本或音视频形式，用于对基分类器及深度神经网络模型进行训练，该数据集包括多份临床数据，且临床数据的数量需大于一定数量，以提高基分类器及深度神经网络模型的训练效果。其中，临床数据可包括以下至少之一或其组合：摘要信息、就诊信息、过敏/不良反应与事件、诊断结果、医嘱、检查内容、检验内容、手术信息、治疗信息、病历文书、护理记录、体检信息、随访信息。

本实施例的服务器可与用户的可穿戴设备建立通信连接，实时采集用户的临床数据；此外，该临床数据还可以是用户在看病过程中人工检测或机器检测产生的数据。

该基分类器包括决策树，决策树可以较为方便地将样本的权重整合到训练过程中，而不需要使用过采样的方法来调整样本权重；决策树的表达能力和泛化能力，可以通过调节树的层数来做折中；数据样本的扰动对于决策树的影响较大，因此不同子样本集合生成的决策树基分类器随机性较大，这样的“不稳定学习器”更适合作为基分类器。此外，在决策树节点分裂的时候，随机地选择一个特征子集，从中找出最优分裂属性，很好地引入了随机性。除了决策树外，神经网络模型也适合作为基分类器，主要由于神经网络模型也比较“不稳定”，而且还可以通过调整神经元数量、连接方式、网络层数、初始权值等方式引入随机性。

交叉验证主要用于建模应用中，例如PCR、PLS回归建模中。在给定的建模样本中，拿出大部分样本进行建模型，留小部分样本用刚建立的模型进行预报，并求这小部分样本的预报误差，记录它们的平方加和，这个过程一直进行，直到所有的样本都被预报了一次而且仅被预报一次，把每个样本的预报误差平方加和，称为PRESS(predicted Error Sum ofSquares)。

具体的，本实施例将数据集等分为K份子数据集，K与基分类器的数量相同，每次取出其中一份作为为测试集，其余K-1份为训练集，每次抽取其中一个基分类器，采用训练集训练该基分类器，在训练过程中，可以采网格搜索方法对基分类器进行调参，当基分类器在测试集的误差最小或小于预设阈值后，可以将此时的基分类器作为本折交叉验证的训练结果，在基分类器训练好后，可以用训练好的基分类器分别测试原始的测试集和本折交叉验证中的测试集，得到本折交叉验证中测试集的预测值和测试集的预测值，在K折交叉验证后，训练集的每个子集分别在某折交叉验证作为测试集，因此，所有测试集的预测值就构成了整个训练集的预测值。K可以根据需求事先设定，例如可以为5/10/20等等。

例如，K取10，则将数据集等分为10份子集，每折交叉验证依次取出其中一份为测试集，其余9份为训练集，10折交叉验证训练完后，就可以得到10份测试集的预测值，就构成整个训练集的预测值；每折交叉验证训练好基分类器后，都可以用基分类器来测试整个测试集，得到测试集的一份预测值，最后可以得到测试集的10份预测值，并将每轮交叉验证得到的预测值作为参考预测值，添加至数据集中作为下一层深度神经网络模型的训练集部分，以在深度神经网络模型训练完成后，基于每轮交叉验证得到的预测值计算该深度神经网络模型的预测误差，以提高深度神经网络模型的预测精度；此外，每轮交叉验证完成后，对原数据集的测试集进行预测，得到的每轮预测值相加取平均后作为参考预测值，添加至数据集中作为下一层深度神经网络模型的训练集。

深度神经网络模型可以为卷积神经网络模型(CNN)、递归神经网络模型、长短期记忆模型(LSTM)等等，优选地，可以为卷积神经网络模型，可以包括输入层、用于将单个数值转换为列向量的隐含层、用于将隐含层转换所得的列向量转换为矩阵的转换层、卷积层、池化层、全连接层和输出层。

卷积神经网络各个网络层都是由神经元组成，每个神经元可以包含权重和偏置；它可以接收上一层输入，将所接收的输入与权重相乘再加上偏置作为输出，另外，还可以再经过一个非线性函数(如ReLu激活函数)输出。

本实施例利用目标数据集对预设的深度神经网络模型进行训练，在深度神经网络模型训练次数达到预设次数时，则表明深度神经网络模型训练至收敛，此时计算训练至收敛的深度神经网络模型在预设评价指标的指标值，在所述指标值满足要求后，得到训练好的分类模型。其中，指标值可以包括训练集的RMSE(Root Mean Squard Error，均方根误差)和测试集的RMSE，或者，在其他实施方式中，也可以为训练集和/或测试集的平均绝对误差(MAE)、均方误差(MSE)等等。

具体的，本实施例可将数据集进行划分，得到多个子数据集，利用多个子数据集对每个基分类器均进行5折交叉验证，每一次交叉验证包含两个过程：基于多个子数据集中的训练集训练基分类器，基于多个子数据集中的一份测试集预测完成训练后的基分类器，得到预测值，将每轮交叉验证得到的预测值作为下一层深度神经网络模型的训练集部分。

例如，设基学习算法为L

C

其中，S表示骨折患者的数据集，且S中的样本为S

S

其中，X

本实施例使用交叉验证方式，将数据集S分割为10份。此时设

其中，S

其中，

如上所述，可以理解地，本发明中提出的所述分类模型的构建装置的各组成部分可以实现如上所述分类模型的构建方法任一项的功能，具体结构不再赘述。

参照图10，本发明实施例中还提供一种计算机设备，其内部结构可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口和数据库。其中，该计算机设计的处理器用于提供计算和控制能力。该计算机设备的存储器包括计算机可读存储介质、内存储器。该计算机可读存储介质存储有操作系统、计算机程序和数据库。该内存器为计算机可读存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储所述分类模型的构建方法的相关数据。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种分类模型的构建方法。

上述处理器执行上述的分类模型的构建方法，包括：

获取数据集及多个基分类器；

利用所述数据集对所述多个基分类器进行K折交叉验证，获取每个基分类器在交叉验证后得到的预测值；其中，所述K为大于2的整数；

将每个基分类器在交叉验证后得到的预测值添加至所述数据集中，得到目标数据集；

利用所述目标数据集对预设的深度神经网络模型进行训练；

计算训练至收敛的深度神经网络模型在预设评价指标的指标值，在所述指标值满足要求后，得到训练好的分类模型。

本发明一实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现一种分类模型的构建方法，包括步骤：

获取数据集及多个基分类器；

利用所述数据集对所述多个基分类器进行K折交叉验证，获取每个基分类器在交叉验证后得到的预测值；其中，所述K为大于2的整数；

将每个基分类器在交叉验证后得到的预测值添加至所述数据集中，得到目标数据集；

利用所述目标数据集对预设的深度神经网络模型进行训练；

计算训练至收敛的深度神经网络模型在预设评价指标的指标值，在所述指标值满足要求后，得到训练好的分类模型。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的和实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可以包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双速据率SDRAM(SSRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

综上所述，本发明的最大有益效果在于：

本发明所提供的一种分类模型的构建方法、装置、计算机设备及存储介质，获取数据集及多个基分类器，利用数据集对多个基分类器进行K折交叉验证，获取每个基分类器在交叉验证后得到的预测值，将每个基分类器在交叉验证后得到的预测值添加至数据集中，得到目标数据集，利用目标数据集对预设的深度神经网络模型进行训练，计算训练至收敛的深度神经网络模型在预设评价指标的指标值，在指标值满足要求后，得到训练好的分类模型，从而利用数据集交叉验证多个基分类器，提高预测值的准确性，并将每个基分类器在交叉验证后得到的预测值作为标注数据添加至数据集中，得到目标数据集，利用目标数据集对预设的深度神经网络模型进行训练，实现自动标注，能够准确地训练得到高精度的分类模型。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。

以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。