一种脊柱椎体检测方法、装置及电子设备

技术领域

本发明涉及医疗图像技术领域，具体而言，涉及一种脊柱椎体检测方法、装置、电子设备及计算机可读存储介质。

背景技术

目前存在的脊柱椎体检测的专利及文献中，用于脊柱椎体检测的深度学习模型仅仅将脊柱椎体的检测视作通常的检测任务，忽视脊柱邻近椎体间具有的强烈相互约束关系，训练得到的深度学习模型无法更好地契合脊柱椎体的检测任务，致使检测结果中常出现相邻椎体之间距离不合理，大小变化不合理等情况，检测效果比较差。

发明内容

为解决现有存在的技术问题，本发明实施例提供一种脊柱椎体检测方法、装置、电子设备及计算机可读存储介质。

第一方面，本发明实施例提供了一种脊柱椎体检测方法，包括：获取目标图片，并将所述目标图片输入至检测模型；所述目标图片为包含脊柱椎体及脊柱周围的骨骼的图片；所述检测模型包括主检测模块和副检测模块；所述主检测模块能够检测脊柱椎体，所述副检测模块能够检测脊柱周围的骨骼；基于所述主检测模块对所述目标图片中的脊柱椎体进行初步检测，得到所述目标图片的主检测结果；基于所述副检测模块对所述目标图片中脊柱周围的骨骼进行检测，得到所述目标图片的副检测结果；采用所述副检测结果对所述主检测结果进行匹配，输出所述目标图片经处理后得到的标注图片；所述标注图片为已完成脊柱椎体检测的图片。

可选地，在所述基于所述主检测模块对所述目标图片中的脊柱椎体进行初步检测，得到所述目标图片的主检测结果之前，该方法还包括：获取正样本，获取负样本；所述正样本与所述负样本是用于训练得到所述检测模型中的主检测模块的训练样本；将所述正样本与所述负样本输入至预设网络模型进行训练，生成能够对所述目标图片中的脊柱椎体进行初步检测的主检测模块。

可选地，预设网络模型为DINO端到端目标检测模型。

可选地，获取正样本，包括：输入样本图片，提取所述样本图片的样本特征图；所述样本图片为已标注出脊柱椎体坐标的图片；从所述样本特征图中选取多个候选框，且多个所述候选框中超过半数的候选框包含脊柱椎体；令随机初始化得到的多个查询向量与所述样本特征图进行特征融合，并将所述候选框作为约束，得到多个约束后的查询向量，使多个约束后的查询向量从键向量和数值向量中匹配并抽取信息；从已完成信息匹配与抽取的多个约束后的查询向量中，选取前N个约束后的查询向量回归得到N个真值，所述真值包含脊柱椎体；N＝24或者N＝27；获取多个包含脊柱椎体的噪声框，将N个所述真值与多个所述包含脊柱椎体的噪声框作为所述正样本。

可选地，获取负样本，包括：获取多个不包含脊柱椎体的噪声框，将多个所述不包含脊柱椎体的噪声框作为训练所述预设网络模型的负样本。

可选地，获取多个不包含脊柱椎体的噪声框，包括：对多个包含脊柱椎体的真实框添加噪声，得到多个噪声框；将偏离所述真实框大于预设阈值的噪声框作为所述不包含脊柱椎体的噪声框。

可选地，提取所述样本图片的样本特征图，包括：采用特征提取器从所述样本图片中提取初始特征图；将所述初始特征图展平得到H*W个C维标记；将所述标记输入变形器网络的编码器中进行特征交互，得到所述样本图片的样本特征图；其中，H表示所述样本图片高度，W表示所述样本图片宽度，C表示所述样本图片通道数。

可选地，从所述样本特征图中选取多个候选框，包括：将所述标记输入线性分类层，并对所述标记进行二分类，从所述二分类的结果中选出得分高于预设得分的多个标记；提取所述得分高于预设得分的多个标记的位置，得到多个所述候选框。

可选地，副检测模块是DINO端到端目标检测模型。

可选地，对所述目标图片中脊柱周围的骨骼进行检测，包括：对所述目标图片中脊柱周围由上至下排列的第一块肋骨、第十二块肋骨以及骶骨进行检测。

可选地，采用所述副检测结果对所述主检测结果进行匹配，输出所述目标图片经处理后得到的标注图片，包括：将所述副检测结果中的第一块肋骨与所述主检测结果中的第一块胸椎进行匹配；将所述副检测结果中的第十二块肋骨与所述主检测结果中的第十二块胸椎进行匹配；将所述副检测结果中的骶骨与所述主检测结果中的第五块腰椎进行匹配；令经所述副检测结果与所述主检测结果匹配处理后的图片作为所述标注图片输出。

可选地，在所述输出所述目标图片经处理后得到的标注图片之前，该方法还包括：对所述主检测结果中的脊柱椎体按竖直方向由上至下依次进行命名，得到所述脊柱椎体的初步命名结果；在所述副检测结果中的第一块肋骨与所述初步命名结果中的第一块胸椎匹配的情况下，确定所述脊柱椎体的最终命名结果中包含7块颈椎；在所述副检测结果中的第十二块肋骨与所述初步命名结果中的第十二块胸椎匹配的情况下，确定所述脊柱椎体的最终命名结果中包含12块胸椎；在所述副检测结果中的骶骨与所述初步命名结果中的第五块腰椎匹配的情况下，确定所述脊柱椎体的最终命名结果中包含5块腰椎；将标注有最终命名结果的图片作为所述标注图片。

第二方面，本发明实施例还提供了一种脊柱椎体检测装置，包括：获取模块、脊柱检测模块、周边检测模块和匹配模块；所述获取模块用于获取目标图片，并将所述目标图片输入至检测模型；所述目标图片为包含脊柱椎体及脊柱周围的骨骼的图片；所述检测模型包括主检测模块和副检测模块；所述主检测模块能够检测脊柱椎体，所述副检测模块能够检测脊柱周围的骨骼；所述脊柱检测模块用于基于所述主检测模块对所述目标图片中的脊柱椎体进行初步检测，得到所述目标图片的主检测结果；所述周边检测模块用于基于所述副检测模块对所述目标图片中脊柱周围的骨骼进行检测，得到所述目标图片的副检测结果；所述匹配模块用于采用所述副检测结果对所述主检测结果进行匹配，输出所述目标图片经处理后得到的标注图片；所述标注图片为已完成脊柱椎体检测的图片。

第三方面，本发明实施例提供了一种电子设备，包括总线、收发器、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述收发器、所述存储器和所述处理器通过所述总线相连，所述计算机程序被所述处理器执行时实现上述任意一项所述的脊柱椎体检测方法中的步骤。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的脊柱椎体检测方法中的步骤。

本发明实施例提供的脊柱椎体检测方法、装置、电子设备及计算机可读存储介质，使用两个不同的检测模块分别针对两个不同的检测对象，即使用主检测模块检测脊柱椎体，使用副检测模块检测脊柱周围的骨骼，从而可以利用上相邻椎体间关系以及脊柱与周围骨骼之间的关系，以副检测结果对主检测结果进行辅助校验的方式，得到并输出检测结果更为准确的标注图片。该方法可以避免检测结果中出现相邻椎体之间距离不合理、大小变化不合理等情况，提高最终输出结果的准确度，对于脊柱椎体的检测效果较好。

附图说明

为了更清楚地说明本发明实施例或背景技术中的技术方案，下面将对本发明实施例或背景技术中所需要使用的附图进行说明。

图1示出了本发明实施例所提供的一种脊柱椎体检测方法的流程图；

图2示出了本发明实施例所提供的脊柱椎体检测方法的整体框架示意图；

图3示出了本发明实施例所提供的脊柱椎体检测方法中，训练主检测模块的部分示意图；

图4示出了本发明实施例所提供的脊柱椎体检测方法中，所需检测的脊柱周围的骨骼的示意图；

图5示出了本发明实施例所提供的一种脊柱椎体检测装置的结构示意图；

图6示出了本发明实施例所提供的一种用于执行脊柱椎体检测方法的电子设备的结构示意图。

具体实施方式

在对用于进行脊柱椎体检测的深度学习模型进行改进的过程中，发明人发现，脊柱中邻近椎体间具有强烈的相互约束，且脊柱与其周围的骨骼也具有一定的关系，而目前并没有涉及专门的算法对椎体间的关系进行建模；发明人认为若对椎体间约束信息的建模，将会使用于脊柱椎体检测的深度学习模型更有针对性，更契合脊柱椎体的检测任务。

下面结合本发明实施例中的附图对本发明实施例进行描述。

图1示出了本发明实施例所提供的一种脊柱椎体检测方法的流程图。如图1所示，该方法包括以下步骤101-104。

步骤101：获取目标图片，并将目标图片输入至检测模型；目标图片为包含脊柱椎体及脊柱周围的骨骼的图片；检测模型包括主检测模块和副检测模块；主检测模块能够检测脊柱椎体，副检测模块能够检测脊柱周围的骨骼。

在本发明实施例中，将需要进行脊柱椎体检测的图片作为目标图片，该目标图片中不仅包含有待检测的脊柱椎体，还包含有该脊柱椎体周围的骨骼；其中，脊柱椎体周围的骨骼表示与该脊柱椎体相互连接共同构成人体躯干的其他骨骼，例如，肋骨、骶骨等。例如，该目标图片可以是病人的X光片，进一步地，可以是冠状位X光片(如图2左侧所示)，或者，也可以是矢状位X光片，本发明实施例对此不做限定。

在需要对目标图片中的脊柱椎体进行检测的情况下，将该目标图片输入至具有两个检测模块的检测模型中。具体地，两个检测模块分别是主检测模块和副检测模块，主检测模块所针对的检测对象为脊柱椎体，副检测模块所针对的检测对象为脊柱周围的骨骼。

步骤102：基于主检测模块对目标图片中的脊柱椎体进行初步检测，得到目标图片的主检测结果。

步骤103：基于副检测模块对目标图片中脊柱周围的骨骼进行检测，得到目标图片的副检测结果。

在目标图片输入至检测模型之后，该目标图片将进入主检测模块进行初步检测，初步检测是针对目标图片中所包含的脊柱椎体进行的检测，将初步检测得到的结果称为主检测结果；相应地，在目标图片输入至检测模型之后，该目标图片还将进入副检测模块进行检测，在副检测模块对目标图片中所包含的脊柱周围的骨骼进行检测之后，还将得到副检测结果。其中，本发明实施例对目标图片进入主检测模块或副检测模块的时间先后并无具体限定。

步骤104：采用副检测结果对主检测结果进行匹配，输出目标图片经处理后得到的标注图片；标注图片为已完成脊柱椎体检测的图片。

本发明实施例中，参见图2所示，利用上述步骤103所确定的副检测结果，对上述步骤102所确定的主检测结果进行匹配，例如，以副检测结果作为约束，实现对主检测结果的辅助检测与校对，最终输出已完成脊柱椎体检测的图片，即标注图片；其中，该标注图片可以理解为标注出各个椎体位置坐标的图片，或者，该标注图片也可以是直接将各个椎体以四边形框选显示的图片，本发明实施例对此不做限定。

需要说明的是，若通过副检测结果对主检测结果进行匹配后发现二者可以实现完全匹配，如副检测结果中的骨骼(脊柱周围的骨骼)的位置坐标与主检测结果中相应椎体的位置坐标一致，则证明两个检测模块分别得到的检测结果完全匹配，进而可以确定由主检测模块对目标图片进行初步检测所得到的主检测结果实际上与该检测模型最终输出的标注图片相同；反之，若通过副检测结果对主检测结果进行匹配后发现二者不完全匹配，如副检测结果中的骨骼(脊柱周围的骨骼)的位置坐标与主检测结果中相应椎体的位置坐标不完全一致，则证明两个检测模块分别得到的检测结果不完全匹配，基于副检测结果对主检测结果进行校验与调整，最终输出结果更为准确的标注图片。

本发明实施例所提供的脊柱椎体检测方法，使用两个不同的检测模块分别针对两个不同的检测对象进行检测，即使用主检测模块检测脊柱椎体，使用副检测模块检测脊柱周围的骨骼，从而可以利用相邻椎体间关系以及脊柱与周围骨骼之间的关系，以副检测结果对主检测结果进行辅助校验的方式，得到并输出检测结果更为准确的标注图片。该方法可以避免检测结果中出现相邻椎体之间距离不合理、大小变化不合理等情况，提高最终输出结果的准确度，对于脊柱椎体的检测效果较好。

可选地，在上述步骤102“基于主检测模块对目标图片中的脊柱椎体进行初步检测，得到目标图片的主检测结果”之前，该方法还包括以下步骤A1-A2。

步骤A1：获取正样本，获取负样本；正样本与负样本是用于训练得到检测模型中的主检测模块的训练样本。

步骤A2：将正样本与负样本输入至预设网络模型进行训练，生成能够对目标图片中的脊柱椎体进行初步检测的主检测模块。

为训练能够检测脊柱椎体的主检测模块，可以分别获取正样本和负样本作为训练样本，其中，正样本是包含脊柱椎体的样本，负样本是不包含脊柱椎体的样本，正样本的数量与负样本的数量可以相同；在得到正样本与负样本的情况下，将正样本与负样本输入至预设的网络模型(即预设网络模型)中进行训练，进而生成能够检测脊柱椎体的主检测模块。

可选地，预设网络模型为DINO端到端目标检测模型。

其中，DINO是DETR with Improved deNoising anchOr boxes这几个单词的缩写，意思是提高降噪锚框的DETR(DEtection Transformer，探测变形器)。可以理解，DINO是一种端到端的目标检测模型，通过在降噪训练上使用对比方法、锚框初始化的混合查询选择方法、盒子预测的前看两次方法，提高了以前基于DETR的模型的性能和效率。

可选地，上述步骤A1中“获取正样本”，可以包括以下步骤A11-A15。

步骤A11：输入样本图片，提取样本图片的样本特征图；样本图片为已标注出脊柱椎体坐标的图片。

本发明实施例将已经标注出脊柱椎体位置坐标的图片作为样本图片，得到样本图片的方式可以是人为预先进行手动标注，得到该样本图片。对样本图片进行特征提取，得到该样本图片对应的样本特征图。可选地，该步骤A11中“提取样本图片的样本特征图”可以包括以下步骤A111-A113。

步骤A111：采用特征提取器从样本图片中提取初始特征图。

本发明实施中，可以利用特征提取器对获取到的样本图片进行特征提取，即得到该样本图片对应的初始特征图；例如，该特征提取器可以是任意的常见网络，如CNN(Convolutional Neural Network，卷积神经网络)中的ResNet，或者transformer(变形器网络)中的Swin transformer。

步骤A112：将初始特征图展平得到H*W个C维标记。

步骤A113：将标记输入变形器网络的编码器中进行特征交互，得到样本图片的样本特征图；其中，H表示初始特征图的高度，W表示初始特征图的宽度，C表示初始特征图的通道数。

将上述步骤A112所提取的初始特征图进行展平，得到H*W个C维标记(token)，并将H*W个C维标记(token)输入至变形器网络(如transformer)的编码器(encoder)中进行进一步的特征交互，如特征的融合；进而可以得到样本图片在进行特征交互后对应的样本特征图。

步骤A12：从样本特征图中选取多个候选框，且多个候选框中超过半数的候选框包含脊柱椎体。

本发明实施例可以从样本特征图中选取多个候选框，这些候选框中有超过二分之一的候选框中是包含脊柱椎体的，例如，可以选取300个候选框，在这300个候选框中有超过150个候选框是包含脊柱椎体的候选框，例如，可以有280个候选框包含脊柱椎体；换句话说，从样本特征图中选取的多个候选框中绝大多数是包含有脊柱椎体的候选框，选取的这些候选框极大概率含有本发明实施例想要检测的脊柱椎体。

可选地，步骤A12中“从样本特征图中选取多个候选框”，可以包括以下步骤A121-A122。

步骤A121：将标记输入线性分类层，并对标记进行二分类，从二分类的结果中选出得分高于预设得分的多个标记。

本发明实施例可以将上述步骤A112中由变形器网络(如transformer)的编码器(encoder)得到的H*W个C维标记(token)，输入该变形器网络(如transformer)的线性分类层，对每个标记(token)做二分类的处理，其中，二分类用于判断标记是否包含脊柱椎体。基于二分类的结果，并根据经验可以设定一个预设得分，得分高于该预设得分的标记即表示该标记包含脊柱椎体的可能性越大，例如，得分是0～1之间的值，得分越接近1，该标记中包括脊柱椎体的可能性就越大；因此，本发明实施例可以选出二分类结果中得分高于预设得分的全部标记，或者，也可以直接选取二分类结果中得分最高的多个标记。

例如，可以从二分类结果中选取得分高于预设得分(如0.8)的300个标记。需要说明的是，通常情况下所选取标记的个数越多，对用于训练得到的主检测模块的预设网络模型的训练效果就越好，但是，在选取标记的个数大于300之后，若再增加标记的选取，如选取超过300个，则容易出现边际效应，在收益不大的情况下反倒增加了训练过程中的计算量，导致训练效果变差，因此本发明实施例对标记的选取通常小于300个。

步骤A122：提取得分高于预设得分的多个标记的位置，得到多个候选框。

在基于上述步骤A122得到得分高于预设得分的多个标记之后，可以采用坐标映射的方式，从得分高于预设得分的多个标记中提取出这些标记在样本图片中的所在位置，本发明实施例将标记在样本图片中的所在位置坐标作为候选框，进而得到多个候选框。

本发明实施例对标记做二分类处理，为的是可以尽可能选取包含脊柱椎体的标记，进而得到极大概率包括脊柱椎体的候选框。

本发明实施例将上述步骤A12所选取出的多个候选框作为先验，可以确定多个候选框中超过半数的候选框是包含脊柱椎体的候选框，但候选框只是一种四维的位置坐标，如(x,y,h,w)，其中x表示候选框中心点的横坐标，y表示候选框中心点的纵坐标，h表示候选框的高，w表示候选框的宽；这样的四维位置坐标无法直接送进变形器网络(transformer)的解码器(decoder)，因此，本发明实施例需要对选取的多个候选框配置上语义嵌入(embedding)，得到可以输入变形器网络(transformer)的解码器(decoder)的约束后的查询向量，如query，表示为能够计算相似度得分的向量；该过程具体可以参见下述步骤A13。

步骤A13：令随机初始化得到的多个查询向量与样本特征图进行特征融合，并将候选框作为约束，得到多个约束后的查询向量，使多个约束后的查询向量从键向量和数值向量中匹配并抽取信息。

随机初始化生成多个查询向量(query)，查询向量的数量与基于上述步骤A12所选出的多个候选框的数量一致，如图3所示，用随机初始化得到的多个查询向量对样本特征图进行特征融合，在此过程中，候选框(图3中以anchor表示)则作为一种约束，如attention(注意力机制)，换句话说，约束就是令查询向量只在候选框的范围内抽取信息，且一个候选框用于约束一个随机生成的查询向量；通过多个候选框对查询向量与样本特征图的特征融合过程进行加权限制，得到可以输入至变形器网络(transformer)的解码器(decoder)的加以约束的查询向量。此后，在变形器网络(transformer)的解码器(decoder)中，利用输入的多个约束后的查询向量从键向量(kay，用于与查询向量计算相似度得分的向量)以及数值向量(value，用于加权求和以得到注意力值的向量)中进行信息的匹配与抽取。

本发明实施例采用候选框作为约束(attention)的作用是：使每一块椎体都能看到其它椎体的信息，并且根据这些信息调整候选框的位置的位置；该方法最大的好处便是有的椎体因为图片模糊等问题很难检测出，可以根据邻近椎体的信息弥补图片质量的问题。

步骤A14：从已完成信息匹配与抽取的多个约束后的查询向量中，选取前N个约束后的查询向量回归得到N个真值，真值包含脊柱椎体；N＝24或者N＝27。

由于本发明实施例所提供的主检测模块是一种检测目标(如脊柱椎体)的数量固定的网络，例如，主检测模块用于检测24块脊柱椎体；因此，在完成信息匹配与抽取之后，本发明实施例可以从多个完成信息匹配与抽取的约束后的查询向量中选取与实际所要输出的检测目标数量相同的查询向量，将选取出的N个(固定数目)查询向量输入至分类线性层和回归线性层(如图3所示的FC)，令预设网络模型强制学习出N个(固定数目)的检测结果，得到N个真值，可以理解，N个真值表示N个包含脊柱椎体的检测结果；具体地，可以通过loss(损失函数)约束进行学习。

例如，将300个完成信息匹配与抽取的查询向量中的前24个查询向量选取出来，即N＝24，将这24个查询向量输入至分类线性层和回归线性层，得到24个椎体的检测结果，即24个真值。或者，本发明实施例中也可以令N＝27，即对应24块椎体与3块脊柱周围的骨骼构成的27块骨骼，也就是说，本发明实施例训练得到的主检测模块除了可以对脊柱椎体进行初步检测以外，还可以对脊柱周围的骨骼进行初步检测，得到既包含24个脊柱椎体还包含3个脊柱周围骨骼的主检测结果，为后续副检测结果与主检测结果进行匹配提供更多的信息，进一步提高标注图片的准确性。

步骤A15：获取多个包含脊柱椎体的噪声框，将N个真值与多个包含脊柱椎体的噪声框作为正样本。

其中，若只采用N个真值作为训练的正样本，对于主检测模块的训练是远远不够的，为了丰富正样本，本发明实施例可以获取多个包含脊柱椎体的噪声框，将多个包含脊柱椎体的噪声框与N个真值共同作为输入预设网络模型进行训练的正样本。其中，获取包含脊柱椎体的噪声框的方法可以直接采用人为标注的方式获取，此处不做赘述。

本发明实施例所提供的脊柱椎体检测方法，通过结合实际检测过程中所检测的目标的具体数量，如本发明实施例所要检测的脊柱椎体的数量，对用于回归的查询向量的数目进行限定，而不是直接将完成信息匹配与抽取的所有查询向量全部输入至分类线性层和回归线性层进行回归，避免了因所回归得到的结果中掺杂非真值所导致的结果数目不一定，过度依赖网络能力进行训练的缺陷。此外，基于上述步骤训练得到的主检测模块相比于传统用于目标检测的分割网络而言，在实现上不需要改变网络结构，例如，传统的分割网络需要将最后一层的卷积核的个数设置为固定数目进行训练，这将限制网络的训练；而本发明实施例并不需要对网络结构进行改进，整个过程比较简单。

可选地，上述步骤A1中“获取负样本”可以包括：获取多个不包含脊柱椎体的噪声框，将多个不包含脊柱椎体的噪声框作为训练预设网络模型的负样本。

其中，可以通过在训练过程中引入去噪(DeNoising)任务，获取得到多个不包含脊柱椎体的噪声框，将这些不包含脊柱椎体的噪声框作为负样本；或者，也可以直接采用人为标注的方式获取到多个不包含脊柱椎体的噪声框，将这些不包含脊柱椎体的噪声框作为负样本，本发明实施例对此不做限定。

可选地，上述步骤“获取多个不包含脊柱椎体的噪声框”可以包括步骤B1-B2。

步骤B1：对多个包含脊柱椎体的真实框添加噪声，得到多个噪声框。

其中，可以通过手动标注的方式在具有脊柱椎体的图片中标注出各个椎体的位置，得到真实框；例如，选用四边形框选出每个椎体，将框选得到的四边形作为真实框。对多个真实框添加噪声，例如，随机缩放或移动真实框等，得到多个噪声框，其中，噪声框表示与真实框存在一定偏差的框。需要说明的是，为真实框添加噪声的过程可以理解为是为了在训练过程中引入去噪(DeNoising)任务而做的准备。

步骤B2：将偏离真实框大于预设阈值的噪声框作为不包含脊柱椎体的噪声框。

本发明实施例中，可以通过比较噪声框与真实框之间的偏差程度，确定该噪声框是否满足本发明实施例所定义的包含脊柱椎体的噪声框的条件，或者不包含脊柱椎体的噪声框的条件。具体地，可以预先设定一个阈值(即预设阈值)，该预设阈值用于表示噪声框与真实框之间的一个偏差程度，以该预设阈值为临界点，若噪声框与真实框之间的偏差程度大于该临界点(预设阈值)时，可以认为该噪声框满足不包含脊柱椎体的噪声框的条件，将该噪声框作为不包含脊柱椎体的噪声框。

相反地，若噪声框与真实框之间的偏差程度小于该临界点(预设阈值)时，则可以认为该噪声框满足包含脊柱椎体的噪声框的条件，将该噪声框作为包含脊柱椎体的噪声框。

本发明实施例通过在训练过程中引入了去噪(DeNoising)任务，丰富了训练样本，加速了主检测模块的训练过程，提高了训练主检测模块的效率，从而避免了传统网络模型需要在训练过程中投入10倍耗时才能得到一个满意结果的缺陷。

可选地，副检测模块是DINO端到端目标检测模型。

本发明实施例用于对脊柱周围的骨骼进行检测的副检测模块，同样也可以采用与主检测模块相同的网络模型进行训练，即副检测模块也可以是DINO端到端的目标检测模型。

可选地，上述步骤103中“对目标图片中脊柱周围的骨骼进行检测”，可以包括:对目标图片中脊柱周围由上至下排列的第一块肋骨、第十二块肋骨以及骶骨进行检测。

本发明实施例可以将脊柱椎体按椎体的类别不同进行划分，例如，椎体可以分为颈椎椎体、胸椎椎体和腰椎椎体三个类别，颈椎椎体位于脊柱椎体的上部，胸椎椎体位于脊柱椎体的中部，腰椎椎体位于脊柱椎体的下部；基于脊柱椎体的上述三个类别，可以选取脊柱周围的三块骨骼进行检测，且这三块骨骼的位置可以分别划分出颈椎椎体、胸椎椎体和腰椎椎体。

具体地，如图4所示，目标图片中所需检测的脊柱周围的骨骼可以是该脊柱由上至下排列的第一块肋骨(图4中①所指的肋骨)、第十二块肋骨(图4中②所指的肋骨)以及骶骨(图4中③所指的骨骼)，第一块肋骨的位置可以用于划分出7块颈椎椎体的所在位置，第十二块肋骨的位置可以用于划分出12块胸椎椎体的所在位置，骶骨的位置可以用于划分出5块腰椎椎体的所在位置。

可选地，上述步骤104“采用副检测结果对主检测结果进行匹配，输出目标图片经处理后得到的标注图片”，可以包括以下步骤C1-C2。

步骤C1：将副检测结果中的第一块肋骨与主检测结果中的第一块胸椎进行匹配；将副检测结果中的第十二块肋骨与主检测结果中的第十二块胸椎进行匹配；将副检测结果中的骶骨与主检测结果中的第五块腰椎进行匹配。

步骤C2：令经副检测结果与主检测结果匹配处理后的图片作为标注图片输出。

基于人体第一块肋骨的位置与第一块胸椎的位置在水平方向上几乎重合的这一结构现象，本发明实施例可以将副检测结果中的第一块肋骨的位置与主检测结果中的第一块胸椎的位置进行匹配，辅助校验主检测结果中第一块胸椎的位置坐标，从而确定位于主检测结果中第一块胸椎上方的7块椎体为7块颈椎；相似地，基于人体第十二块肋骨的位置与第十二块胸椎的位置在水平方向上几乎重合的这一结构现象，本发明实施例可以将副检测结果中的第十二块肋骨的位置与主检测结果中的第十二块胸椎的位置进行匹配，辅助校验主检测结果中第十二块胸椎的位置坐标，从而确定在主检测结果中，从第一块胸椎起向下排列直至第十二块胸椎为止的12块椎体为12块胸椎；相似地，基于人体骶骨的位置与第五块腰椎的位置在水平方向上几乎重合的这一结构现象，本发明实施例可以将副检测结果中的骶骨的位置与主检测结果中的第五块腰椎的位置进行匹配，辅助校验主检测结果中第五块腰椎的位置坐标，从而确定在主检测结果中，从第十二块胸椎以下的第一块椎体起，直至第五块腰椎为止的5块椎体为5块腰椎。

其中，通过副检测结果对主检测结果进行上述匹配处理(如步骤C1)后的图片是脊柱椎体检测结果更为精准的图片，本发明实施例可以将该图片作为标注图片作为检测模型最终的输出。

可选地，在上述步骤104“输出目标图片经处理后得到的标注图片”之前，该方法还可以包括以下步骤D1-D3。

步骤D1：对主检测结果中的脊柱椎体按竖直方向由上至下依次进行命名，得到脊柱椎体的初步命名结果。

其中，可以在采用副检测结果对主检测结果进行匹配之后，对主检测结果中的脊柱椎体进行依次命名，命名的方式是从脊柱椎体最上方第一个椎体开始，由上至下依次命名为：C1-C7、T1-T12、L1-L5；将标有上述椎体名称的结果作为脊柱椎体的初步命名结果。

步骤D2：在副检测结果中的第一块肋骨与初步命名结果中的第一块胸椎匹配的情况下，确定脊柱椎体的最终命名结果中包含7块颈椎；在副检测结果中的第十二块肋骨与初步命名结果中的第十二块胸椎匹配的情况下，确定脊柱椎体的最终命名结果中包含12块胸椎；在副检测结果中的骶骨与初步命名结果中的第五块腰椎匹配的情况下，确定脊柱椎体的最终命名结果中包含5块腰椎。

其中，在副检测结果中的第一块肋骨的位置与初步命名结果中的第一块胸椎T1的位置匹配的情况下，可以将脊柱椎体的初步命名结果中位于T1上方的7块颈椎C1-C7作为该脊柱椎体的最终命名结果的一部分；相应地，在副检测结果中的第十二块肋骨的位置与初步命名结果中的第十二块胸椎T12的位置匹配的情况下，可以将脊柱椎体的初步命名结果中T1至T12对应的12块胸椎也作为该脊柱椎体的最终命名结果的一部分；相应地，在副检测结果中的骶骨的位置与初步命名结果中的第五块腰椎L5的位置匹配的情况下，可以将脊柱椎体的初步命名结果中位于T12下方的5块腰椎L1-L5作为该脊柱椎体的最终命名结果的一部分。

步骤D3：将标注有最终命名结果的图片作为标注图片。

本发明实施例中，将标注有符合上述步骤D2所描述的匹配规则的最终命名结果的图片作为该检测模型最终输出的标注图片。

上文详细描述了本发明实施例提供的脊柱椎体检测方法，该方法也可以通过相应的装置实现，下面详细描述本发明实施例提供的脊柱椎体检测装置。

图5示出了本发明实施例所提供的一种脊柱椎体检测装置的结构示意图。如图5所示，该脊柱椎体检测装置包括：获取模块51、脊柱检测模块52、周边检测模块53和匹配模块54。

获取模块51用于获取目标图片，并将所述目标图片输入至检测模型；所述目标图片为包含脊柱椎体及脊柱周围的骨骼的图片；所述检测模型包括主检测模块和副检测模块；所述主检测模块能够检测脊柱椎体，所述副检测模块能够检测脊柱周围的骨骼。

脊柱检测模块52用于基于所述主检测模块对所述目标图片中的脊柱椎体进行初步检测，得到所述目标图片的主检测结果。

周边检测模块53用于基于所述副检测模块对所述目标图片中脊柱周围的骨骼进行检测，得到所述目标图片的副检测结果。

匹配模块54用于采用所述副检测结果对所述主检测结果进行匹配，输出所述目标图片经处理后得到的标注图片；所述标注图片为已完成脊柱椎体检测的图片。

可选地，在所述基于所述主检测模块对所述目标图片中的脊柱椎体进行初步检测，得到所述目标图片的主检测结果之前，该装置还包括：获取样本模块和训练模块。

获取样本模块用于获取正样本，获取负样本；所述正样本与所述负样本是用于训练得到所述检测模型中的主检测模块的训练样本。

训练模块用于将所述正样本与所述负样本输入至预设网络模型进行训练，生成能够对所述目标图片中的脊柱椎体进行初步检测的主检测模块。

可选地，预设网络模型为DINO端到端目标检测模型。

可选地，获取样本模块，包括：特征提取单元、候选框提取单元、解码单元、回归单元和正样本生成单元。

特征提取单元用于输入样本图片，提取所述样本图片的样本特征图；所述样本图片为已标注出脊柱椎体坐标的图片。

候选框提取单元用于从所述样本特征图中选取多个候选框，且多个所述候选框中超过半数的候选框包含脊柱椎体。

解码单元用于令随机初始化得到的多个查询向量与所述样本特征图进行特征融合，并将所述候选框作为约束，得到多个约束后的查询向量，使多个约束后的查询向量从键向量和数值向量中匹配并抽取信息。

回归单元用于从已完成信息匹配与抽取的多个约束后的查询向量中，选取前N个约束后的查询向量回归得到N个真值，所述真值包含脊柱椎体；N＝24或者N＝27。

正样本生成单元用于获取多个包含脊柱椎体的噪声框，将N个所述真值与多个所述包含脊柱椎体的噪声框作为所述正样本。

可选地，获取样本模块，包括：负样本生成单元。

负样本生成单元用于获取多个不包含脊柱椎体的噪声框，将多个所述不包含脊柱椎体的噪声框作为训练所述预设网络模型的负样本。

可选地，负样本生成单元包括：加噪子单元和选取子单元。

加噪子单元用于对多个包含脊柱椎体的真实框添加噪声，得到多个噪声框。

选取子单元用于将偏离所述真实框大于预设阈值的噪声框作为所述不包含脊柱椎体的噪声框。

可选地，特征提取单元包括：初始提取子单元、展平子单元和交互子单元。

初始提取子单元用于采用特征提取器从所述样本图片中提取初始特征图。

展平子单元用于将所述初始特征图展平得到H*W个C维标记。

交互子单元用于将所述标记输入变形器网络的编码器中进行特征交互，得到所述样本图片的样本特征图；其中，H表示所述样本图片高度，W表示所述样本图片宽度，C表示所述样本图片通道数。

可选地，候选框提取单元，包括：二分类子单元和筛选子单元。

二分类子单元用于将所述标记输入线性分类层，并对所述标记进行二分类，从所述二分类的结果中选出得分高于预设得分的多个标记。

筛选子单元用于提取所述得分高于预设得分的多个标记的位置，得到多个所述候选框。

可选地，副检测模块是DINO端到端目标检测模型。

可选地，周边检测模块53包括：骨骼检测单元。

骨骼检测单元用于对所述目标图片中脊柱周围由上至下排列的第一块肋骨、第十二块肋骨以及骶骨进行检测。

可选地，匹配模块54包括：匹配单元和输出单元。

匹配单元用于将所述副检测结果中的第一块肋骨与所述主检测结果中的第一块胸椎进行匹配；将所述副检测结果中的第十二块肋骨与所述主检测结果中的第十二块胸椎进行匹配；将所述副检测结果中的骶骨与所述主检测结果中的第五块腰椎进行匹配。

输出单元用于令经所述副检测结果与所述主检测结果匹配处理后的图片作为所述标注图片输出。

可选地，在所述输出所述目标图片经处理后得到的标注图片之前，该装置还包括：初步命名模块、名称匹配模块和最终输出模块。

初步命名模块用于对所述主检测结果中的脊柱椎体按竖直方向由上至下依次进行命名，得到所述脊柱椎体的初步命名结果。

名称匹配模块用于在所述副检测结果中的第一块肋骨与所述初步命名结果中的第一块胸椎匹配的情况下，确定所述脊柱椎体的最终命名结果中包含7块颈椎；在所述副检测结果中的第十二块肋骨与所述初步命名结果中的第十二块胸椎匹配的情况下，确定所述脊柱椎体的最终命名结果中包含12块胸椎；在所述副检测结果中的骶骨与所述初步命名结果中的第五块腰椎匹配的情况下，确定所述脊柱椎体的最终命名结果中包含5块腰椎。

最终输出模块用于将标注有最终命名结果的图片作为所述标注图片。

本发明实施例所提供的装置，使用两个不同的检测模块分别针对两个不同的检测对象，即使用主检测模块检测脊柱椎体，使用副检测模块检测脊柱周围的骨骼，从而可以利用上相邻椎体间关系以及脊柱与周围骨骼之间的关系，以副检测结果对主检测结果进行辅助校验的方式，得到并输出检测结果更为准确的标注图片。该装置可以避免检测结果中出现相邻椎体之间距离不合理、大小变化不合理等情况，提高最终输出结果的准确度，对于脊柱椎体的检测效果较好。

此外，本发明实施例还提供了一种电子设备，包括总线、收发器、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，该收发器、该存储器和处理器分别通过总线相连，计算机程序被处理器执行时实现上述脊柱椎体检测方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

具体的，参见图6所示，本发明实施例还提供了一种电子设备，该电子设备包括总线1110、处理器1120、收发器1130、总线接口1140、存储器1150和用户接口1160。

在本发明实施例中，该电子设备还包括：存储在存储器1150上并可在处理器1120上运行的计算机程序，计算机程序被处理器1120执行时实现上述脊柱椎体检测方法实施例的各个过程。

收发器1130，用于在处理器1120的控制下接收和发送数据。

本发明实施例中，总线架构(用总线1110来代表)，总线1110可以包括任意数量互联的总线和桥，总线1110将包括由处理器1120代表的一个或多个处理器与存储器1150代表的存储器的各种电路连接在一起。

总线1110表示若干类型的总线结构中的任何一种总线结构中的一个或多个，包括存储器总线以及存储器控制器、外围总线、加速图形端口(Accelerate Graphical Port，AGP)、处理器或使用各种总线体系结构中的任意总线结构的局域总线。作为示例而非限制，这样的体系结构包括：工业标准体系结构(Industry Standard Architecture，ISA)总线、微通道体系结构(Micro Channel Architecture，MCA)总线、扩展ISA(Enhanced ISA，EISA)总线、视频电子标准协会(Video Electronics Standards Association，VESA)、外围部件互连(Peripheral Component Interconnect，PCI)总线。

处理器1120可以是一种集成电路芯片，具有信号处理能力。在实现过程中，上述方法实施例的各步骤可以通过处理器中硬件的集成逻辑电路或软件形式的指令完成。上述的处理器包括：通用处理器、中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)、复杂可编程逻辑器件(Complex Programmable LogicDevice，CPLD)、可编程逻辑阵列(Programmable Logic Array，PLA)、微控制单元(Microcontroller Unit，MCU)或其他可编程逻辑器件、分立门、晶体管逻辑器件、分立硬件组件。可以实现或执行本发明实施例中公开的各方法、步骤及逻辑框图。例如，处理器可以是单核处理器或多核处理器，处理器可以集成于单颗芯片或位于多颗不同的芯片。

处理器1120可以是微处理器或任何常规的处理器。结合本发明实施例所公开的方法步骤可以直接由硬件译码处理器执行完成，或者由译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存取存储器(Random Access Memory，RAM)、闪存(FlashMemory)、只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、寄存器等本领域公知的可读存储介质中。所述可读存储介质位于存储器中，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。

总线1110还可以将，例如外围设备、稳压器或功率管理电路等各种其他电路连接在一起，总线接口1140在总线1110和收发器1130之间提供接口，这些都是本领域所公知的。因此，本发明实施例不再对其进行进一步描述。

收发器1130可以是一个元件，也可以是多个元件，例如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。例如：收发器1130从其他设备接收外部数据，收发器1130用于将处理器1120处理后的数据发送给其他设备。取决于计算机系统的性质，还可以提供用户接口1160，例如：触摸屏、物理键盘、显示器、鼠标、扬声器、麦克风、轨迹球、操纵杆、触控笔。

应理解，在本发明实施例中，存储器1150可进一步包括相对于处理器1120远程设置的存储器，这些远程设置的存储器可以通过网络连接至服务器。上述网络的一个或多个部分可以是自组织网络(ad hoc network)、内联网(intranet)、外联网(extranet)、虚拟专用网(VPN)、局域网(LAN)、无线局域网(WLAN)、广域网(WAN)、无线广域网(WWAN)、城域网(MAN)、互联网(Internet)、公共交换电话网(PSTN)、普通老式电话业务网(POTS)、蜂窝电话网、无线网络、无线保真(Wi-Fi)网络以及两个或更多个上述网络的组合。例如，蜂窝电话网和无线网络可以是全球移动通信(GSM)系统、码分多址(CDMA)系统、全球微波互联接入(WiMAX)系统、通用分组无线业务(GPRS)系统、宽带码分多址(WCDMA)系统、长期演进(LTE)系统、LTE频分双工(FDD)系统、LTE时分双工(TDD)系统、先进长期演进(LTE-A)系统、通用移动通信(UMTS)系统、增强移动宽带(Enhance Mobile Broadband，eMBB)系统、海量机器类通信(massive Machine Type of Communication，mMTC)系统、超可靠低时延通信(UltraReliable Low Latency Communications，uRLLC)系统等。

应理解，本发明实施例中的存储器1150可以是易失性存储器或非易失性存储器，或可包括易失性存储器和非易失性存储器两者。其中，非易失性存储器包括：只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存(Flash Memory)。

易失性存储器包括：随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如：静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data RateSDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(DirectRambus RAM，DRRAM)。本发明实施例描述的电子设备的存储器1150包括但不限于上述和任意其他适合类型的存储器。

在本发明实施例中，存储器1150存储了操作系统1151和应用程序1152的如下元素：可执行模块、数据结构，或者其子集，或者其扩展集。

具体而言，操作系统1151包含各种系统程序，例如：框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序1152包含各种应用程序，例如：媒体播放器(Media Player)、浏览器(Browser)，用于实现各种应用业务。实现本发明实施例方法的程序可以包含在应用程序1152中。应用程序1152包括：小程序、对象、组件、逻辑、数据结构以及其他执行特定任务或实现特定抽象数据类型的计算机系统可执行指令。

此外，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述脊柱椎体检测方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

计算机可读存储介质包括：永久性和非永久性、可移动和非可移动媒体，是可以保留和存储供指令执行设备所使用指令的有形设备。计算机可读存储介质包括：电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备以及上述任意合适的组合。计算机可读存储介质包括：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、非易失性随机存取存储器(NVRAM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带存储、磁带磁盘存储或其他磁性存储设备、记忆棒、机械编码装置(例如在其上记录有指令的凹槽中的穿孔卡或凸起结构)或任何其他非传输介质、可用于存储可以被计算设备访问的信息。按照本发明实施例中的界定，计算机可读存储介质不包括暂时信号本身，例如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如穿过光纤电缆的光脉冲)或通过导线传输的电信号。

在本申请所提供的几个实施例中，应该理解到，所披露的装置、电子设备和方法，可以通过其他的方式实现。例如，以上描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的、机械的或其他的形式连接。

所述作为分离部件说明的单元可以是或也可以不是物理上分开的，作为单元显示的部件可以是或也可以不是物理单元，既可以位于一个位置，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或全部单元来解决本发明实施例方案要解决的问题。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术作出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(包括：个人计算机、服务器、数据中心或其他网络设备)执行本发明各个实施例所述方法的全部或部分步骤。而上述存储介质包括如前述所列举的各种可以存储程序代码的介质。

在本发明实施例的描述中，所属技术领域的技术人员应当知道，本发明实施例可以实现为方法、装置、电子设备及计算机可读存储介质。因此，本发明实施例可以具体实现为以下形式：完全的硬件、完全的软件(包括固件、驻留软件、微代码等)、硬件和软件结合的形式。此外，在一些实施例中，本发明实施例还可以实现为在一个或多个计算机可读存储介质中的计算机程序产品的形式，该计算机可读存储介质中包含计算机程序代码。

上述计算机可读存储介质可以采用一个或多个计算机可读存储介质的任意组合。计算机可读存储介质包括：电、磁、光、电磁、红外或半导体的系统、装置或器件，或者以上任意的组合。计算机可读存储介质更具体的例子包括：便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、闪存(Flash Memory)、光纤、光盘只读存储器(CD-ROM)、光存储器件、磁存储器件或以上任意组合。在本发明实施例中，计算机可读存储介质可以是任意包含或存储程序的有形介质，该程序可以被指令执行系统、装置、器件使用或与其结合使用。

上述计算机可读存储介质包含的计算机程序代码可以用任意适当的介质传输，包括：无线、电线、光缆、射频(Radio Frequency，RF)或者以上任意合适的组合。

可以以汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、集成电路配置数据或以一种或多种程序设计语言或其组合来编写用于执行本发明实施例操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言，例如：Java、Smalltalk、C++，还包括常规的过程式程序设计语言，例如：C语言或类似的程序设计语言。计算机程序代码可以完全的在用户计算机上执行、部分的在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行以及完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括：局域网(LAN)或广域网(WAN)，可以连接到用户计算机，也可以连接到外部计算机。

本发明实施例通过流程图和/或方框图描述所提供的方法、装置、电子设备。

应当理解，流程图和/或方框图的每个方框以及流程图和/或方框图中各方框的组合，都可以由计算机可读程序指令实现。这些计算机可读程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而生产出一种机器，这些计算机可读程序指令通过计算机或其他可编程数据处理装置执行，产生了实现流程图和/或方框图中的方框规定的功能/操作的装置。

也可以将这些计算机可读程序指令存储在能使得计算机或其他可编程数据处理装置以特定方式工作的计算机可读存储介质中。这样，存储在计算机可读存储介质中的指令就产生出一个包括实现流程图和/或方框图中的方框规定的功能/操作的指令装置产品。

也可以将计算机可读程序指令加载到计算机、其他可编程数据处理装置或其他设备上，使得在计算机、其他可编程数据处理装置或其他设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机或其他可编程数据处理装置上执行的指令能够提供实现流程图和/或方框图中的方框规定的功能/操作的过程。

以上所述，仅为本发明实施例的具体实施方式，但本发明实施例的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明实施例披露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明实施例的保护范围之内。因此，本发明实施例的保护范围应以权利要求的保护范围为准。