医疗辅助三维模型定位匹配方法、系统、设备及介质

技术领域

本发明涉及计算机技术领域，特别是涉及一种医疗辅助三维模型定位匹配方法、系统、设备及介质。

背景技术

虚拟现实(Virtual Reality)，是利用计算机技术为用户模拟产生一个视觉、听觉、触觉等感官构成的三维空间虚拟世界，用户借助特殊的输入/输出设备，与虚拟世界进行交互。

增强现实(Augmented Reality)，是一种实时计算摄影机影像位置及角度，并辅以相应图像的技术，通过全息投影，在镜片的显示屏幕中将虚拟世界与现实世界叠加，操作者可以通过设备互动。

混合现实(Mix reality)，是结合真实世界和虚拟世界创造了新的环境和可视化三维世界，物理实体和数字对象共存、并实时相互作用，用来模拟真实物体，是虚拟现实技术的进一步发展。

目前，混合现实技术被广泛应用于如医疗领域等多个领域。然而，如何精准匹配虚拟模型与实体对象一直是一个难以攻克的难题。相关技术中往往是依赖于人工对虚拟模型进行移动，进而完成虚拟模型与实体模型的匹配，流程复杂、实用性差、耗时较多。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种医疗辅助三维模型定位匹配方法、系统、设备及介质，用于解决精准匹配虚拟模型与实体对象依赖于人工处理，流程复杂，实用性差，耗时较多的技术问题。

针对于上述问题，本发明提供了一种医疗辅助三维模型定位匹配方法，所述方法包括：

获取医疗辅助三维模型及所述医疗辅助三维模型中标记对象的虚拟位置信息，所述医疗辅助三维模型根据目标对象的医疗图像生成，所述医疗图像包括所述标记对象；

获取所述目标对象的目标真实图像，并根据所述目标真实图像中所述标记对象的标记位置确定所述真实位置信息；

根据所述虚拟位置信息和真实位置信息生成空间转化关系，所述空间转化关系包括所述虚拟位置和真实位置之间的映射关系；

根据所述空间转化关系将所述医疗辅助三维模型定位匹配在所述目标对象的对应位置。

可选的，所述根据所述空间转化关系将所述医疗辅助三维模型定位匹配在所述目标对象的对应位置包括以下任意之一：

从所述目标真实图像中确定所述标记对象的标记真实图像，并确定所述标记对象的真实尺寸，从所述医疗辅助三维模型中确定所述标记对象的标记虚拟图像，并确定所述标记对象的虚拟尺寸，根据所述真实尺寸和虚拟尺寸确定尺寸调整比例，并对所述医疗辅助三维模型进行调整，以实现所述医疗辅助三维模型与目标对象的融合显示；

所述标记对象包括至少三个不同的标记子对象，从所述目标真实图像中确定任意两个所述标记子对象的真实距离，从所述医疗辅助三维模型中确定任意两个所述标记子对象的虚拟距离，根据所述真实距离和虚拟距离确定距离调整比例，并对所述医疗辅助三维模型进行调整，以实现所述医疗辅助三维模型与目标对象的融合显示。

可选的，若所述目标对象发生了位置移动，所述方法还包括：

获取所述目标对象的当前目标图像和历史目标图像，所述历史目标图像为在所述当前目标图像之前若干时间拍摄的图像；

根据所述当前目标图像和历史目标图像确定所述目标对象的当前位置信息和历史位置信息；

获取所述当前位置信息和历史位置信息之间的位置相似度，若所述位置相似度大于预设相似度，确定位置变化信息，所述位置变化信息根据所述当前位置信息和真实位置信息确定；

根据所述位置变化信息调整所述医疗辅助三维模型，以实现将所述医疗辅助三维模型定位匹配，并显示在发生位置移动后的所述目标对象的对应位置。

可选的，所述方法还包括：

获取真实场景图像，并将所述真实场景图像输入预设目标检测模型，得到目标检测结果；

若所述目标检测结果包括预设指示对象，将显示在所述目标对象的对应位置的所述医疗辅助三维模型进行透明显示。

可选的，所述方法还包括：

若所述目标检测结果包括预设忽略对象，将显示在所述目标对象的对应位置的所述医疗辅助三维模型的目标区域中的目标子模型优先显示；

所述目标区域包括所述医疗辅助三维模型与所述预设忽略对象位置对应的区域；

所述优先显示包括将所述目标子模型所在的模型移动至所述预设忽略对象之上。

可选的，所述根据所述空间转化关系将所述医疗辅助三维模型定位匹配在所述目标对象的对应位置之前，所述方法还包括：

获取观察对象的当前对象位置和视线方向，若所述当前对象位置属于预设位置范围，且所述视线方向属于预设视线方向，根据所述空间转化关系将所述医疗辅助三维模型显示在所述目标对象的对应位置。

可选的，若所述观察对象发生位置移动，所述方法还包括：

获取所述观察对象的移动对象位置，所述移动位置为所述观察对象发生位置移动后的位置；

根据所述当前对象位置和移动对象位置确定位置变化数据，并对所述医疗辅助三维模型进行调整，以实现将所述医疗辅助三维模型定位匹配在发生位置移动后的所述目标对象的对应位置。

本发明还提供了一种医疗辅助三维模型定位匹配系统，所述系统包括：

虚拟位置信息获取模块，用于获取医疗辅助三维模型及所述医疗辅助三维模型中标记对象的虚拟位置信息，所述医疗辅助三维模型根据目标对象的医疗图像生成，所述医疗图像包括所述标记对象；

真实位置信息获取模块，用于获取所述目标对象的目标真实图像，并根据所述目标真实图像中所述标记对象的标记位置确定所述真实位置信息；

生成模块，用于根据所述虚拟位置信息和真实位置信息生成空间转化关系，所述空间转化关系包括所述虚拟位置和真实位置之间的映射关系；

定位匹配模块，用于根据所述空间转化关系将所述医疗辅助三维模型定位匹配在所述目标对象的对应位置。

本发明还提供了一种电子设备，包括处理器、存储器和通信总线；

所述通信总线用于将所述处理器和存储器连接；

所述处理器用于执行所述存储器中存储的计算机程序，以实现如上述实施例中任一项所述的方法。

本发明还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序用于使所述计算机执行如上述实施例中任一项所述的方法。

如上所述，本发明提供的一种医疗辅助三维模型定位匹配方法、系统、设备及介质，具有以下有益效果：

通过获取医疗辅助三维模型及医疗辅助三维模型中标记对象的虚拟位置信息，获取目标对象的目标真实图像，并根据目标真实图像中标记对象的标记位置确定真实位置信息，根据虚拟位置信息和真实位置信息生成空间转化关系，根据空间转化关系将医疗辅助三维模型定位匹配在目标对象的对应位置。通过上述医疗辅助三维模型定位匹配方法，改进了虚拟模型(医疗辅助三维模型)与实体对象(目标对象)的匹配问题，以达到不同类型应用场景的智能应用。将患者的影像重建数据(医疗辅助三维模型)与实体患处(目标对象)结合现实，为医生提供可视化三维信息，在手术中提供精确的指导。

附图说明

图1为本发明实施例一提供的医疗辅助三维模型定位匹配方法的一种流程示意图。

图2为本发明实施例一提供的医疗辅助三维模型定位匹配方法的一种具体流程示意图。

图3为本发明实施例二提供的医疗辅助三维模型定位匹配系统的一种结构示意图；

图4为一实施例提供的终端的一种结构示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

实施例一

请参阅图1，本发明实施例提供的医疗辅助三维模型定位匹配方法，包括：

S101：获取医疗辅助三维模型及医疗辅助三维模型中标记对象的虚拟位置信息。

其中，医疗辅助三维模型根据目标对象的医疗图像生成，医疗图像包括所述标记对象。

其中，医疗辅助三维模型可以通过预先在目标对象上设置若干个标记对象，进而对包括有标记对象的目标对象进行二维图像获取，进而根据该二维图像生成医疗辅助三维模型。该二维图像可以通过医学影像设备(如CT(计算机X线断层扫描)设备，MR(MagneticResonance,磁共振)设备，PET-CT(正电子发射计算机断层显像)设备等)获取，二维图像包括但不限于CT图像、MR图像，PET-CT图像。对于二维图像转化为医疗辅助三维模型的具体实现方式，可以采用本领域技术人员所知晓的方式实现，在此不做限定。标记对象能够被医疗影像设备所识别，故二维图像中也将包括有该标记对象，进而所得到的医疗辅助三维模型也将包括该标记对象。

可选的，目标对象包括但不限于人、人身体某一部位或组织(如腿、手等)、物品等。标记对象在目标对象的表面或内部，若标记对象为至少一个时，该标记对象为立体物，存在至少一个立体物的各个面的形状或大小不同，以使得通过在该立体物上确定三个不在同一条线上的标记点，能够实现该立体物在三维空间内的定位。若标记对象为三个或多个时，至少三个标记对象不在一条直线上。可选的，若标记对象包括多个，则各标记对象的颜色可相同或不同。

标记对象在目标对象的表面时，所述标记对象可以为用户特殊的纹理特征，如胎记、痣、贴有的标签或涂抹的标记中至少一种。具体的，以针对的目标对象为患者人体的某个部分或某个器官组织时(头部、手部、腿部等)为例，在人体的表面有些特殊纹理，例如：纹身或疤痕，胎记、以及痔等特别凸显的特征信息，一方面，上述特征信息位于人体表面，特征信息不会轻易发生位置改变以及轻易掉落；另一方面，上述特征信息相对于人体表面，即使拍照或采集成像后能够轻易识别，特别显目。

医疗辅助三维模型包括但不限于骨骼、血管、人体内部器官或人体内部器官的具体构造等。例如，目标对象为某一个患者的腿部，此时，可以通过在腿部贴上不在一条直线的三个贴片，通过CT等设备拍摄得到二维图像，进而根据该二维图像创建包括位于腿部的血管、神经、骨骼三维模型，且该三维模型包括有标记对象的图像。需要说明的是，为使后续观察方便，可以将标记对象的部分在医疗辅助三维模型中透明显示或隐藏显示。

可选的，虚拟位置信息可以通过对医疗辅助三维模型所在虚拟空间创立虚拟坐标系，进而根据标记对象在虚拟坐标系中的坐标点确定其所对应的虚拟位置信息。

可选的，对于医疗辅助三维模型的显示，可以借助于辅助观察设备(如MR设备、AR设备)实现。由于医疗辅助三维模型的格式包括但不限于STL、3DS、3DP、3MF、OBJ、PLY等格式，利用医疗辅助三维模型格式转换器预处理全息投影，预处理主要是对形成的全息投影进行格式转换，确保生成的全息投影至少要满足辅助观察设备(如MR设备、AR设备)的硬件支持要求，使得全息投影能够正常显示在辅助观察设备构成的现实虚拟环境内；另外，通过格式转换的方式，确保全息投影与目标对象所形成的医疗辅助三维模型至少格式相同，在全息投影与目标对象融合时，大大提升全息投影与目标对象(实体模型)融合的准确率。

可选的，虚拟位置信息包括标记对象在医疗辅助三维模型所在的虚拟坐标系下的位置信息，各标记对象所对应的虚拟位置信息均包括有标记对象身份识别信息，以便后续与真实场景下的标记对象相对应。

S102：获取目标对象的目标真实图像，并根据目标真实图像中标记对象的标记位置确定真实位置信息。

可选的，目标真实图像可以通过设置于诊疗室某一已知位置的拍摄设备拍摄得到，此时，需要预先获取该拍摄设备与观察对象的眼睛之间的相对位置关系，将目标真实图像的标记对象相对于观察对象眼镜的位置作为真实位置信息。或，通过观察对象(如医生、患者家属、学生等)所佩戴的辅助观察设备(包括但不限于微软的HoloLens眼镜等)对目标对象的当下图像进行采集得到目标真实图像，此时根据本领域技术人员对误差的容忍程度可以近似将辅助观察设备与观察对象的眼睛等同。.

目标真实图像包括标记对象的图像，可选的，若存在多个标记对象，可能有部分标记对象由于目标对象的姿态、拍摄角度等原因导致目标真实图像中仅包括部分标记对象，此时，需要根据本领域技术人员预先设定的预设拍摄规则，直到采集到的图像中所包括的标记对象的数量满足预设拍摄规则，才将该图像作为目标真实图像。根据标记对象的具体属性，形状等信息，该预设拍摄规则包括一个立体标记对象或至少三个不在一条直线的标记对象。

可选的，标记位置的一种确定方式可以为通过构建目标真实图像所在的相机坐标系和真实场景坐标系，选取目标真实图像中除目标对象外其他固定物的真实场景坐标系下的固定物真实坐标、固定物在相机坐标系下的固定物相机坐标，得到真实场景坐标系与相机坐标系之间的虚实变化关系，再在相机坐标系下获取标记对象的标记相机坐标，并根据上述得到的虚实变化关系，得到真实场景坐标系下标记对象的标记真实坐标，作为标记位置。

可选的，标记位置的另一种确定方式可以为通过蓝牙定位、Wifi定位等方式实现标记对象的定位。标记位置的确定还可以是通过预先创建真实场景下空间的视觉地图，通过获取标记位置拍摄的标记空间图像，进而实现视觉定位，得到标记对象的位姿，作为标记位置。

标记位置还可以通过本领域技术人员所知晓的其他方式确定，在此不做限定。

可以将若干个标记对象的标记位置作为真实位置信息。各个真实位置信息均包括有标记对象身份识别信息，以便后续真实场景下的标记对象与医疗辅助三维模型中的标记对象进行对应。

S103：根据虚拟位置信息和真实位置信息生成空间转化关系。

若在步骤S101和步骤S102中所获取到多个标记对象的虚拟位置信息和真实位置信息，则可以从中选择预设数量的标记对象的虚拟位置信息和真实位置信息生成空间转化关系。由于三维空间理论上最少仅需要三个标记点的虚拟位置信息和真实位置信息即可实现空间转化关系的确定。为保证该空间转化关系确定的准确性，可以多选取一个或多个标记点的虚拟位置信息和真实位置信息以实现对该空间转化关系的验证。需要说明的是，一个标记对象上可以有一个或多个标记点。

可选的，根据虚拟位置信息和真实位置信息生成空间转化关系的方式包括：

获取辅助观察设备如MR设备等在虚拟现实坐标系下的位置信息，利用MR设备在不同位置信息采集包含同一标记点的先后采集的至少两帧图像与该MR设备所对应的惯性数据，根据所述惯性数据计算MR设备位置变换后的位姿变化数据；根据所述位姿变化数据计算两帧图像所对应的位置矩阵，在连续两帧图像中选择同一标记点构成标记对；根据每一组标记对的位置矩阵进行位姿计算，得到目标对象中标记点的位置信息。

可选的，可以利用MR设备内的拍摄装置连续采集同一标记点在反射光源下的至少两帧图像，同时，MR设备内惯性测量单元采集MR设备内的摄像装所对应的惯性数据，由惯用数据确定MR设备的运动轨迹，根据运动轨迹确定MR设备位置变换后的位姿变化数据；根据MR设备的位姿变化数据得到对应位移与旋转矩阵，从而得到连续两帧图像所对应的位置矩阵(基本矩阵)也即空间转化关系。

例如，将先后拍摄的两帧图像中的同一标记点构成一个标记对，根据每一组标记对的位置矩阵进行位姿计算，得到目标对象中标记点的位置信息。可以采用随机抽样一致算法计算位置信息。又例如，通过基本矩阵对应的位移和旋转矩阵，确定每一组标记对中第一特征点的位置坐标与第二特征点的位置坐标，根据第一特征点的位置坐标、第二特征点的位置坐标以及基本矩阵，确定两个特征点之间的匹配度，根据计算的匹配度对应的预设的阈值区间内的标记对，得到各个标记对所对应的位置坐标。

通过标记对构成的基本矩阵能够通过视觉定位的方式采集各个标记的位置信息，相自动化与智能化效率更高，同时，采用上述方式，得到标记点的位置信息更为精准。

其中，空间转化关系包括虚拟位置和真实位置之间的映射关系。该映射关系的确定可以采用本领域技术人员所知晓的方式实现。

S104：根据空间转化关系将医疗辅助三维模型定位匹配在目标对象的对应位置。

通过空间转化关系可以实现将医疗辅助三维模型在定位匹配成功后通过如全息投影等技术投射显示在目标对象在真实场景下的对应位置，以实现将虚拟模型(医疗辅助三维模型)与实体对象(目标对象)的精确匹配。

其中，目标对象(实体模型)在真实场景内，一方面，目标对象在现实坐标系有对应的实体模型，有对应的三维关系，能够反映实体模型的长、宽、高以及具体的结构关系；另一方面，在虚拟现实坐标系下的医疗辅助三维模型，由于坐标系本身发生了改变，两个坐标系之间存在矩阵变换关系(空间转化关系)，通过计算两者之间的矩阵变换关系(空间转化关系)，实现目标对象和医疗辅助三维模型中标记对象上的标记点的坐标转换。

在一些实施例中，根据空间转化关系将医疗辅助三维模型定位匹配在目标对象的对应位置包括：

从目标真实图像中确定标记对象的标记真实图像，并确定标记对象的真实尺寸，从医疗辅助三维模型中确定标记对象的标记虚拟图像，并确定标记对象的虚拟尺寸，根据真实尺寸和虚拟尺寸确定尺寸调整比例，并对医疗辅助三维模型进行调整，以实现医疗辅助三维模型与目标对象的融合显示。

可选的，真实尺寸与虚拟尺寸可以是标记对象的面积、边长、高度等尺寸。

在一些实施例中，根据空间转化关系将医疗辅助三维模型显示在目标对象的对应位置包括：

标记对象包括至少三个不同的标记子对象，从目标真实图像中确定任意两个标记子对象的真实距离，从医疗辅助三维模型中确定任意两个标记子对象的虚拟距离，根据真实距离和虚拟距离确定距离调整比例，并对医疗辅助三维模型进行调整，以实现医疗辅助三维模型与目标对象的融合显示。

真实距离与虚拟距离可以是标记对象上对应的标记点之间的距离，标记点的位置可以由本领域技术人员进行指定，如标记对象的某一个或多个顶点等，在此不做限定。

有时，考虑到文件资源存储、系统误差等问题，医疗辅助三维模型与目标对象可能并不是等比例构建的，此时可以通过上述方式实现虚拟模型(医疗辅助三维模型)与实体对象(目标对象)的精确匹配，以达到虚拟模型等比例还原到虚拟现实场景下的实体对象中。

在一些实施例中，若目标对象发生了位置移动，该方法还包括：

获取目标对象的当前目标图像和历史目标图像，历史目标图像为在当前目标图像之前若干时间拍摄的图像；

根据当前目标图像和历史目标图像确定目标对象的当前位置信息和历史位置信息；

获取当前位置信息和历史位置信息之间的位置相似度，若位置相似度大于预设相似度，确定位置变化信息，位置变化信息根据当前位置信息和真实位置信息确定；

根据位置变化信息调整医疗辅助三维模型，以实现将医疗辅助三维模型定位匹配，并显示在发生位置移动后的目标对象的对应位置。

由于目标对象发生了移动，此时之前拟合的医疗辅助三维模型必然不再与目标对象对应，需要对其进行同步调整。但由于医疗辅助三维模型往往会将血管、骨骼等以不同颜色显示，若频繁的跟着目标对象进行同步调整，将导致画面晃动频繁，影响客户体验，此时，可先确定目标对象的移动动作是否完成，当前是否处于静止状态，也即位置相似度大于预设相似度，此时再对医疗辅助三维模型进行调整，将更好的保持画面的稳定性，提升客户的体验度。

可选的，判断目标对象是否发生了位置移动可以通过在目标对象或其他预设位置加装位置传感器，进而实现判断，同时可根据该位置传感器的相关信息确定位置变化信息。位置传感器可以是激光传感器、超声波传感器等。

判断目标对象是否发生了位置移动也可以通过获取前后两个时刻的目标对象的图像，并进行比对，进而确定是否发生位置移动。

可选的，当前目标图像和历史目标图像可以对目标对象拍摄视频的两个时刻的图像帧，也可以是前后两个时刻所拍摄的图像。当前目标图像和历史目标图像可以是由同一拍摄设备在同一位置拍摄的不同时刻的两张图像，也可以是由同一拍摄设备在不同位置拍摄的不同时刻的两张图像。例如当前目标图像和历史目标图像可以是通过观察对象所佩戴的辅助观察设备所采集的，由于观察对象可能存在走动、转头等动作，使得其所采集到的当前目标图像和历史目标图像的图像采集位置并不相同，此时可以通过借助某一固定参照物的坐标进行坐标系的转换，以确定当前位置信息和历史位置信息。

可选的，位置相似度可以通过当前位置与历史位置之间的欧式距离确定，以该欧式距离作为相似度的表示。预设相似度可以由本领域技术人员预先设定。若位置相似度大于预设相似度，说明目标对象的移动幅度非常小，或者处于静止状态。否则，说明目标对象仍然处于移动状态，此时重复获取新的当前目标图像和历史目标图像，直到确定到位置相似度大于预设相似度为止。

当前位置信息和真实位置信息包括目标对象在真实场景坐标系下的坐标信息，根据该坐标信息确定位置变化信息。

通过上述方式可以实现在目标对象发生移动时，医疗辅助三维模型及时进行跟随移动，且在目标对象发生移动过程中不进行模型的移动，防止模型显示图像晃动，客户体验度下降。相比于重新确定新的空间转化关系，该方式更加简单方便，计算量相对较少，节约资源。

在某一些实施例中，根据空间转化关系将医疗辅助三维模型定位匹配在目标对象的对应位置之前，还包括：对医疗辅助三维模型进行预处理，得到与目标真实图像所构建的实体模型的参数相同的虚拟三维模型。

由于三维模型的格式包括但不限于STL、3DS、3DP、3MF、OBJ、PLY等格式，利用三维模型格式转换器预处理医疗辅助三维模型，预处理主要是对形成的医疗辅助三维模型进行格式转换，确保生成的医疗辅助三维模型至少要满足虚拟现实设备(如MR设备、AR设备)的硬件支持要求，使得医疗辅助三维模型能够正常显示在虚拟现实设备构成的现实虚拟环境内；另外，通过格式转换的方式，确保医疗辅助三维模型与实体模型所形成的三维模型至少格式相同，在医疗辅助三维模型与实体模型融合时，大大提升医疗辅助三维模型与实体模型融合的准确率。也即，根据空间转化关系将医疗辅助三维模型显示在目标对象的对应位置的显示准确度。

具体地，在虚拟模型的医疗辅助三维模型和实际物体对应的相同位置各获取n个标记点(n为大于等于3的自然数，由标记点求解R、t时的自由度决定)，由于刚体变换可以分解为旋转变换和平移变换，因此，将医疗辅助三维模型和真实场景下的目标对象的刚体变换转变成求解由源点对到目标点对的R(旋转矩阵)、t(平移矩阵)变换关系，即满足以下关系：

P

其中，求解标记点对A到B(A和B为3x n数组，每一列表示一个坐标点)之间R、t变换矩阵的方法是，通过求解标记点A、标记点B对的平均中心将A、B分别平移到旋转中心，再求得R，带入刚体变换公式求得t。

获得虚拟的医疗辅助三维模型和标记对象的实际坐标的方法是，在HoloLens里通过放置虚拟点获得标记点坐标，通过CT图像重建获得带有标记点的三维模型(医疗辅助三维模型)，将两种特征点进行匹配，以达到模型匹配效果。

在一些实施例中，该方法还包括：

获取真实场景图像，并将真实场景图像输入预设目标检测模型，得到目标检测结果；

若目标检测结果包括预设指示对象，将显示在目标对象的对应位置的医疗辅助三维模型进行透明显示。

真实场景图像可以是观察对象当前所能够看到的图像，具体的，可以通过在观察对象的头部设置拍摄设备对观察对象所看到的图像进行采集实现，此时需要预先对该拍摄设备与观察对象的人眼之间的相对位置进行标定。也可以通过观察对象佩戴具有图像采集功能的眼镜等设备实现对真实场景图像的采集。真实场景图像还可以通过本领域技术人员所知晓的其他方式实现采集。

预设目标检测模型可以通过若干张包括预设忽略对象或预设指示对象的图像对基础神经网络模型进行训练得到，具体的训练方式可以采用本领域技术人员所知晓的方式实现，在此不做限定。

预设指示对象包括但不限于指示棒、手术刀、手指、指尖等可以用于指示的物品。预设忽略对象包括但不限于第三人的胳膊等(非目标对象也非预设指示对象)。

当识别到预设指示对象时，往往是观察对象需要借助于医疗辅助三维模型进行手术方案讲解等行为，此时，往往需要更加清晰的看到当前所指示的位置，故可以将医疗辅助三维模型显示的效果设置为透明，使得现实场景下的预设指示对象更加清晰，便于观察。根据本领域技术人员的需要可以设置多档预设透明度供用户选择。

在一些实施例中，该方法还包括：

若目标检测结果包括预设忽略对象，将显示在目标对象的对应位置的医疗辅助三维模型的目标区域中的目标子模型优先显示；

目标区域包括医疗辅助三维模型与预设忽略对象位置对应的区域；

优先显示包括将目标子模型所在的模型移动至所述预设忽略对象之上。

对于医疗辅助三维模型(以下简称模型)的某一部分需要进行指示时，往往会引入手肘或者其他异物，遮挡模型，此时可以通过预设目标检测模型对其进行识别，若识别到则可以将遮挡区域的模型优先显示，比如将该区域的模型以模型与人眼连线方向靠近人眼移动，直至该模型位于预设忽略对象之上(靠近人眼方向为上部)。这样可以避免预设忽略对象对模型的遮挡，以提升模型的可观看度，提升用户体验。

可选的，当检测不到预设忽略对象时，将该目标子模型恢复原来的显示位置。

在一些实施例中，根据空间转化关系将医疗辅助三维模型显示在目标对象的对应位置之前，方法还包括：

获取观察对象的当前对象位置和视线方向，若当前对象位置属于预设位置范围，且视线方向属于预设视线方向，根据空间转化关系将医疗辅助三维模型显示在目标对象的对应位置。

有时，观察对象的视线并不在目标对象上，此时即可不用显示模型。当监测到当前对象位置属于预设位置范围，且视线方向属于预设视线方向及显示模型，否则不显示模型。

对于当前对象位置的确定方式可以采用本领域技术人员所知晓的方式实现例如采用蓝牙、WiFi、视觉定位等。视线方向的确定方式可以在观察对象允许的前提下，通过采集观察对象的面部图像来确定。

在一些实施例中，若观察对象发生位置移动，该方法还包括：

获取观察对象的移动对象位置，移动位置为观察对象发生位置移动后的位置；

根据当前对象位置和移动对象位置确定位置变化数据，并对医疗辅助三维模型进行调整，以实现将医疗辅助三维模型定位匹配，并显示在发生位置移动后的目标对象的对应位置。

也即，此时由于观察对象发生移动，则观察对象的视角将发生变化，此时可以通过该位置变化数据对模型进行调整，以确保模型的显示更加逼真，拟合效果更佳。

在一些实施例中，该医疗辅助三维模型定位匹配方法还包括：

获取手势信息，所述手势信息包括调整方式及目标对象的待调整区域；

根据手势信息调整医疗辅助三维模型的定位匹配及显示状态。

具体的，该手势信息包括预设手指所指定的目标对象的某一位置，将该位置所在的区域作为待调整区域，随后，根据手势如OK、拍手、弯一个或多个手指来确定当前的调整方式，如以OK手势作为放大手势，可以通过获取OK手势的持续时长(可以通过获取视频中图像帧的数量确定)确定放大倍数；以拍手手势作为缩小指令，根据拍手的次数(同样可以根据视频图像中某一特征图像帧的出现次数或声音传感器来确定)来确定缩小倍数。可以以弯曲手指的数量确定当前需要显示(不显示)的是哪一个或多个医疗辅助三维模型中的虚拟对象，如，医疗辅助三维模型中包括血管、骨骼和肌肉，如采集到弯曲一个手指，则仅显示骨骼，采集到弯曲两个手指，则仅显示肌肉等。手势信息与显示状态的对应关系可以由本领域技术人员根据需要进行设定。

下面通过一个具体的实施例对上述医疗辅助三维模型定位匹配方法进行示例性说明，参见图2，该具体的方法包括：

S201：获取目标人体部位。

S202：在目标人体部位上贴上若干个标记物。

其中，标记物可以是在人体表面打上特定的多个显影标记点能被医学影像设备(如CT，MR，PET-CT等能提供二维转三维的设备)识别，同时也能被普通的相机识别。

S203：通过医学影像设备获取二维图像。

S204：根据二维图像建立医疗辅助三维模型。

该医疗辅助三维模型包括有标记。

S205：获取医疗辅助三维模型中标记的虚拟位置信息。

可以通过程序虚拟相机获取三维建模后医疗辅助三维模型中标记的虚拟位置信息。

S206：获取目标人体部位在真实场景下标记的真实位置信息。

可以利用穿戴式设备的传感摄像头识别目标人体部位的标记相对于真实相机的位置。

S207：根据虚拟位置信息和真实位置信息生成空间转化关系。

实现虚拟标记点的位置和真实标记点的位置匹配，进而实现真实场景下目标人体部位与医疗辅助三维模型的匹配。

S208：根据空间转化关系将医疗辅助三维模型定位匹配，并显示在目标人体部位在真实场景下的对象位置。

随后，可以依靠头戴式设备的定位来实现后续的虚实叠加。当用户使用头戴式设备，如微软的HoloLens眼镜的空间映射功能，采集现实场景的内部结构信息，例如，

用户操作HoloLens眼镜，设定单次扫描范围阈值；用户穿戴HoloLens眼镜在当前空间(手术室、诊室等)移动，采用HoloLens眼镜扫描当前空间的内部环境，得到一组当前空间内部结构信息网格和坐标进行存储；使用HoloLens眼镜按照以上方法采集离散的小空间，采集多组用当前空间内部结构信息用于后续拼接处理构成完整的当前空间内部3D模型，实现三维场景的重建。例如，使用建模软件制作上述信息面板并导入Unity3D中；在所述Unity3D中使用HoloLens插件为上述信息面板绑定脚本，添加空间锚点定位功能；使用预制体调用环境感知摄像头和深度感知摄像头定期进行对周围环境进行扫描，更新环境信息数据；三维场景重建，将具有空间锚点定位功能的物体从虚拟场景空间坐标映射到三维重建场景空间坐标。

例如，当用户扫描的目标物(即，目标对象)为患者的腿部时，由于腿部为虚拟现实场景内的实体模型，该实体模型上设有标记点，用户通过HoloLens眼镜能够在虚拟现实场景中，清晰完整的观察患者的腿部，以及腿部表面的标记物。而在此之前，用户通过CT或核磁共振扫描患者腿部得到检查数据，获悉该腿部三维结构，基于所述检查数据与标记点构建含有标记点的全息投影，该全息投影从骨架、肌肉、血管、病灶以及标记等多个维度多颜色进行区别显示，通过匹配全息影像与腿部之间对应的标记点，实现3D重建后的医疗辅助三维模型通过全息影像与目标人体部位精准重合，使医生能够更直观、真实地观察人体组织结构，从而提高手术精准度、方便与患者沟通，同时，也能增加年轻医生的手术参与率。

通过上述方法，在患者的目标人体部位如腿部上叠加虚拟的医疗辅助三维模型的全息投影，以彩色三维可透明的立体结构展现，不仅可辅助临床医生解决目前所遇到的各种复杂疑难病症，还能为治疗提供手术模拟、风险评估、精准测量及术中导航，从而提高手术成功率。

本实施例提供了一种医疗辅助三维模型定位匹配方法，该方法通过获取医疗辅助三维模型及医疗辅助三维模型中标记对象的虚拟位置信息，获取目标对象的目标真实图像，并根据目标真实图像中标记对象的标记位置确定真实位置信息，根据虚拟位置信息和真实位置信息生成空间转化关系，根据空间转化关系将医疗辅助三维模型定位匹配在目标对象的对应位置。通过上述医疗辅助三维模型显示方法，改进了虚拟模型(医疗辅助三维模型)与实体对象(目标对象)的匹配问题，以达到不同类型应用场景的智能应用。将患者的影像重建数据(医疗辅助三维模型)与实体患处(目标对象)结合现实，为医生提供可视化三维信息，在手术中提供精确的指导。

实施例二

请参阅图3，本实施例提供了一种医疗辅助三维模型定位匹配系统300，该系统包括：

虚拟位置信息获取模块301，用于获取医疗辅助三维模型及医疗辅助三维模型中标记对象的虚拟位置信息，医疗辅助三维模型根据目标对象的医疗图像生成，医疗图像包括标记对象；

真实位置信息获取模块302，用于获取目标对象的目标真实图像，并根据目标真实图像中标记对象的标记位置确定真实位置信息；

生成模块303，用于根据虚拟位置信息和真实位置信息生成空间转化关系，空间转化关系包括虚拟位置和真实位置之间的映射关系；

定位匹配模块304，用于根据空间转化关系将医疗辅助三维模型定位匹配在目标对象的对应位置。

在本实施例中，该系统实质上是设置了多个模块用以执行上述任一实施例中的方法，具体功能和技术效果参照上述实施例一即可，此处不再赘述。

参见图4，本发明实施例还提供了一种电子设备1300，包括处理器1301、存储器1302和通信总线1303；

通信总线1303用于将处理器1301和存储器连接1302；

处理器1301用于执行存储器1302中存储的计算机程序，以实现如上述实施例一中的一个或多个所述的方法。

本发明实施例还提供了一种计算机可读存储介质，其特征在于，其上存储有计算机程序，

计算机程序用于使计算机执行如上述实施例一中的任一项所述的方法。

本申请实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在设备时，可以使得该设备执行本申请实施例的实施例一所包含步骤的指令(instructions)。

需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF(射频)等等，或者上述的任意合适的组合。

上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本公开各种实施例的方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。