用于体腔内的自定义目标追踪方法及系统

技术领域

本发明涉及计算机技术领域，尤其涉及一种用于体腔内的自定义目标追踪方法及系统。

背景技术

当今，人工智能在微创手术领域的应用和研究主要集中在人体器官、手术器械等常规且通用的对象。但术中某些阶段的特定结构如一块病灶、一段粘连等，对手术的成败有着至关重要的作用。主刀医生需要时刻关注这些关键结构的位置、状态、变化，以确保手术高质高效进行。然而，目前缺乏对于此特定场景下的研究，从它需要在线学习并适应对象的变化这个特点来看，目标跟踪是相对合理的路线。

目前主流的目标跟踪为深度学习方法。深度学习方法大多在自然场景下的特定目标上进行了预训练，应用于常规目标效果较好，但在这种未见过的体腔内特殊场景下，表现并不能让人满意。

发明内容

本发明的目的就在于为了解决上述问题设计了一种用于体腔内的自定义目标追踪方法及系统。

本发明通过以下技术方案来实现上述目的：

用于体腔内的自定义目标追踪系统，包括：

采集模块；采集模块用于采集手术视频；

触摸显示屏；触摸显示屏用于在初始图片中选定目标对象，以及显示实时追踪过程；

中央处理器；中央处理器包括数据分析模块和判断模块；数据分析模块用于计算分析当前帧的追踪区域图像与初始帧的第一相似度、当前帧的追踪区域图像与前一帧图像的位置重叠程度、当前帧的追踪区域图像与前一帧的第二相似度，判断模块用于判断第一相似度、第二相似度和位置重叠程度是否均未超过对应的预设阈值，采集模块的数据信号输出端与中央处理器的数据信号输入端连接，触摸显示屏的信号端与中央处理器的信号端连接；

数据库；数据库内包括追踪队列，数据库的信号端与中央处理器的信号端连接。

用于体腔内的自定义目标追踪方法，应用于如上述的用于体腔内的自定义目标追踪系统，包括：

S1、获取体腔内包含目标对象的初始图片；

S2、显示初始图片，在初始图片中选定目标对象，并将初始图片作为追踪的初始帧；

S3、实时获取体腔内的追踪区域图像；

S4、分析当前帧的追踪区域图像与初始帧的第一相似度、当前帧的追踪区域图像与前一帧图像的位置重叠程度；

S5、判断第一相似度和位置重叠程度是否均未超过对应的预设阈值，若是返回S3继续追踪，并维护追踪队列，反之则中止追踪，并开始计算当前中止追踪时长，并进入S6；

S6、获取下一帧的追踪区域图像，分析下一帧的追踪区域图像的特征与追踪队列中的特征计算第二相似度，判断第二相似度是否超过预设阈值，若是则恢复追踪状态，并返回S3继续追踪，反之则进入S7；

S7、判断当前中止追踪时长是否超过预设阈值时，若是则将下下帧作为下一帧，并返回S6，反之则结束追踪。

本发明的有益效果在于：该系统结合计算机视觉技术和云端同步技术，在传统追踪算法的基础上，结合微创手术的实际情况，做了改进和优化，能够最大程度避免追踪中的“模板漂移”问题，同时能够从长距离、完全遮挡中恢复目标的追踪状态。同时，这套系统可以在术中关键提示，手术远程指导等场景下发挥用处，通过视觉辅助，提高医生操作的准确率，降低手术损伤。

附图说明

图1是本发明用于体腔内的自定义目标追踪方法的流程示意图；

图2是本发明用于体腔内的自定义目标追踪方法的追踪中止判断流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本发明的描述中，需要理解的是，术语“上”、“下”、“内”、“外”、“左”、“右”等指示的方位或位置关系为基于附图所示的方位或位置关系，或者是该发明产品使用时惯常摆放的方位或位置关系，或者是本领域技术人员惯常理解的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的设备或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，“设置”、“连接”等术语应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接连接，也可以通过中间媒介间接连接，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

下面结合附图，对本发明的具体实施方式进行详细说明。

用于体腔内的自定义目标追踪系统，包括：

采集模块；采集模块用于采集手术视频；

触摸显示屏；触摸显示屏用于在初始图片中选定目标对象，以及显示实时追踪过程；

中央处理器；中央处理器包括数据分析模块和判断模块；数据分析模块用于计算分析当前帧的追踪区域图像与初始帧的第一相似度、当前帧的追踪区域图像与前一帧图像的位置重叠程度、当前帧的追踪区域图像与前一帧的第二相似度，判断模块用于判断第一相似度、第二相似度和位置重叠程度是否均未超过对应的预设阈值，采集模块的数据信号输出端与中央处理器的数据信号输入端连接，触摸显示屏的信号端与中央处理器的信号端连接；

数据库；数据库内包括追踪队列，数据库的信号端与中央处理器的信号端连接。

中央处理器还包括特征分析模块，特征分析模块用于分析初始帧的模板特征和追踪队列的特征。

如图1、图2所示，用于体腔内的自定义目标追踪方法，应用于如上述的用于体腔内的自定义目标追踪系统，包括：

S1、获取体腔内包含目标对象的初始图片。

S2、显示初始图片，在初始图片中选定目标对象，并将初始图片作为追踪的初始帧，并计算初始帧的模板特征；计算初始帧的模板特征具体为：

1）、给定特征

2）、将每个通道分开计算，则最优相关滤波器需要最小化的目标函数表示为

3）、对目标函数进行傅里叶变换，表示为

4）、模板特征h的求解形式表示为

S3、实时获取体腔内的追踪区域图像。

S4、分析当前帧i的追踪区域图像与初始帧的第一相似度、当前帧i的追踪区域图像与前一帧i-1的图像的位置重叠程度；

计算第一相似度具体包括：

①、计算当前帧i的追踪区域图像的主色直方图，并进行归一化；

②、计算归一化后的当前帧i的追踪区域图像的主色直方图与初始帧的主色直方图的余弦距离作为第一相似度；

计算位置重叠程度具体包括：

（1）、获取目标对象的追踪框在当前帧i的追踪区域图像和前一帧i-1的位置信息，当前帧i的追踪区域图像的位置信息的左上和右下两个点的坐标分别表示为（x

（2）、计算当前帧i的追踪区域图像和前一帧i-1的位置信息计算交并比iou作为位置重叠程度。

S5、判断第一相似度和位置重叠程度是否均未超过对应的预设阈值，若是返回S3继续追踪，并维护形成追踪队列，反之则中止追踪，并开始计算当前中止追踪时长，并进入S6；

维护追踪队列具体为：把前n帧的特征放入追踪队列，当追踪成功时，更新追踪队列，加入当前帧i的特征，丢掉追踪队列中最远距离帧的特征；而追踪中止时，保存追踪队列状态。

S6、获取下一帧i+1的追踪区域图像，分析下一帧i+1的追踪区域图像的特征与追踪队列中的特征计算第二相似度，判断第二相似度是否超过预设阈值，若是则恢复追踪状态，并返回S3继续追踪，反之则进入S7；具体包括：

S61、计算下一帧i+1的追踪区域图像的主色直方图，并进行归一化；

S62、逐一计算归一化后的下一帧i+1的追踪区域图像的主色直方图与追踪队列中每一帧的主色直方图的余弦距离；

S63、选择最大的余弦距离作为第二相似度；

S64、判断第二相似度是否超过预设阈值，若是则恢复追踪状态，并返回S3继续追踪，反之则进入S7。

S7、判断当前中止追踪时长是否超过预设阈值时，若是则将下下帧i+2作为下一帧i+1，即令i+1=(i+1)+1，并返回S6，反之则结束追踪。

增加了区域特征比对以及相邻帧追踪框的iou位置过滤。模板特征比对使用追踪区域的主色直方图作为特征，每追踪一帧，计算区域的主色直方图，归一化之后跟初始帧的主色直方图计算于余弦距离，当距离超过阈值则认为区域图像相差过大，追踪状态变为中止，避免模板的误差累计造成误追踪。同时，保存每一帧追踪框的位置信息，由左上和右下两个点的xy坐标来表示，用当前帧的追踪框位置和上一帧追踪框的位置计算iou（交并比），该数值反映了相邻帧之间追踪框位置的位移程度。iou小于阈值，则说明一帧之内目标位移太大，很可能是模板累计误差过大，导致特征转移到了其他物体上，这时也需要中止追踪状态。这两个策略同时判定，组成了逻辑“或”的关系，只要一个状态没有满足，便断开追踪状态，严格抑制了模板漂移问题。

在本方法下，镜头的运动，器官、器械的遮挡等都会使得在视野中看不见目标，追踪状态就会及时断开，避免误追踪。而在大部分情况下，一段时间后，随着器官回位，器械移走，我们之前追踪的目标又会出现在视野中，这时断开的追踪器就不能再继续追踪目标了。在腹腔镜手术场景下，镜头运动的同时目标也在运动，这样交替重叠的场景十分常见，不能从完全丢失中找回目标的话，这项技术很容易达到瓶颈，实用性大打折扣。我们通过一个维护一个动态特征队列解决了这个问题。

维护一个动态特征队列，在成功追踪状态下，把前n帧的目标特征放入队列，当追踪成功时，更新队列，加入当前帧的特征，丢掉队列中最远距离帧的特征；而追踪中止时，保存队列状态，在下一帧追踪出来的目标，在队列中逐一比对，如果最大第二相似度大于了设定的阈值，便认为当前目标是之前追踪的目标，恢复其追踪状态。而在给定的长时间下追踪不到此目标的时候，便可以把追踪的状态由中止改为断开，结束此目标的追踪状态。

本发明的技术方案不限于上述具体实施例的限制，凡是根据本发明的技术方案做出的技术变形，均落入本发明的保护范围之内。