一种外科手术AR辅助设备

技术领域

本发明属于手术辅助设备技术领域，具体而言，涉及一种外科手术AR辅助设备。

背景技术

外科手术过程中，手术处理区域容易被血水阻挡视野，比如切开的伤口，会渗血渗液，混成的血水会往手术操作范围内慢慢流，看不到手术范围内的细节，手术医护人员通过使用负压吸引器和纱布对血液进行清理，其中负压吸引器是通过一定方法制造其吸引头的负压状态，吸引头外的物质向吸引头挤压，从而完成“血液吸引”效果的工具；纱布直接贴到血液处进行吸取。

为了使医生能够清晰的了解手术器械相对病人解剖结构的位置，不少医院普遍采用计算机辅助导航技术，该导航技术的工作原理为：在患者的手术部位附近和手术器械上安装能够发出信号的装置，通常采用红外线作为发射源、CCD(电荷耦合元件)相机为接收器，利用发出的信号对患者的骨骼位置和手术器械的位置以及运动轨迹进行跟踪，同时将这些信息通过显示器展示给医生；在术中进行患者手术部位的X线透视，并将透视图像与得到的患者骨骼位置和手术器械位置图像进行合成，从而得到医生进行手术采用的导航图像。

不过，由于当前的手术导航技术中没有对外科手术过程中的血液遮挡进行处理，因此在外科手术过程中，医护人员容易被血液遮挡视线，影响外科手术的顺利进行。

发明内容

有鉴于此，本发明提供一种外科手术AR辅助设备，能够对外科手术过程中的血液遮挡进行处理，有效解决医护人员容易被血液遮挡视线，影响外科手术的顺利进行的技术问题。

本发明是这样实现的：

本发明提供一种外科手术AR辅助设备，其中，包括AR眼镜以及控制系统；

其中，AR眼镜包括眼镜本体，所述AR眼镜是光波导AR眼镜，所述眼镜本体上设置有第一采集摄像头组和第二采集摄像头组，所述第一采集摄像头组正向设置在眼镜本体上，用于采集AR眼镜外部图像，所述第二采集摄像头组反向设置在眼镜本体上，用于采集使用者的眼睛图像；

所述控制系统包括第一采集模块、第二采集模块、手术辅助成像模块、校准模块、指令接收模块以及输出模块；

其中，所述第一采集模块用于接收第一采集摄像头组采集的外部图像，

所述第二采集模块用于接收第二采集摄像头组采集的使用者眼睛图像；

所述指令接收模块用于接收使用者的指令；

所述手术辅助成像模块用于对采集的图像进行处理并形成目标图像；

所述校准模块用于训练图像形变方案，其中图像形变方案包括左图像偏移度、左图像旋转角度、左图像缩放度以及右图像偏移度、右图像旋转角度、右图像缩放度；

所述输出模块用于将目标图像传输给AR眼镜进行显示。

所述控制系统可以部署在服务器上，所述AR眼镜上还设置有通信模块，所述通信模块用于实现所述控制系统所部署的服务器与所述AR眼镜进行数据传输。所述服务器可以是本地服务器或云端服务器。

上述方案的有益效果是：

由于每个使用者的眼睛状态不同，且当使用者调整视角时，会引发眼睛状态的变化，此时若AR眼镜镜片上显示图像不根据使用者眼睛状态变化进行调整，则会使得使用者眼睛看到的图像不自然。因此，需要随着使用者眼睛状态的不同，实时调整AR眼镜左右两个镜片上的目标图像。利用校准模块得到图像形变方案，并利用图像形变方案对目标图像进行处理，得到的目标图像，能够跟随使用者眼睛状态的不同而变化，使得目标图像的被使用者接收到之后减小对比实际物体方位产生的偏移或形变。此时使用者同时看到的是外部实际图像和眼镜上的图像，得到两者完全匹配的视觉效果。

在上述技术方案的基础上，本发明的一种外科手术AR辅助设备还可以做如下改进：

其中，所述手术辅助成像模块用于执行手术辅助成像的步骤，所述手术辅助成像的步骤包括：

S100：对外部图像进行合并处理得到第一外部图像；

S200：对第一外部图像进行遮挡透过处理得到第二外部图像，其中，遮挡主要外科手术过程中出现的患者渗出脓血的遮挡，主要是渗出的血液遮挡；

S300：对使用者眼睛图像进行处理得到使用者眼睛状态，其中眼睛状态包括瞳孔位置、瞳孔尺寸；

S400：将使用者眼睛状态录入预先训练好的AR成像模型，并计算得到左右两个镜片的实时图像形变方案，其中所述AR成像模型在所述校准模块中完成预先训练；

S500：根据得到的左右两个镜片的实时显示中心和图像形变方案，对第二外部图像进行处理生成左右两个镜片的实时图像作为目标图像，其中目标图像包括需显示在左镜片的左目标图像以及需显示在右镜片的右目标图像。

采用上述改进方案的有益效果为：由于瞳孔的位置、尺寸会影响到使用者眼睛接受的图像的形变，且每个人的瞳孔位置、瞳孔尺寸有所不同，因此，利用神经网络训练的方式对形成实时图像形变方案，有利于得到更优化的实时图像形变方案，使得目标图像的被使用者接收到之后减小对比实际物体方位产生的偏移或形变。

遮挡透过处理后的第二外部图像，能够有效减少血液等对手术部位造成的遮挡。

进一步的，所述校准模块用于执行建立AR成像模型进行训练的步骤，包括：

第一步：构建训练样本，具体包括：

a.获取使用者的眼睛状态；

b.根据所获取的使用者眼睛状态，通过手术辅助成像模块获取预定校准图案的左目标图像和右目标图像；

c.对左目标图像和右目标图像进行图像重叠训练，得到形变方案，并与a步骤中的眼睛状态组合为一个样本向量，表示为[A，B]，其中，A表示使用者眼睛状态，B表示图像形变方案；

d.当使用者调整眼睛状态，重复步骤a-b-c，以新得到的样本向量；

e.将得到的多个样本向量组合为样本矩阵X；

第二步：设计网络架构和初始化，具体是：构建一个卷积神经网络，其中包含1个输入层，3个卷积层，3个Relu非线性激活层，3个池化层，1个全连接层以及1个输出层；

第三步：通过卷积神经网络训练得到AR成像模型，具体包括前向传播网络训练和反向传播网络训练两个阶段，所述前向传播网络训练是，输入A并通过手术辅助成像模块获取B；所述反向传播网络训练是，当向前传播网络训练的输出结果使与操作人员的图像重叠训练不匹配时，采用随机梯度下降优化算法进行反向传播网络训练，更新卷积层的参数。

采用上述改进方案的有益效果为：利用包括前向传播网络训练和反向传播网络训练两个阶段的卷积神经网络，能够更好的修正训练结果，提高模型的准确度。

进一步的，所述“对左目标图像和右目标图像进行图像重叠训练”的具体步骤包括：

第1步：固定左目标图像，并以右目标图像的中心点为极坐标原点，将右目标图像的中心点在极坐标上进行遍历移动，当获取到使用者的停止遍历指令时，停止遍历，以此时的右目标图像的中心点极坐标作为右图像偏移度；

第2步：固定左目标图像，并将右目标图像围绕中心点做震荡旋转，当获取到使用者的停止旋转指令时，停止旋转，以此时的右目标图像的中心点的偏移角度作为右图像旋转角度；

第3步：固定左目标图像，并以右目标图像的中心点作为固定点，将右目标图像进行震荡缩放，当获取到使用者的停止缩放指令时，停止缩放，以此时右目标图像的缩放度作为右图像缩放度；

第4步：按照同样图像偏移度、图像旋转角度以及图像缩放度同步调整左目标图像和右目标图像，当获取到使用者的停止同步指令时，停止左目标图像和右目标图的同步调整，以此时的左目标图像的偏移度、图像旋转角度以及图像缩放度作为左图像偏移度、左图像旋转角度以及左图像缩放度，以此时的右目标图像的偏移度、图像旋转角度以及图像缩放度作为右图像偏移度、右图像旋转角度以及右图像缩放度；

第5步：重复步骤1-4，不断更新优化图像形变方案，等接收到使用者的停止训练指令时，迭代停止。

采用上述改进方案的有益效果为：利用迭代的方式对形变方案进行重叠训练，可以是的形变方案更加准确。

进一步的，所述“对第一外部图像进行血遮挡透过处理得到第二外部图像”具体包括如下步骤：

首先，判断第一外部图像当前帧是否存在遮挡；

其次，第一外部图像当前帧存在遮挡，则对第一外部图像的帧序列中，向前依次寻找没有遮挡的帧作为比对帧；

再次，寻找比对帧中与当前帧中重合的区域，将比对帧中的外形轮廓线进行高亮，并将高亮的外形轮廓线作为第二外部图像。

采用上述改进方案的有益效果为：以高亮的外形轮廓线作为第二外部图像，由于第二外部图像只需要通过形变方案转变为光波导AR眼镜上显示的目标图像，因此可以使得使用者在透过光波导AR眼镜看到的实际图像中，融合了目标图像，使得手术过程中的外形轮廓线精确叠加在实际图像中，方便手术的进行。

进一步的，所述“判断第一外部图像当前帧是否存在遮挡”的步骤包括：

对所述第一外部图像当前帧进行掩膜处理得到掩膜图像；

将所述掩膜图像输入混合高斯背景模型，并利用所述掩膜图像的像素值更新所述混合高斯背景模型；

通过更新后的混合高斯背景模型，若前景区域的像素所占比例超过遮挡最低阈值，则认为当前帧存在遮挡。

进一步的，所述“将所述掩膜图像输入混合高斯背景模型，并利用所述掩膜图像的像素值更新所述混合高斯背景模型”的具体步骤包括：

步骤1、将所述第一外部图像的任一像素点的像素值qt与对应的多个高斯模型进行匹配，其中，qt为任一像素点在t时刻的像素值；

步骤2、判断是否存在与所述qt相匹配的高斯模型，若是，进入步骤6，否则进入步骤3；

步骤3、判断所述任一像素点对应的高斯模型的个数是否小于K，若是，进入步骤4，否则进入步骤5；

步骤4、为所述任一像素点建立新高斯模型，所建立的新高斯模型的均值等于所述qt，所述新高斯模型的方差和权重为默认的初始值；

步骤5、使用新高斯模型替换K个高斯模型中的权重最小的高斯模型，所述新高斯模型的均值等于所述qt，所述新高斯模型的方差和权重为默认的初始值；

步骤6、使用权重公式W

步骤7、使用该像素点的像素值qt更新上述像素点所对应的多个高斯模型的均值和方差。

所述基于所述眼球位置数据、所述瞳孔参考位置数据、所述第一候选位置数据集合和所述第二候选位置数据集合，确定瞳孔中心位置数据，包括：

根据所述瞳孔参考位置数据、所述第一候选位置数据集合和所述第二候选位置数据集合，确定第一参数集合；

根据所述眼球位置数据、所述第一候选位置数据集合和所述第二候选位置数据集合，确定第二参数集合；

根据所述第一参数集合和所述第二参数集合，确定所述瞳孔中心位置数据；

根据所述瞳孔参考位置数据、所述第一候选位置数据集合和所述第二候选位置数据集合，确定第一参数集合，包括：

根据左瞳孔中心对应的初始三维坐标数据、右瞳孔中心对应的初始三维坐标数据以及每个候选位置数据组，确定每个候选位置数据组对应的第一参数，得到候选位置数据组集合对应的第一参数集合，具体可以采用如下公式确定第一参数集合：

其中，

其中，所述“通过更新后的混合高斯背景模型，若前景区域的像素数量所占比例超过最低阈值，则认为当前帧存在遮挡”的步骤包括：

将当前时刻所述掩膜图像的任一像素点对应的多个高斯模型按重要性进行降序排列，其中，所述重要性的计算方式为：

其中，E

若最小的重要性大于预设阈值T，判定所述任一像素点在当前帧为前景点；若最小的重要性小于预设阈值T，判定所述任一像素点在当前帧为背景点；

计算前景点像素数量所占总像素的比例，若所述比例超过遮挡最低阈值，则认为当前帧存在遮挡。

其中，所述“对使用者眼睛图像进行处理得到使用者眼睛状态”的步骤具体包括：

从使用者眼睛图像中获取眼球中心对应的眼球位置数据、瞳孔尺寸数据、瞳孔中心对应的瞳孔参考位置数据、第一瞳孔候选区域和第二瞳孔候选区域；

从所述第一瞳孔候选区域中确定第一候选位置数据集合；

从所述第二瞳孔候选区域中确定第二候选位置数据集合；

基于所述眼球位置数据、所述瞳孔参考位置数据、所述第一候选位置数据集合和所述第二候选位置数据集合，确定瞳孔中心位置数据。

其中，所述第一采集摄像头组中的摄像头数量为至少1个，所述第二采集摄像头组中的摄像头数量为至少2个，且所述第二摄像头组中摄像头数量为偶数，在所述AR眼镜上对称设置。

与现有技术相比较，本发明提供的一种外科手术AR辅助设备的有益效果是：由于每个使用者的眼睛状态不同，且当使用者调整视角时，会引发眼睛状态的变化，此时若AR眼镜镜片上显示图像不根据使用者眼睛状态变化进行调整，则会使得使用者眼睛看到的图像不自然。因此，需要随着使用者眼睛状态的不同，实时调整AR眼镜左右两个镜片上的目标图像。利用校准模块得到图像形变方案，并利用图像形变方案对目标图像进行处理，得到的目标图像，能够跟随使用者眼睛状态的不同而变化，使得目标图像的被使用者接收到之后减小对比实际物体方位产生的偏移或形变。此时使用者同时看到的是外部实际图像和眼镜上的图像，得到两者完全匹配的视觉效果。以高亮的外形轮廓线作为第二外部图像，由于第二外部图像只需要通过形变方案转变为光波导AR眼镜上显示的目标图像，因此可以使得使用者在透过光波导AR眼镜看到的实际图像中，融合了目标图像，使得手术过程中的外形轮廓线精确叠加在实际图像中，方便手术的进行。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为手术辅助成像步骤的流程图。

具体实施方式

为使本发明实施方式的目的、技术方案和优点更加清楚，下面将结合本发明实施方式中的附图，对本发明实施方式中的技术方案进行清楚、完整地描述，显然，所描述的实施方式是本发明一部分实施方式，而不是全部的实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

因此，以下对在附图中提供的本发明的实施方式的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施方式。基于本发明中的实施方式，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施方式，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的设备或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

发明提供的一种外科手术AR辅助设备，包括AR眼镜以及控制系统：

其中，AR眼镜包括眼镜本体，AR眼镜是光波导AR眼镜，眼镜本体上设置有第一采集摄像头组和第二采集摄像头组，第一采集摄像头组正向设置在眼镜本体上，用于采集AR眼镜外部图像，第二采集摄像头组反向设置在眼镜本体上，用于采集使用者的眼睛图像；

控制系统包括第一采集模块、第二采集模块、手术辅助成像模块、校准模块、指令接收模块以及输出模块；

其中，第一采集模块用于接收第一采集摄像头组采集的外部图像，

第二采集模块用于接收第二采集摄像头组采集的使用者眼睛图像；

指令接收模块用于接收使用者的指令；

手术辅助成像模块用于对采集的图像进行处理并形成目标图像；

校准模块用于训练图像形变方案，其中图像形变方案包括左图像偏移度、左图像旋转角度、左图像缩放度以及右图像偏移度、右图像旋转角度、右图像缩放度；

输出模块用于将目标图像传输给AR眼镜进行显示。

第一采集摄像头组正向设置在眼镜本体上，具体为第一采集摄像头组设置在眼镜本体上，包括设置在眼镜腿的前端顶部、前端侧壁上、或者眼镜框的外侧面上，设置的要求是第一采集摄像头的镜头朝向眼镜本体的前方；第二采集摄像头组反向设置在眼镜本体上，具体为第二采集摄像头组设置在眼镜框的内侧面上，设置的要求是第二采集摄像头组的镜头能够采集到使用者的眼镜图像。其中，第一采集摄像头组中的摄像头数量为至少1个，第二采集摄像头组中的摄像头数量为至少2个，且第二摄像头组中摄像头数量为偶数，在眼镜上对称设置。

控制系统可以部署在服务器上，AR眼镜上还设置有通信模块，通信模块用于实现控制系统所部署的服务器与AR眼镜进行数据传输。服务器可以是本地服务器或云端服务器。

如图1所示，在上述技术方案中，手术辅助成像模块用于执行手术辅助成像的步骤，手术辅助成像的步骤包括：

S100：对外部图像进行合并处理得到第一外部图像；

S200：对第一外部图像进行遮挡透过处理得到第二外部图像，其中，遮挡主要外科手术过程中出现的患者渗出脓血的遮挡，主要是渗出的血液遮挡；

S300：对使用者眼睛图像进行处理得到使用者眼睛状态，其中眼睛状态包括瞳孔位置、瞳孔尺寸；

S400：将使用者眼睛状态录入预先训练好的AR成像模型，并计算得到左右两个镜片的实时图像形变方案，其中AR成像模型在校准模块中完成预先训练；

S500：根据得到的左右两个镜片的实时显示中心和图像形变方案，对第二外部图像进行处理生成左右两个镜片的实时图像作为目标图像，其中目标图像包括需显示在左镜片的左目标图像以及需显示在右镜片的右目标图像。

公开号为CN109889736B的中国发明专利(专利号CN201910024692.6)公开了一种基于双摄像头、多摄像头的图像获取方法、装置及设备，其中基于双摄像头的图像获取方法包括：获取第一摄像头拍摄的第一图像以及与第一摄像头同时拍摄的第二摄像头拍摄的第二图像；经由几何光学获得第一图像与第二图像的重叠区域；在第一图像中去除重叠区域，获得去除重叠区域后的备用图像；拼接备用图像与第二图像。

在本申请的技术方案中，对于步骤S100，当第一采集摄像头组中摄像头数量为1个时，以第一采集摄像头组中摄像头采集的图像为外部图像；当第一采集摄像头组中摄像头数量为1个以上时，采用CN109889736B专利公开的思路进行合并处理，具体如下：

获取第一摄像头拍摄的第一图像以及与第一摄像头同时拍摄的第二摄像头拍摄的第二图像；

经由几何光学获得第一图像与第二图像的重叠区域；

在第一图像中去除重叠区域，获得去除重叠区域后的备用图像；

比较备用图像的第一像素点与第二图像的第二像素点；

在备用图像中删除与第二像素点相同的第一像素点，从而获得用于拼接使用的备用图像；

拼接备用图像与第二图像；经由几何光学获得第一图像与第二图像的重叠区域的步骤，包括：

建立第一摄像头的第一取景边界函数与第二摄像头的第二取景边界函数，计算出第一取景边界函数与第二取景边界函数的取景边界相交曲线函数；

获取物距，将物距代入取景边界相交曲线函数中，得到第一相交曲线函数；

根据成像原理，计算出第一相交曲线函数通过第一摄像头成像的第一相交曲线成像函数，第一相交曲线成像函数所围成的区域即为第一图像与第二图像的重叠区域。

其中获取物距的步骤为：

通过第一摄像头获取暂时图像，接收用户在暂时图像中选择的拍摄对象；

打开第二摄像头，利用双摄像头测距原理，获得拍摄对象与第一摄像头、第二摄像头所在平面间的距离，并将距离设置为物距。

进一步的，在上述技术方案中，校准模块用于执行建立AR成像模型进行训练的步骤，包括：

第一步：构建训练样本，具体包括：

a.获取使用者的眼睛状态；

b.根据所获取的使用者眼睛状态，通过手术辅助成像模块获取预定校准图案的左目标图像和右目标图像；

c.对左目标图像和右目标图像进行图像重叠训练，得到形变方案，并与a步骤中的眼睛状态组合为一个样本向量，表示为[A，B]，其中，A表示使用者眼睛状态，B表示图像形变方案；

d.当使用者调整眼睛状态，重复步骤a-b-c，以新得到的样本向量；

e.将得到的多个样本向量组合为样本矩阵X；

第二步：设计网络架构和初始化，具体是：构建一个卷积神经网络，其中包含1个输入层，3个卷积层，3个Relu非线性激活层，3个池化层，1个全连接层以及1个输出层；

第三步：通过卷积神经网络训练得到AR成像模型，具体包括前向传播网络训练和反向传播网络训练两个阶段，前向传播网络训练是，输入A并通过手术辅助成像模块获取B；反向传播网络训练是，当向前传播网络训练的输出结果使与操作人员的图像重叠训练不匹配时，采用随机梯度下降优化算法进行反向传播网络训练，更新卷积层的参数。

其中，X表示为X＝[A

进一步的，在上述技术方案中，“对左目标图像和右目标图像进行图像重叠训练”的具体步骤包括：

第1步：固定左目标图像，并以右目标图像的中心点为极坐标原点，将右目标图像的中心点在极坐标上进行遍历移动，当获取到使用者的停止遍历指令时，停止遍历，以此时的右目标图像的中心点极坐标作为右图像偏移度；

第2步：固定左目标图像，并将右目标图像围绕中心点做震荡旋转，当获取到使用者的停止旋转指令时，停止旋转，以此时的右目标图像的中心点的偏移角度作为右图像旋转角度；

第3步：固定左目标图像，并以右目标图像的中心点作为固定点，将右目标图像进行震荡缩放，当获取到使用者的停止缩放指令时，停止缩放，以此时右目标图像的缩放度作为右图像缩放度；

第4步：按照同样图像偏移度、图像旋转角度以及图像缩放度同步调整左目标图像和右目标图像，当获取到使用者的停止同步指令时，停止左目标图像和右目标图的同步调整，以此时的左目标图像的偏移度、图像旋转角度以及图像缩放度作为左图像偏移度、左图像旋转角度以及左图像缩放度，以此时的右目标图像的偏移度、图像旋转角度以及图像缩放度作为右图像偏移度、右图像旋转角度以及右图像缩放度；

第5步：重复步骤1-4，不断更新优化图像形变方案，等接收到使用者的停止训练指令时，迭代停止。

其中，遍历移动的方式为：

首先，确定一个初始长度d，一般的d为0.05～0.2mm；

其次，以d为半径，以极坐标原点为圆心，对右目标图像的中心点进行圆周移动；

再次，将d增加一个初始长度，即d＝d+d，重复上一步骤并继续迭代重复本步骤。

从使用者的观察角度来看，左目标图像没有变动，右目标图像在遍历运动，当使用者发现右目标图像的中心点与左目标图像重合时，发出停止遍历指令。

其中，震荡旋转的方式为：

首先，确定一个初始角度θ，一般的θ为0.01°～0.1°；

其次，围绕右目标图像中心点，依次将右目标图像旋转θ和-θ；

再次，将θ增加一个初始角度的增量，即θ＝θ+θ，重复上一步骤并迭代重复本步骤。

从使用者的观察角度来看，左目标图像没有变动，右目标图像在围绕其中心点在依次增大震荡旋转，当使用者发现右目标图像的直线与左目标图像的直线基本重合或基本平行时，发出停止旋转指令。

其中，震荡缩放的方式为：

首先，确定一个初始缩放度μ，一般的μ为0.01％～0.1％；

其次，以右目标图像中心点为固定点，依次将右目标图像缩放μ和-μ；

再次，将μ增加一个初始缩放度的增量，即μ＝μ+μ，重复上一步骤并迭代重复本步骤。

从使用者的观察角度来看，左目标图像没有变动，右目标图像以其中心点为固定点进行缩放度依次增大的缩放变化，当使用者发现右目标图像与左目标图像重合或基本重合时，发出停止缩放指令。

进一步的，在上述技术方案中，“对第一外部图像进行血遮挡透过处理得到第二外部图像”具体包括如下步骤：

首先，判断第一外部图像当前帧是否存在遮挡；

其次，第一外部图像当前帧存在遮挡，则对第一外部图像的帧序列中，向前依次寻找没有遮挡的帧作为比对帧；

再次，寻找比对帧中与当前帧中重合的区域，将比对帧中的外形轮廓线进行高亮，并将高亮的外形轮廓线作为第二外部图像。

外形轮廓线指的是外科手术过程中的器官、血管、骨骼等的外形轮廓线，高亮的方式为提高外形轮廓线的亮度；

公开号CN106875410B的中国专利(申请号CN201710071589.8)公开了一种图像轮廓自动提取方法及系统，方法包括：预设一二维断层图像种子点，获取断层图像的目标图像区域；根据预设的像素阈值范围对目标图像区域进行第一次区域生长，得到二值图像；然后对二值图像进行第二次区域生长；对进行第二次区域生长后的二值图像进行膨胀，并提取膨胀后的二值图像的轮廓；计算轮廓的重心，将重心作为相邻图像层的种子点；根据相邻图像层的种子点获取相邻图像层的目标图像区域。

在本方案中，涉及到“将比对帧中的外形轮廓线进行高亮”，需要寻找外科手术过程中的器官、血管、骨骼等的外形轮廓线，使用上述发明的思路实现，具体为：

预设对比帧的种子点，根据种子点获取对比帧的目标图像区域；

根据预设的像素阈值范围对目标图像区域进行第一次区域生长，得到二值图像；

基于二值图像中像素值为255的像素点预设一圆形目标区域，根据圆形目标区域对二值图像进行第二次区域生长；

对进行第二次区域生长后的二值图像进行膨胀，并提取膨胀后的二值图像的轮廓；

计算得到轮廓的重心，并将重心作为与一对比帧相邻的对比帧的种子点；

根据相邻的对比帧的种子点，获取相邻的对比帧的目标图像区域；

继续执行根据预设的像素阈值范围对目标图像区域进行第一次区域生长，得到二值图像的步骤；

“根据预设的像素阈值范围对目标图像区域进行第一次区域生长”具体为：

判断目标图像区域内一像素点的像素值是否在预设的像素阈值范围内；

若是，则将一像素点的像素值重设为255；

若否，则将一像素点的像素值重设为0；

“基于二值图像中像素值为255的像素点预设一圆形目标区域，根据圆形目标区域对二值图像进行第二次区域生长”具体包括：

以二值图像上像素值为255的像素点为圆心，以预设的半径作圆；

判断圆内的其余像素点的像素值是否均为255；

若否，则将作为圆心的像素点的像素值重设为0；

判断进行第二次区域生长后的二值图像中的像素点的像素值是否均为0；

若是，则减小预设的半径；

重新执行以二值图像上像素值为255的像素点为圆心，以预设的半径作圆的步骤。

进一步的，在上述技术方案中，“判断第一外部图像当前帧是否存在遮挡”的步骤包括：

对第一外部图像当前帧进行掩膜处理得到掩膜图像；

将掩膜图像输入混合高斯背景模型，并利用掩膜图像的像素值更新混合高斯背景模型；

通过更新后的混合高斯背景模型，若前景区域的像素所占比例超过遮挡最低阈值，则认为当前帧存在遮挡。

掩模是由0和1组成的一个二进制图像。当在某一功能中应用掩模时，1值区域被处理，被屏蔽的0值区域不被包括在计算中。通过指定的数据值、数据范围、有限或无限值、感兴趣区和注释文件来定义图像掩模，也可以应用上述选项的任意组合作为输入来建立掩模。数字图像处理中，图像掩模主要用于：

①提取感兴趣区，用预先制作的感兴趣区掩模与待处理图像相乘，得到感兴趣区图像，感兴趣区内图像值保持不变，而区外图像值都为0。

②屏蔽作用，用掩模对图像上某些区域作屏蔽，使其不参加处理或不参加处理参数的计算，或仅对屏蔽区作处理或统计。

③结构特征提取，用相似性变量或图像匹配方法检测和提取图像中与掩模相似的结构特征。

④特殊形状图像的制作。用选定的图像、图形或物体，对待处理的图像(全部或局部)进行遮挡，来控制图像处理的区域或处理过程。用于覆盖的特定图像或物体称为掩模或模板。

进一步的，在上述技术方案中，“将掩膜图像输入混合高斯背景模型，并利用掩膜图像的像素值更新混合高斯背景模型”的具体步骤包括：

步骤1、将第一外部图像的任一像素点的像素值qt与对应的多个高斯模型进行匹配，其中，qt为任一像素点在t时刻的像素值；

步骤2、判断是否存在与qt相匹配的高斯模型，若是，进入步骤6，否则进入步骤3；

步骤3、判断任一像素点对应的高斯模型的个数是否小于K，若是，进入步骤4，否则进入步骤5；

步骤4、为任一像素点建立新高斯模型，所建立的新高斯模型的均值等于qt，新高斯模型的方差和权重为默认的初始值；

步骤5、使用新高斯模型替换K个高斯模型中的权重最小的高斯模型，新高斯模型的均值等于qt，新高斯模型的方差和权重为默认的初始值；

步骤6、使用权重公式W

步骤7、使用该像素点的像素值qt更新上述像素点所对应的多个高斯模型的均值和方差。

基于眼球位置数据、瞳孔参考位置数据、第一候选位置数据集合和第二候选位置数据集合，确定瞳孔中心位置数据，包括：

根据瞳孔参考位置数据、第一候选位置数据集合和第二候选位置数据集合，确定第一参数集合；

根据眼球位置数据、第一候选位置数据集合和第二候选位置数据集合，确定第二参数集合；

根据第一参数集合和第二参数集合，确定瞳孔中心位置数据；

根据瞳孔参考位置数据、第一候选位置数据集合和第二候选位置数据集合，确定第一参数集合，包括：

根据左瞳孔中心对应的初始三维坐标数据、右瞳孔中心对应的初始三维坐标数据以及每个候选位置数据组，确定每个候选位置数据组对应的第一参数，得到候选位置数据组集合对应的第一参数集合，具体可以采用如下公式确定第一参数集合：

l＝|P

其中，P

其中，在上述技术方案中，“通过更新后的混合高斯背景模型，若前景区域的像素数量所占比例超过最低阈值，则认为当前帧存在遮挡”的步骤包括：

将当前时刻掩膜图像的任一像素点对应的多个高斯模型按重要性进行降序排列，其中，重要性的计算方式为：

其中，E

若最小的重要性大于预设阈值T，判定任一像素点在当前帧为前景点；若最小的重要性小于预设阈值T，判定任一像素点在当前帧为背景点；

计算前景点像素数量所占总像素的比例，若比例超过遮挡最低阈值，则认为当前帧存在遮挡。

其中，遮挡最低阈值为1～5％。

其中，在上述技术方案中，“对使用者眼睛图像进行处理得到使用者眼睛状态”的步骤具体包括：

从使用者眼睛图像中获取眼球中心对应的眼球位置数据、瞳孔尺寸数据、瞳孔中心对应的瞳孔参考位置数据、第一瞳孔候选区域和第二瞳孔候选区域；

从第一瞳孔候选区域中确定第一候选位置数据集合；

从第二瞳孔候选区域中确定第二候选位置数据集合；

基于眼球位置数据、瞳孔参考位置数据、第一候选位置数据集合和第二候选位置数据集合，确定瞳孔中心位置数据。

其中，在上述技术方案中，第一采集摄像头组中的摄像头数量为至少1个，第二采集摄像头组中的摄像头数量为至少2个，且第二摄像头组中摄像头数量为偶数，在AR眼镜上对称设置。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。