一种手术机器人的区域风险预警方法和系统

技术领域

本发明涉及计算机技术领域，尤其涉及一种手术机器人的区域风险预警方法和系统。

背景技术

目前，机器人手术系统是集多项现代高科技手段于一体的综合体，其用途广泛，在临床上外科上有大量的应用。在手术过程中，需要对手术区域进行严密监控，以防出现术中风险。相关技术中，可以通过人为提醒来进行风险预警，但人为提醒受限于人员经验以及注意力集中情况，容易出现误判且浪费人力资源，自动化程度较低；通过在手术机器人的主手或从手上额外安装红外线、无线传感器或声音传感器等设备来检测是否有人或物靠近主手或从手，但这种方式使得手术机器人结构复杂且容易出现误判，预警准确性较低。另外，在手术过程中，一旦无菌区域出现污染，会导致患者出现感染风险，手术安全性较低。

发明内容

本发明的一个目的在于提供一种手术机器人的区域风险预警方法，能够基于实时区域视频自动识别风险行为并进行风险等级语句，节约人力资源，提高自动化程度和预警准确率，保证了手术安全性。本发明的另一个目的在于提供一种手术机器人的区域风险预警系统。本发明的再一个目的在于提供一种计算机可读介质。本发明的还一个目的在于提供一种计算机设备。

为了达到以上目的，本发明一方面公开了一种手术机器人的区域风险预警方法，包括：

接收图像采集设备发送的手术机器人的手术区域的实时区域视频；

通过预先训练的风险行为识别模型，对实时区域视频进行风险行为匹配，得到异常风险百分比；

根据异常风险百分比，进行风险等级预警。

优选的，还包括：

获取风险视频集；

通过梯度增强决策树和卷积神经网络，根据风险视频集进行模型训练，得到风险行为识别模型，包括：

对风险视频进行分解标记，得到样本风险图像；

通过梯度增强决策树，对样本风险图像进行特征挖掘，得到深层次特征；

通过深层次特征，对卷积神经网络进行训练，得到风险行为识别模型。

优选的，风险视频集包括污染无菌区行为视频和/或碰撞行为视频；

对风险视频进行分解标记，得到样本风险图像，包括：

对风险视频进行分解，得到多张风险图像；

按照污染无菌区行为视频和/或碰撞行为视频，对风险图像进行标记，得到样本风险图像。

优选的，在通过梯度增强决策树，对样本风险图像进行特征挖掘，得到深层次特征之前，还包括：

对样本风险图像进行像素归一化预处理，得到第一预处理图像；

对第一预处理图像进行像素中心化预处理，得到第二预处理图像；

对第二预处理图像进行像素标准化预处理，得到预处理后的样本风险图像。

优选的，通过预先训练的风险行为识别模型，对实时区域视频进行风险行为匹配，得到异常风险百分比，包括：

对实时区域视频进行分解，得到多张实时区域图像；

通过风险行为识别模型，对样本风险图像和实时区域图像进行相似度计算，得到异常风险百分比。

优选的，根据异常风险百分比，进行风险等级预警，包括：

通过设置的风险等级映射表，根据异常风险百分比，匹配出对应的风险等级；

按照设置的风险等级对应的预警方式，对手术区域的风险行为进行预警。

优选的，风险等级包括无风险、低风险、中风险和高风险；

风险等级对应的预警方式包括指定颜色的指示灯闪烁和语音提示。

本发明还公开了一种手术机器人的区域风险预警系统，包括：

数据存储单元，用于接收图像采集设备发送的手术机器人的手术区域的实时区域视频；

图像处理单元，用于通过预先训练的风险行为识别模型，对实时区域视频进行风险行为匹配，得到异常风险百分比；

风险预警单元，用于根据异常风险百分比，进行风险等级预警。

本发明还公开了一种计算机可读介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述方法。

本发明还公开了一种计算机设备，包括存储器和处理器，所述存储器用于存储包括程序指令的信息，所述处理器用于控制程序指令的执行，所述处理器执行所述程序时实现如上所述方法。

本发明还公开了一种计算机程序产品，包括计算机程序/指令，计算机程序/指令被处理器执行时实现如上所述方法。

本发明接收图像采集设备发送的手术机器人的手术区域的实时区域视频；通过预先训练的风险行为识别模型，对实时区域视频进行风险行为匹配，得到异常风险百分比；根据异常风险百分比，进行风险等级预警，能够基于实时区域视频自动识别风险行为并进行风险等级语句，节约人力资源，提高自动化程度和预警准确率，保证了手术安全性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种手术机器人的手术区域场景的示意图；

图2为本发明实施例提供的一种手术机器人的手术场景的平面图；

图3为本发明实施例提供的一种手术机器人的区域风险预警方法的流程图；

图4为本发明实施例提供的又一种手术机器人的区域风险预警方法的流程图；

图5为本发明实施例提供的一种摄像头的工作原理示意图；

图6为本发明实施例提供的一种图片预处理的流程图；

图7为本发明实施例提供的一种风险行为识别模型的训练流程图；

图8为本发明实施例提供的一种获取风险视频集种类及数据划分的逻辑示意图；

图9为本发明实施例提供一种典型神经元模型的结构示意图；

图10为本发明实施例提供一种Inception v4中主干网络结构的示意图；

图11为本发明实施例提供的一种平均池化的示例图；

图12为本发明实施例提供的一种Dropout层的原理图；

图13为本发明实施例提供一种网络训练的流程图；

图14为本发明实施例提供的一种交互界面示意图；

图15为本发明实施例提供的一种非操作人员闯入手术区的场景示意图；

图16为本发明实施例提供的一种主从控制状态下无菌区监控的场景示意图；

图17为本发明实施例提供的一种手术机器人的区域风险预警系统的结构示意图；

图18为本发明实施例提供的一种计算机设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

为了便于理解本申请提供的技术方案，下面先对本申请技术方案的相关内容进行说明。图1为本发明实施例提供的一种手术机器人的手术区域场景的示意图，如图1所示，手术区域包括医生控制端11、患者操作端12、无菌台车13、图像车14和摄像头15。医生控制端11为医生的操作端，医生位于医生控制端11前可以控制手术机器人进行手术；患者操作端12为患者所在的平车处的手术机器人，可为患者进行手术；无菌台车13用于承载手术机器人从手、内窥镜、机器人器械、腹腔镜器械和开腹器械等无菌器械，可由器械护士控制；图像车14用于显示内窥镜所照射的内容，例如：内窥镜插入患者腹部，则图像车用于显示患者腹部内的情况，以供医护人员查看；多个摄像头15呈不同角度分布，用于监控手术区域。图1所示有实习医生在区域内以安全距离观看手术学习。

本发明主要涉及的组件为医生控制端11。

图2为本发明实施例提供的一种手术机器人的手术场景的平面图，如图2所示，手术场景包括多个摄像头和手术区域，手术区域包括医生控制端11和患者操作端12，患者操作端12包括无菌区，无菌区为患者的手术部位。如图2所示的摄像头1和摄像头2，用于采集手术区域中不同视野的图像和/或视频，当有人和/或物靠近医生控制端11、患者操作端12或闯入无菌区，触发风险等级预警。

下面以手术机器人的区域风险预警系统作为执行主体为例，说明本发明实施例提供的手术机器人的区域风险预警方法的实现过程。可理解的是，本发明实施例提供的手术机器人的区域风险预警方法的执行主体包括但不限于手术机器人的区域风险预警系统。

图3为本发明实施例提供的一种手术机器人的区域风险预警方法的流程图，如图3所示，该方法包括：

步骤101、接收图像采集设备发送的手术机器人的手术区域的实时区域视频。

步骤102、通过预先训练的风险行为识别模型，对实时区域视频进行风险行为匹配，得到异常风险百分比。

步骤103、根据异常风险百分比，进行风险等级预警。

值得说明的是，本申请中技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。本申请实施例中的用户信息均是通过合法合规途径获得，并且对用户信息的获取、存储、使用、处理等经过客户授权同意的。

本发明实施例提供的技术方案中，接收图像采集设备发送的手术机器人的手术区域的实时区域视频；通过预先训练的风险行为识别模型，对实时区域视频进行风险行为匹配，得到异常风险百分比；根据异常风险百分比，进行风险等级预警，能够基于实时区域视频自动识别风险行为并进行风险等级语句，节约人力资源，提高自动化程度和预警准确率，保证了手术安全性。

图4为本发明实施例提供的又一种手术机器人的区域风险预警方法的流程图，如图4所示，该方法包括：

步骤201、接收图像采集设备发送的手术机器人的手术区域的实时区域视频。

本发明实施例中，各步骤由手术机器人的区域风险预警系统执行。

本发明实施例中，图像采集设备为摄像头，摄像头采集视频和/或图像，并将采集到的视频和/或图像发送至预警系统。图5为本发明实施例提供的一种摄像头的工作原理示意图，如图5所示，景物通过镜头(LENS)生产的光学图像投射到图像传感器表面上，然后转换成电信号，经过数/模(A/D)转换后变成数字图像信号，再送到数字信号处理芯片中加工处理，再通过I/O接口传输到电脑中进行处理，最后通过显示屏(DISPLAY)进行图像可视化展示。

本发明实施例中，图像采集设备按照实际需求预先设置于手术区域周围，图像采集设备可以依照所在位置采集到不同角度的实时区域视频。作为一种可选方案，图像采集设备设置在能够清晰完整的采集到手术区域、手术机器人的主手和从手和手术部位的无菌区的位置。

步骤202、对实时区域视频进行分解，得到多张实时区域图像。

本发明实施例中，将实施区域视频分解为以帧为单位的实时区域图像，作为一种可选方案，考虑到计算机系统的计算负担和模型预测的准确性，每0.5秒取一帧实时区域图像数据。

进一步地，像素取值为0到255范围内的整数，为提高风险行为识别模型的识别效率，在输入风险行为识别模型之前，对实时区域图像进行预处理。图6为本发明实施例提供的一种图片预处理的流程图，如图6所示，将需要预处理的实时区域视频或获取的风险视频分解为以帧为单位的图像；依次对图像进行像素归一化、像素中心化和像素标准化处理，得到预处理后的图像，预处理后的图像为待提取特征的数据，以供后续进行特征提取。具体地，对实时区域图像进行像素归一化预处理，得到第一实时图像；对第一实时图像进行像素中心化预处理，得到第二实时图像；对第二实时图像进行像素标准化预处理，得到预处理后的实时区域图像。

步骤203、通过风险行为识别模型，对样本风险图像和实时区域图像进行相似度计算，得到异常风险百分比。

具体地，将实时区域图像输入风险行为识别模型，分析实时区域图像中目标特征区域的状态，通过比较目标特征区域与样本风险图像中样本特征区域的相似度，计算样本风险图像和实时区域图像之间的相似度比例；将相似度比例作为异常风险百分比输出。

本发明实施例中，风险行为识别模型是预先训练生成的，图7为本发明实施例提供的一种风险行为识别模型的训练流程图，如图7所示，包括：

步骤a1、获取风险视频集。

本发明实施例中，通过图像采集设备获取风险视频集，风险视频集包括但不限于污染无菌区行为视频和/或碰撞行为视频，风险视频中的行为包括但不限于污染无菌区行为和/或碰撞行为。图8为本发明实施例提供的一种获取风险视频集种类及数据划分的逻辑示意图，如图8所示，需要收集的风险视频集包括但不限于各种场景下误闯入无菌区的人或物的视频、各种场景下人或物碰撞到主手的视频和各种场景下人或物碰撞到从手的视频。将获取的风险视频集按照预设比例划分为训练集和验证集，训练集用于模型拟合的数据样本，在训练过程中对训练误差进行梯度下降，进行学习，得到神经元内置参数。验证集用于调整模型的超参数以及对模型能力进行初步评估。

值得说明的是，风险视频集中包括不同场景下的风险视频，后续训练过程中针对不同场景下的风险视频分别进行模型训练，得到不同场景下的风险行为识别模型。

步骤a2、通过梯度增强决策树(GBDT)和卷积神经网络(Inception v4)，根据风险视频集进行模型训练，得到风险行为识别模型。

本发明实施例中，步骤a2具体包括：

步骤a21、对风险视频进行分解标记，得到样本风险图像。

本发明实施例中，将风险视频分解为以帧为单位的样本风险图像，作为一种可选方案，考虑到计算机系统的计算负担和模型预测的准确性，每0.5秒取一帧样本风险图像数据。

具体地，对风险视频进行分解，得到多张风险图像；按照污染无菌区行为视频和/或碰撞行为视频，对风险图像进行标记，得到样本风险图像。样本风险图像包括标记的对应闯入无菌区和/或造成主从手发生风险的标识。

进一步地，为提高模型训练速度，在进行特征挖掘之前，对样本风险图像进行预处理。具体地，对样本风险图像进行像素归一化预处理，得到第一预处理图像；对第一预处理图像进行像素中心化预处理，得到第二预处理图像；对第二预处理图像进行像素标准化预处理，得到预处理后的样本风险图像。预处理流程可参见图6，在此不再赘述。

步骤a22、通过梯度增强决策树(GBDT)，对样本风险图像进行特征挖掘，得到深层次特征。

本发明实施例中，对每一时刻T的样本风险图像进行待预测人或物的信息提取并计算，得到偏移特征集I

值得说明的是，被预测人或物的周围信息的计算方式和被预测人或物的行为信息的计算方式相同，在此不再赘述。

本发明实施例中，将偏移特征集输入GBDT进行特征挖掘，得到深层次特征。不同的人或物行为动作存在不同的特点，同时在真实情况下，人或物和周围有一定交互性，然而这种交互性无法定量描述，为了进一步描述人或物与周围信息的交互，使用GBDT对偏移特征进行建模，挖掘出不同场景下人或物的深层次特征。GBDT的最终结果由多个决策树按照权重累加而成，对数据中的异常点较为敏感，因此当人或物突然改变方向或者动作加快时，GBDT可以对这个信息进行较大程度的响应。通过对人或物的偏移特征进行深层次挖掘，得到不同行为产生时的定量化特征，即深层次特征，对推动更加精准的行为预测准确率发挥摘要作用。

进一步地，GBDT还可以将偏移特征进行One-Hot编码，使得特征间距离计算更加合理，将得到的深层次特征作为后续卷积神经网络(Inception v4)的输入。

步骤a23、通过深层次特征，对卷积神经网络(Inception v4)进行训练，得到风险行为识别模型。

具体地，将训练集得到的深层次特征输入Inception v4进行训练，得到训练好的网络；将验证集得到的深层次特征对训练好的网络进行验证，得到风险行为识别模型。

进一步地，手术机器人的状态功能项包括启动类功能项、调整类功能项、控制类功能项和停止类功能项，启动类功能项的状态包括：初始化状态、使能状态和自检状态；调整类功能项的状态包括：待机状态、从手调整状态、主从准备状态、断开主从状态和辅助控制状态；控制类功能项的状态包括：主从控制状态和内窥镜控制状态；停止类功能项的状态包括：错误状态和关机状态。当手术机器人处于主从控制状态或内窥镜控制状态时，自动触发对助手医生或者护士碰到从手和对应的器械的监控。

Inception v4的核心思想为如果本来要学习的函数F(x)，现在转换成F(x)+x，这样虽然效果相同，但是由于进行反向传播时x项倒数始终为1，有效避免了梯度消失问题。神经网络是由很多个神经元组成的，神经元模型是一个包含输入，输出与计算功能的模型。输入可以类比为神经元的树突，而输出可以类比为神经元的轴突，计算则可以类比为细胞核。图9为本发明实施例提供一种典型神经元模型的结构示意图，如图9所示，神经元模型包括有3个输入，1个输出，以及2个计算功能。3个输入分别为a

图10为本发明实施例提供一种Inception v4中主干网络结构的示意图，如图10所示，从输入到最后的通道组合共有9层卷积和2次池化，将不同卷积层进行通道融合，输出为一个矩阵，并提取风险行为的特征值。Inception v4中Stem(主干)网络结构最大的作用就是快速降低特征图的分辨率，使得后面的Inception减小计算量，可以在保证信息损失足够小的情况下，使得计算量降低。Stem部分通过多次卷积和2次池化，来防止瓶颈问题。图10所示的结构中的1×1的卷积核也用来降维，并且也增加了非线性。图10中带V的标记说明该卷积核使用有效填充，其余的使用相同的填充。

图11为本发明实施例提供的一种平均池化的示例图，如图11所示，左侧的输入矩阵为4×4矩阵，以过滤器参数为2×2，步长为2进行扫描，计算平均值输出到下一层，最终输出为右侧2×2矩阵。在保留主要特征的同时减少参数和计算量，防止过拟合。

图12为本发明实施例提供的一种Dropout层的原理图，如图12所示，Inception v4包括Dropout层，以输入为x，输出为y为例，正常的流程如图12的左侧图所示：输入x通过网络前向传播，然后把误差反向传播以决定如何更新参数让网络进行学习。使用Dropout层之后，过程变为图12的右侧图所示：

首先随机(临时)删掉网络中一半的隐藏神经元，输入输出神经元保持不变(图12的右侧图中虚线为部分临时被删除的神经元)；把输入x通过修改后的网络前向传播，然后把得到的损失结果通过修改的网络反向传播。一小批训练样本执行完这个过程后，在没有被删除的神经元上按照随机梯度下降法更新对应的参数(w，b)。

然后继续重复这一过程：恢复被删掉的神经元(此时被删除的神经元保持原样，而没有被删除的神经元已经有所更新)从隐藏层神经元中随机选择一个一半大小的子集临时删除掉(备份被删除神经元的参数)。对一小批训练样本，先前向传播然后反向传播损失并根据随机梯度下降法更新参数(w，b)，此时没有被删除的那一部分参数得到更新，删除的神经元参数保持被删除前的结果。不断重复这一过程。

Inception v4还包括Softmax层，通过Softmax层将模型结果转为概率。具体地，通过指数函数，将模型结果输出映射到零到正无穷，得到分子结果；将所有分子结果相加并归一化处理，得到分母结果；将分子结果作为分子，分母结果作为分母，得到转化后的概率结果。

以模型对一个三分类问题的预测结果为-3、1.5、2.7为例，通过Softmax层将模型结果转为概率。步骤如下：

步骤b1、将预测结果转化为非负数，即：

y1＝exp(x1)＝exp(-3)＝0.05

y2＝exp(x2)＝exp(1.5)＝4.48

y3＝exp(x3)＝exp(2.7)＝14.88

步骤b2、使得各种预测结果概率之和等于1，即：

z1＝y1/(y1+y2+y3)＝0.05/(0.05+4.48+14.88)＝0.0026

z2＝y2/(y1+y2+y3)＝4.48/(0.05+4.48+14.88)＝0.2308

z3＝y3/(y1+y2+y3)＝14.88/(0.05+4.48+14.88)＝0.7666

经过上述对Inception v4结构的简单描述，将Inception v4应用于本发明实施例中，图13为本发明实施例提供一种网络训练的流程图，如图13所示，将训练集得到的深层次特征输入Inception v4进行数据预处理，得到预处理后的训练样本特征；将预处理后的训练样本特征依次经过Inception v4中的过滤器(filter)层、平均池化、Dropout层以及Softmax层分类处理后，得到训练好的Inception v4；将验证集得到的深层次特征输入训练好的Inception v4中进行验证，得到当前场景下的风险行为识别模型。值得说明的是，当前场景为与训练集和验证集所在场景一致的场景。

步骤204、通过设置的风险等级映射表，根据异常风险百分比，匹配出对应的风险等级。

本发明实施例中，风险等级映射表包括异常风险百分比的取值范围和风险等级之间的对应关系，是根据实际需求预先设置的。作为一种可选方式，风险等级映射表如表1所示：

表1

其中，Y为异常风险百分比。

值得说明的是，风险等级映射表中的具体取值可以根据实际需求进行设置，本发明实施例对此不作限定。

步骤205、按照设置的风险等级对应的预警方式，对手术区域的风险行为进行预警。

本发明实施例中，风险等级包括无风险、低风险、中风险和高风险；风险等级对应的预警方式包括指定颜色的指示灯闪烁和语音提示。

作为一种可选方案，低风险对应的预警方式为蓝色指示灯闪烁并语音提示低风险预警；中风险对应的预警方式为黄色指示灯闪烁并语音提示中风险预警；高风险对应的预警方式为红色指示灯闪烁并语音提示高风险预警。

作为一种可选方案，无风险不做预警处理，对应的预警方式可设置为静默处理，继续监控。

值得说明的是，风险等级对应的预警方式可以根据实际需求进行设置，不限于指示灯闪烁和语音提示。

进一步地，通过预警方式通知医生和/护士当前存在手术风险，以供医生和/或护士及时进行处理，并手动关闭报警。

值得说明的是，当触发预警后，会持续预警，直至医生和/或护士手动关闭。

值得说明的是，本发明可监控的情况包括但不限于人或物闯入手术区域；主从控制状态下启动对从手和插入人体器械的严格监控，任何人或物不能碰撞手术机器人的从手和插入人体的器械；手术全程对无菌区的监控，无菌区不能被污染。

值得说明的是，在医生控制端设置有交互界面，根据现场的需求可以配置异常风险百分比以及监视区。图14为本发明实施例提供的一种交互界面示意图，如图14所示，可以配置低风险、中风险以及高风险分别对应的异常风险百分比的取值范围，取值范围可以手动填写，填写为real类型数据，数据范围0～1；监视区设置可以在对应框后面进行勾选，包括但不限于手术区、从手及器械和无菌区；设置完毕后点击确认键，取消设置点击取消键。

值得说明的是，若在交互界面上预先设置有风险等级预警的相关参数，在手术机器人处于主从控制状态或内窥镜控制状态时，自动启动监控，并按照相关参数进行监控和预警；若在交互界面上未设置任何参数，即：交互界面上的相关参数为空值，在手术机器人处于主从控制状态或内窥镜控制状态时，不启动监控。

图15为本发明实施例提供的一种非操作人员闯入手术区的场景示意图，如图15所示，场景图像为用于监控手术区的摄像头拍摄，手术机器人正上方设置有另一摄像头，以监控无菌区风险。本发明实施例中事先已经对不同场景下闯入手术区的人和/或物的视频进行训练，训练过程中会标记出各个样本图像中对应闯入禁止区域内的图像，生成对应的风险行为识别模型。摄像头监控到有非操作人员接近手术区域，通过风险行为识别模型分析实时区域图像，输出异常风险百分比；根据异常风险百分比进行风险等级预警。例如：非操作人员快速直接向手术区域靠近，异常风险百分比位于高风险取值范围内，此时风险等级为高风险，对应红灯闪烁，语音提示：高级风险预警。如果非操作人员离手术区域较近观看，异常风险百分比位于中风险取值范围内，此时风险等级为中风险，对应黄灯闪烁，语音提示：中级风险预警。如果非操作人员离手术区较远，且并没有接近手术区域的意向，此时风险等级为无风险，系统不报警。

助手医生协助完成一台手术，一般协助包括：插拔器械等。如果手术机器人在主从控制状态下，说明医生在正常操作，助手医生或者护士在监控区域内，这时如果他们碰到机械臂或者器械会导致手术风险，所以本发明在主从控制状态时会触发助手医生或者护士对从手或者器械的碰撞进行监控。图16为本发明实施例提供的一种主从控制状态下无菌区监控的场景示意图，如图16所示，包括手术机器人的从手和器械、患者操作端12和助手医生。实际手术过程中的无菌区包括：手术部位范围、助手医生(一般两个)、器械护士、手术机器人从手、内窥镜、机器人器械、腹腔镜器械、开腹器械等，器械会放到无菌台车上。这些区域是严禁被污染的，手术机器人非主从控制状态时，无菌区的人或物可以触碰无菌区的人或物。但手术机器人一旦进入主从控制状态，从手和插入人体的器械不准任何人或物触碰。

例如：对主从控制状态下从手和器械的监控，首先训练不同场景人或物触碰从手和器械的视频，并对发生风险的图片进行标记，生成对应的风险行为识别模型。当手术机器人处于主从控制状态时，触发对从手和插入人体的器械的监控，任何人或者物都不允许靠近从手和插入人体的器械，通过风险行为识别模型分析实时区域图像，输出异常风险百分比；根据异常风险百分比进行风险等级预警。

例如：对整个手术过程中无菌区的监控，人为肉眼的判断可能会有误，视频监控会更准确。首先是对不同场景下无菌区被污染的视频进行训练，标记出发生污染的无菌区图片，生成对应的风险行为识别模型。例如患者腹部范围是手术范围，即无菌区，如果助手医生碰到患者头部或者腿部等有菌区，通过风险行为识别模型比较目标特征区域与样本图片的相似度，会触发风险预警，此时助手医生应该对污染部位进行消毒处理。如果要插入人体的器械不小心碰到患者的腿部，也会触发风险预警，此器械需要重新消毒等。对于实习生或者进修的医生来说，让他们有无菌区的意识，可以提示他们站在安全范围里观看。

本发明实施例中，为手术提供安全围栏系统，在手术机器人主手受外力碰撞之前、无菌人员对从手或器械发生风险或者有人物接近无菌区进行预判，提高手术过程中的安全性，并减少人员监督；通过GBDT算法进行特征提取，使用Inception V4网络对特征进行分析，提高安全围栏准确性和自动化程度；通过视频监控判断风险等级并预警，保证手术安全性。

值得说明的是，本申请中技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。本申请实施例中的用户信息均是通过合法合规途径获得，并且对用户信息的获取、存储、使用、处理等经过客户授权同意的。

本发明实施例提供的手术机器人的区域风险预警方法的技术方案中，接收图像采集设备发送的手术机器人的手术区域的实时区域视频；通过预先训练的风险行为识别模型，对实时区域视频进行风险行为匹配，得到异常风险百分比；根据异常风险百分比，进行风险等级预警，能够基于实时区域视频自动识别风险行为并进行风险等级语句，节约人力资源，提高自动化程度和预警准确率，保证了手术安全性。

图17为本发明实施例提供的一种手术机器人的区域风险预警系统的结构示意图，该系统用于执行上述手术机器人的区域风险预警方法，如图17所示，该系统包括：数据存储单元11、图像处理单元12和风险预警单元13。

数据存储单元11用于接收图像采集设备发送的手术机器人的手术区域的实时区域视频。

图像处理单元12用于通过预先训练的风险行为识别模型，对实时区域视频进行风险行为匹配，得到异常风险百分比。

风险预警单元13用于根据异常风险百分比，进行风险等级预警。

本发明实施例中，还包括：视频监控单元14和模型训练单元15。

视频监控单元14用于获取风险视频集。

模型训练单元15用于通过梯度增强决策树和卷积神经网络，根据风险视频集进行模型训练，得到风险行为识别模型。

模型训练单元15具体用于对风险视频进行分解标记，得到样本风险图像；通过梯度增强决策树，对样本风险图像进行特征挖掘，得到深层次特征；通过深层次特征，对卷积神经网络进行训练，得到风险行为识别模型。

本发明实施例中，风险视频集包括污染无菌区行为视频和/或碰撞行为视频；

模型训练单元15具体用于对风险视频进行分解，得到多张风险图像；按照污染无菌区行为视频和/或碰撞行为视频，对风险图像进行标记，得到样本风险图像。

本发明实施例中，系统还包括：像素归一化预处理单元16、像素中心化预处理单元17和像素标准化预处理单元18。

像素归一化预处理单元16用于对样本风险图像进行像素归一化预处理，得到第一预处理图像。

像素中心化预处理单元17用于对第一预处理图像进行像素中心化预处理，得到第二预处理图像。

像素标准化预处理单元18用于对第二预处理图像进行像素标准化预处理，得到预处理后的样本风险图像。

本发明实施例中，图像处理单元12具体用于对实时区域视频进行分解，得到多张实时区域图像；通过风险行为识别模型，对样本风险图像和实时区域图像进行相似度计算，得到异常风险百分比。

本发明实施例中，风险预警单元13具体用于通过设置的风险等级映射表，根据异常风险百分比，匹配出对应的风险等级；按照设置的风险等级对应的预警方式，对手术区域的风险行为进行预警。

本发明实施例的方案中，接收图像采集设备发送的手术机器人的手术区域的实时区域视频；通过预先训练的风险行为识别模型，对实时区域视频进行风险行为匹配，得到异常风险百分比；根据异常风险百分比，进行风险等级预警，能够基于实时区域视频自动识别风险行为并进行风险等级语句，节约人力资源，提高自动化程度和预警准确率，保证了手术安全性。

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机设备，具体的，计算机设备例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

本发明实施例提供了一种计算机设备，包括存储器和处理器，存储器用于存储包括程序指令的信息，处理器用于控制程序指令的执行，程序指令被处理器加载并执行时实现上述手术机器人的区域风险预警方法的实施例的各步骤，具体描述可参见上述手术机器人的区域风险预警方法的实施例。

下面参考图18，其示出了适于用来实现本申请实施例的计算机设备600的结构示意图。

如图18所示，计算机设备600包括中央处理单元(CPU)601，其可以根据存储在只读存储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM)603中的程序而执行各种适当的工作和处理。在RAM603中，还存储有计算机设备600操作所需的各种程序和数据。CPU601、ROM602、以及RAM603通过总线604彼此相连。输入/输出(I/O)接口605也连接至总线604。

以下部件连接至I/O接口605：包括键盘、鼠标等的输入部分606；包括诸如阴极射线管(CRT)、液晶反馈器(LCD)等以及扬声器等的输出部分607；包括硬盘等的存储部分608；以及包括诸如LAN卡，调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至I/O接口605。可拆卸介质611，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器610上，以便于从其上读出的计算机程序根据需要被安装如存储部分608。

特别地，根据本发明的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括有形地包含在机器可读介质上的计算机程序，所述计算机程序包括用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分609从网络上被下载和安装，和/或从可拆卸介质611被安装。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

为了描述的方便，描述以上装置时以功能分为各种单元分别描述。当然，在实施本申请时可以把各单元的功能在同一个或多个软件和/或硬件中实现。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

本申请技术方案中对数据的获取、存储、使用、处理等均符合国家法律法规的相关规定。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。

本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。