非目标对象辅助分离方法、系统、医疗机器人及存储介质

技术领域

本发明涉及医疗器械领域，尤其涉及一种非目标对象辅助分离方法、系统、医疗机器人及存储介质。

背景技术

在传统医疗手术中，医生通常需要助手手持一些医疗器械，例如医用夹子等，以辅助医生完成手术。然而在一些大手术中，长时间的手持医疗器械，往往会让助手感到疲惫，难以坚持，还可能会导致手术意外的发生。

随着机器人技术的发展，医疗领域机器人也逐渐兴起，例如用于在手术中辅助医生夹持医疗器械的机器人。但是，现有医疗夹取机器人系统的功能单一，当手术中需要夹取一些目标物，但是目标物被上面或下面的具有一定体积的非目标物遮挡，只有通过抬起非目标物才能看见和夹取目标物，此时，医疗夹取机器人系统便无法正常工作，影响手术的进行。

发明内容

本发明的目的在于提供一种非目标对象辅助分离方法、系统、医疗机器人及存储介质，当待夹取对象被非目标对象遮挡无法直接夹取时，能够顺利夹取待夹取对象，保证医疗手术的正常进行。

为实现上述目的，提供以下技术方案：

第一方面，本发明提供了一种非目标对象辅助分离方法，包括：

S1、采集待夹取对象和非目标对象的图像信息，并进行图像预处理；

S2、获取待夹取对象和非目标对象的相对位置关系；

S3、规划分离装置的预设分离路径以及夹取装置的预设夹取路径；

S4、分离装置沿预设分离路径将非目标对象与待夹取对象分离，以使夹取装置能够沿预设夹取路径夹取待夹取对象。

进一步地，利用深度相机采集彩色图像，采用中值滤波和高斯滤波对图像进行降噪，使用直方图均衡化消除亮度差异，得到预处理之后的图像。

进一步地，采用基于SIFT的特征匹配与种子区域生长相结合的匹配方法进行立体匹配获取视差图，结合三角测量原理，使用相机模型计算得到场景三维点云信息，通过移动最小二乘法对离散三维点云集进行平滑滤波，进行三角剖分得到连续光滑表面的单视角三维模型，基于卷积神经网络进行目标识别与分割。

进一步地，预设分离路径和预设夹取路径的规划在关节空间或笛卡尔空间完成，分离装置的预设分离路径包括分离装置的位置参数、姿态参数、加速度参数和速度参数，夹取装置的预设夹取路径包括夹取装置的位置参数、姿态参数、加速度参数和速度参数。

第二方面，本发明还提供了一种非目标对象辅助分离系统，采用如上所述的非目标对象辅助分离方法，包括：

深度相机，用于采集待夹取对象和非目标对象的图像信息；

机械臂，具有多自由度；

夹取装置，设置于所述机械臂的末端，用于夹取待夹取对象；

分离装置，设置于所述夹取装置上，用于沿预设分离路径将非目标对象与待夹取对象分离，以使夹取装置能够沿预设夹取路径夹取待夹取对象。

进一步地，所述夹取装置包括第一夹持臂和第二夹持臂，所述第一夹持臂的一端与所述第二夹持臂的一端连接，所述第一夹持臂的另一端能够与所述第二夹持臂的另一端合拢。

进一步地，所述分离装置包括至少一个分离臂，所述分离臂设置于所述第一夹持臂和所述第二夹持臂之间，所述分离臂用于将非目标对象与待夹取对象分离。

进一步地，所述分离臂能够垂直于所述第一夹持臂和所述第二夹持臂的夹取面移动或转动。

第三方面，本发明还提供了一种医疗机器人，所述医疗机器人包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上所述的非目标对象辅助分离方法。

第四方面，本发明还提供了一种计算机可读存储介质，其上存储有计算机程序该程序被处理器执行时实现如上所述的非目标对象辅助分离方法。

与现有技术相比，本发明提供的非目标对象辅助分离方法、系统、医疗机器人及存储介质中，适用于医疗过程中协助医生顺利完成手术，当待夹取对象被非目标对象遮挡无法直接夹取时，首先，采集待夹取对象和非目标对象的图像信息，并进行图像预处理，其次，获取待夹取对象和非目标对象的相对位置关系，然后，规划分离装置的预设分离路径以及夹取装置的预设夹取路径，最后，分离装置沿预设分离路径将非目标对象与待夹取对象分离，以使夹取装置能够沿预设夹取路径夹取待夹取对象，从而顺利夹取待夹取对象，保证医疗手术的正常进行。

附图说明

图1为本发明实施例一提供的非目标对象辅助分离方法的流程图；

图2为本发明实施例三提供的医疗机器人的结构示意图。

具体实施方式

为使本发明解决的技术问题、采用的技术方案和达到的技术效果更加清楚，下面将结合附图对本发明实施例的技术方案作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

图1为本实施例提供的非目标对象辅助分离方法的流程图，如图1所示，该非目标对象辅助分离方法包括如下步骤：

S1、采集待夹取对象和非目标对象的图像信息，并进行图像预处理；

S2、获取待夹取对象和非目标对象的相对位置关系；

S3、规划分离装置的预设分离路径以及夹取装置的预设夹取路径；

S4、分离装置沿预设分离路径将非目标对象与待夹取对象分离，以使夹取装置能够沿预设夹取路径夹取待夹取对象。

进一步地，利用深度相机采集彩色图像，采用中值滤波和高斯滤波对图像进行降噪，使用直方图均衡化消除亮度差异，得到预处理之后的图像。中值滤波法是一种非线性平滑技术，它将每一像素点的灰度值设置为该点某邻域窗口内的所有像素点灰度值的中值。中值滤波是基于排序统计理论的一种能有效抑制噪声的非线性信号处理技术，中值滤波的基本原理是把数字图像或数字序列中一点的值用该点的一个邻域中各点值的中值代替，让周围的像素值接近的真实值，从而消除孤立的噪声点。

高斯滤波是一种线性平滑滤波，适用于消除高斯噪声，广泛应用于图像处理的减噪过程。通俗的讲，高斯滤波就是对整幅图像进行加权平均的过程，每一个像素点的值，都由其本身和邻域内的其他像素值经过加权平均后得到。高斯滤波的具体操作是：用一个模板(或称卷积、掩模)扫描图像中的每一个像素，用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值。图像大多数噪声均属于高斯噪声，因此高斯滤波器应用也较广泛。高斯滤波是一种线性平滑滤波，适用于消除高斯噪声。高斯滤波的具体操作是：用一个用户指定的模板(或称卷积、掩膜)去扫描图像中的每一个像素，用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值。

直方图均衡化又称直方图平坦化，实质上是对图像进行非线性拉伸，重新分配图像像素值，使一定灰度范围内像素值的数量大致相等。这样，原来直方图中间的峰顶部分对比度得到增强，而两侧的谷底部分对比度降低，输出图像的直方图是一个较平的分段直方图：如果输出数据分段值较小的话，会产生粗略分类的视觉效果。直方图是表示数字图像中每一灰度出现频率的统计关系。直方图能给出图像灰度范围、每个灰度的频度和灰度的分布、整幅图像的平均明暗和对比度等概貌性描述。

进一步地，采用基于SIFT的特征匹配与种子区域生长相结合的匹配方法进行立体匹配获取视差图，结合三角测量原理，使用相机模型计算得到场景三维点云信息，通过移动最小二乘法对离散三维点云集进行平滑滤波，进行三角剖分得到连续光滑表面的单视角三维模型，基于卷积神经网络进行目标识别与分割。SIFT，即尺度不变特征变换(Scale-invariant feature transform，SIFT)。SIFT特征是基于物体上的一些局部外观的兴趣点而与影像的大小和旋转无关。对于光线、噪声、微视角改变的容忍度也相当高。基于这些特性，它们是高度显著而且相对容易撷取，在母数庞大的特征数据库中，很容易辨识物体而且鲜有误认。使用SIFT特征描述对于部分物体遮蔽的侦测率也相当高，甚至只需要3个以上的SIFT物体特征就足以计算出位置与方位。

进一步地，预设分离路径和预设夹取路径的规划在关节空间或笛卡尔空间完成，分离装置的预设分离路径包括分离装置的位置参数、姿态参数、加速度参数和速度参数，夹取装置的预设夹取路径包括夹取装置的位置参数、姿态参数、加速度参数和速度参数。当规划好预设分离路径和预设夹取路径时，通过动力学方程在关节空间或笛卡尔空间中计算得到路径上的位置、姿态、加速度和速度，从而设置相应的位置参数、姿态参数、加速度参数和速度参数，以保证分离装置按照预设分离路径完成运动，夹取装置按照预设夹取路径完成运动。

本实施例提供的非目标对象辅助分离方法，适用于医疗过程中协助医生顺利完成手术，当待夹取对象被非目标对象遮挡无法直接夹取时，首先，采集待夹取对象和非目标对象的图像信息，并进行图像预处理，其次，获取待夹取对象和非目标对象的相对位置关系，然后，规划分离装置的预设分离路径以及夹取装置的预设夹取路径，最后，分离装置沿预设分离路径将非目标对象与待夹取对象分离，以使夹取装置能够沿预设夹取路径夹取待夹取对象，从而顺利夹取待夹取对象，保证医疗手术的正常进行。

实施例二

本实施例提供一种非目标对象辅助分离系统，可适用于医疗过程中协助医生顺利完成手术。本发明实施例提供的非目标对象辅助分离系统可执行本发明实施例所提供的非目标对象辅助分离方法，具备执行方法相应的功能模块和有益效果。

该非目标对象辅助分离系统包括：

深度相机，用于采集待夹取对象和非目标对象的图像信息；

机械臂，具有多自由度；

夹取装置，设置于机械臂的末端，用于夹取待夹取对象；

分离装置，设置于夹取装置上，用于沿预设分离路径将非目标对象与待夹取对象分离，以使夹取装置能够沿预设夹取路径夹取待夹取对象。

进一步地，夹取装置包括第一夹持臂和第二夹持臂，第一夹持臂的一端与第二夹持臂的一端连接，第一夹持臂的另一端能够与第二夹持臂的另一端合拢。第一夹持臂和第二夹持臂均具有一定的宽度，使待夹取对象被夹取时受力面积较大，避免损坏待夹取对象。第一夹持臂和第二夹持臂的末端可以是直的，也可以是弯的，根据待夹取对象的形状尺寸而定，在此不作限定。

进一步地，分离装置包括至少一个分离臂，分离臂设置于第一夹持臂和第二夹持臂之间，分离臂用于将非目标对象与待夹取对象分离。在操作时，首先，通过操作分离臂将非目标对象与待夹取对象分离，再通过操作第一夹持臂和第二夹持臂对待夹取对象进行夹取。

由于手术中经常遇到非目标对象遮挡待夹取对象，且无法通过夹取装置的自身自由度拨动非目标对象，进一步地，分离臂能够垂直于第一夹持臂和第二夹持臂的夹取面移动或转动。

本实施例提供的非目标对象辅助分离系统，适用于医疗过程中协助医生顺利完成手术，当待夹取对象被非目标对象遮挡无法直接夹取时，首先，采集待夹取对象和非目标对象的图像信息，并进行图像预处理，其次，获取待夹取对象和非目标对象的相对位置关系，然后，规划分离装置的预设分离路径以及夹取装置的预设夹取路径，最后，分离装置沿预设分离路径将非目标对象与待夹取对象分离，以使夹取装置能够沿预设夹取路径夹取待夹取对象，从而顺利夹取待夹取对象，保证医疗手术的正常进行。

实施例三

图2为本实施例中的医疗机器人的结构示意图。图2示出了适于用来实现本发明实施方式的示例性医疗机器人412的框图。图2显示的医疗机器人412仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图2所示，医疗机器人412以通用终端的形式表现。医疗机器人412的组件可以包括但不限于：医疗机器人本体(图中未示出)、一个或者多个处理器416，存储装置428，连接不同系统组件(包括存储装置428和处理器416)的总线418。

总线418表示几类总线结构中的一种或多种，包括存储装置总线或者存储装置控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(Industry SubversiveAlliance，ISA)总线，微通道体系结构(Micro Channel Architecture，MAC)总线，增强型ISA总线、视频电子标准协会(Video Electronics Standards Association，VESA)局域总线以及外围组件互连(Peripheral Component Interconnect，PCI)总线。

医疗机器人412典型地包括多种计算机系统可读介质。这些介质可以是任何能够被医疗机器人412访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。

存储装置428可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(Random Access Memory，RAM)430和/或高速缓存存储器432。医疗机器人412可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统434可以用于读写不可移动的、非易失性磁介质(图2未显示，通常称为“硬盘驱动器”)。尽管图2中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘，例如只读光盘(Compact Disc Read-Only Memory，CD-ROM)，数字视盘(Digital Video Disc-Read Only Memory，DVD-ROM)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线418相连。存储装置428可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块442的程序/实用工具440，可以存储在例如存储装置428中，这样的程序模块442包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块442通常执行本发明所描述的实施例中的功能和/或方法。

医疗机器人412也可以与一个或多个外部设备414(例如键盘、指向终端、显示器424等)通信，还可与一个或者多个使得用户能与该医疗机器人412交互的终端通信，和/或与使得该医疗机器人412能与一个或多个其它计算终端进行通信的任何终端(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口422进行。并且，医疗机器人412还可以通过网络适配器420与一个或者多个网络(例如局域网(Local Area Network，LAN)，广域网(Wide Area Network，WAN)和/或公共网络，例如因特网)通信。如图2所示，网络适配器420通过总线418与医疗机器人412的其它模块通信。应当明白，尽管图中未示出，可以结合医疗机器人412使用其它硬件和/或软件模块，包括但不限于：微代码、终端驱动器、冗余处理器、外部磁盘驱动阵列、磁盘阵列(Redundant Arrays of IndependentDisks，RAID)系统、磁带驱动器以及数据备份存储系统等。

处理器416通过运行存储在存储装置428中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的非目标对象辅助分离方法，该方法包括：

S1、采集待夹取对象和非目标对象的图像信息，并进行图像预处理；

S2、获取待夹取对象和非目标对象的相对位置关系；

S3、规划分离装置的预设分离路径以及夹取装置的预设夹取路径；

S4、分离装置沿预设分离路径将非目标对象与待夹取对象分离，以使夹取装置能够沿预设夹取路径夹取待夹取对象。

实施例四

本实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例所提供的非目标对象辅助分离方法，该方法包括：

S1、采集待夹取对象和非目标对象的图像信息，并进行图像预处理；

S2、获取待夹取对象和非目标对象的相对位置关系；

S3、规划分离装置的预设分离路径以及夹取装置的预设夹取路径；

S4、分离装置沿预设分离路径将非目标对象与待夹取对象分离，以使夹取装置能够沿预设夹取路径夹取待夹取对象。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或终端上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。