静脉穿刺机器人的图像及视频血管增强与分割方法和系统

技术领域

本发明涉及静脉机器人图像处理领域，尤其是涉及一种静脉穿刺机器人的图像及视频血管增强与分割方法和系统。

背景技术

手工静脉穿刺成功率取决于临床医生的技能和病人的生理功能，对于有困难的病人失败率较高，使静脉穿刺成为医疗损伤的主要原因。此外，对于传染性疾病还可能造成医患交叉感染。使用静脉穿刺机器人能有效解决上述问题。

静脉穿刺机器人利用近红外与超声两个模态进行血管的识别，利用分割算法在图像或视频中分割出适宜进行静脉穿刺血管，找到适宜的穿刺点，再控制机械臂执行静脉穿刺任务。但是，现有静脉穿刺机器人的血管显像存在以下问题：1、大多数采用二值化算法，但是在二值化处理后血管边缘噪点非常多，血管与非血管过渡生硬，血管增强效果差。2、在分割的图片中存在人体汗毛，容易对图像分割产生干扰从而影响识别质量。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种面向静脉穿刺机器人的图像及视频血管增强与分割方法。

本发明的目的可以通过以下技术方案来实现：

一种静脉穿刺机器人的图像及视频血管增强与分割方法和系统，包括以下步骤：

S1、获取血管原始图像或血管原始视频作为原始数据进行灰度化处理；

S2、对灰度化后的原始数据进行高斯滤波和Frangi滤波以增强血管部分；

S3、对滤波后的原始数据进行先膨胀再腐蚀的卷积计算处理；

S4、判断原始数据为图像或视频，若为图像，则利用全卷积神经网络对图像进行分割和分类；若为视频，则利用具有时间记忆功能的循环神经网络对视频进行分割和分类。

进一步地，所述步骤S4中，全卷积神经网络或具有时间记忆功能的循环神经网络均采用三分类算法进行图像分割和分类，分类标签包括：适宜进行穿刺的血管部、不宜进行穿刺的血管部和背景部。

进一步地，还包括步骤S5、选取分类标签为适宜进行穿刺的血管部的图像中远离边界的血管区域中心点作为穿刺点。

进一步地，所述血管原始视频作为原始数据时，选取视频中每间隔9帧的图像集合作为数据集合。

进一步地，所述Frangi滤波具体包括：用卷积核G

求取Hessian矩阵的两个特征值λ

构造两个变量

根据以上两个变量，构造图像中像素点属于血管区域的响应度函数V：

其中，参数β用于调节区分块状区域和条状区域的敏感程度，参数c用于调节滤波后图像的整体平滑程度；

当一个像素点的响应度函数值大于设定的阈值，则分别用G

进一步地，所述的步骤S3中，膨胀卷积计算的表达式为：

其中，A表示图像，B表示膨胀卷积核，x表示像素点。

进一步地，所述的步骤S3中，腐蚀卷积计算的表达式为：

其中，A’表示膨胀后图像，C表示腐蚀卷积核，x表示像素点。

一种静脉穿刺机器人的图像及视频血管增强与分割系统，包括：

采集模块，用于获取血管原始图像或血管原始视频作为原始数据进行灰度化处理；

增强模块，用于对灰度化后的原始数据进行高斯滤波和Frangi滤波以增强血管部分；

优化模块，用于对滤波后的原始数据进行先膨胀再腐蚀的卷积计算处理；

分割模块，用于判断原始数据为图像或视频，若为图像，则利用全卷积神经网络对图像进行分割和分类；若为视频，则利用具有时间记忆功能的循环神经网络对视频进行分割和分类。

进一步地，所述优化模块中，全卷积神经网络或具有时间记忆功能的循环神经网络均采用三分类算法进行图像分割和分类，分类标签包括：适宜进行穿刺的血管部、不宜进行穿刺的血管部和背景部。

进一步地，还包括选择模块，用于选取分类标签为适宜进行穿刺的血管部的图像中远离边界的血管区域中心点作为穿刺点。

与现有技术相比，本发明具有以下有益效果：

1、本发明在进行分割算法前对近红外原始图像或视频进行高斯滤波与Frangi 滤波增强了血管结构，显著减少了血管边缘噪点，血管与非血管过渡平滑，同时，分割算法前对图像或视频利用卷积计算进行先膨胀后腐蚀处理，排除了汗毛对血管分割结果的干扰，从而有效提高静脉穿刺机器人的血管识别质量和精度。

2、本发明针对图像采用FCN网络，利用三分类算法进行血管分割。传统的卷积神经网络的分割方法通常是为了对一个像素分类，使用该像素周围的图像块作为网络的输入。因为相邻像素块重复，计算机需要做大量的重复计算，所以导致计算效率低下。而采用FCN网络可以避免由于使用像素块而带来的重复存储和计算卷积的问题，计算和处理更加高效。同时，本发明针对视频采用RNN网络，RNN循环神经网络对具有序列特性的数据非常有效，它能挖掘数据中的时序信息以及语义信息，提高血管分割的效率。

附图说明

图1为本发明的整体流程图。

图2a为近红外设备扫描血管的原始图像的灰度图。

图2b为对灰度图进行膨胀处理后得到的效果图。

图2c为对膨胀后图片进行腐蚀处理后得到的效果图。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。

如图1所示，本实施例提供了一种面向静脉穿刺机器人的图像及视频血管增强与分割方法，包括以下步骤：

步骤S1、获取血管原始图像或血管原始视频作为原始数据进行灰度化处理；

步骤S2、对灰度化原始数据进行高斯滤波和Frangi滤波以增强血管部分；

步骤S3、对滤波后的原始数据进行先膨胀再腐蚀的卷积计算处理，以去除较细的汗毛的干扰。

步骤S4、判断原始数据为图像或视频，若为图像，则利用全卷积神经网络(FCN) 对图像进行分割和分类；若为视频，则利用具有时间记忆功能的循环神经网络 (RNN)对视频进行分割和分类；

步骤S5、选取分类标签为适宜进行穿刺的血管部的图像中远离边界的血管区域中心点作为穿刺点。

步骤S1具体包括：

步骤101，对原始图像进行灰度处理。将彩色图片中RGB三分量求平均值得到一个灰度值。

步骤S2中：

为去除噪声对近红外血管图像或视频质量的影响，首先采用高斯滤波进行图像的增强。二维高斯函数为：

其中x、y为点的坐标值，σ为方差。

高斯滤波的具体步骤如下：首先采用一个卷积去扫描图像中的每一个像素点，并得到距离该像素点最近的8个点的坐标，得到一个3×3的矩阵a；然后将a矩阵坐标值代入二维高斯函数计算，得到权重矩阵；将得到的权重矩阵各值分别除以9 个点的权重总和，使得9个点的权重总和为1，得到最终的权重矩阵；最后将9个点的灰度值乘以权重矩阵的权重值，将9个值相加即得到中心点的高斯滤波灰度值，完成对图像的高斯滤波去噪处理。

然后采用Frangi滤波进行图像的进一步增强。Hessian(H)矩阵的特征值能够很好地描述近红外图像的血管信息，Frangi滤波正是运算Hessian矩阵特征值在图像上的这种特征构造出来的一种边缘检测增强滤波器。

Frangi滤波的具体展开为：

用卷积核G

其中

求取Hessian矩阵的两个特征值λ

其中，E表示单位矩阵；λ为特征值，求解结果为λ

构造两个变量

根据以上两个变量，构造响应度函数：

其中参数β用于调节区分块状区域和条状区域的敏感程度，取值范围为 [0.3,2]；参数c影响滤波后图像的整体平滑程度，取值范围为[10

响应度函数值越大，则表明该点属于血管区域的概率越大。

给定响应度函数值阈值t，若响应度大于t，则分别用G

上述计算的其原理为，血管部分是一个管状的结构，高斯二阶导的响应值比较大；背景是均匀部分，高斯二阶导的响应值比较小。因此，血管点处的Hessian矩阵特征值λ

步骤S3中：

首先用膨胀卷积核B来对上述滤波后得到的图像A进行膨胀处理，通过B与图像A进行卷积计算，扫描图像中的每一个像素点，用模板元素与二值图像元素做“与”运算，如果都为0，那么目标像素点为0，否则为1。膨胀处理的运算式如下：

然后用腐蚀卷积核C对膨胀后的图像A’进行腐蚀处理，通过C与图像A’进行卷积计算，得出C覆盖区域的像素点最小值，并用这个最小值来替代参考点的像素值。腐蚀处理的运算式如下：

对血管灰度图进行膨胀与腐蚀后的效果图如图2a～2c所示。依次为带有汗毛的原始血管二值图、进行膨胀处理后的效果图、对膨胀处理后得图像再进行腐蚀处理后的效果图。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术人员无需创造性劳动就可以根据本发明的构思作出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。