基于深度学习的一次性输液针头组件定向检测方法及装置

技术领域

本发明涉及医疗器械技术领域，特别是涉及一种基于深度学习的一次性输液针头组件定向检测方法及装置。

背景技术

输液器在国内外都有很长的发展史，其中的配件一次性输液针头组件在组装过程中需要对针头刃面的朝向进行检测，并对其位置出现的偏差进行调整。

现有技术中对于检测一次性输液针头组件的方向及位置调整，主要是利用感应器去检测针头组件的刃面朝向，再利用控制器调整方向。这种采用传统感应器检测针头刃面的朝向，速度较慢、精准度较低，会影响整体的输液器生产效率。为此，本发明提供一种基于深度学习的一次性输液针头组件朝向检测方法及装置，以便提高一次性输液针头组件朝向的检测速度及精度。

发明内容

本发明的目的在于提供一种基于深度学习的一次性输液针头组件朝向检测方法及装置，以解决背景技术中现有的感应器检测针头刃面朝向的速度较慢、精准度较低的问题。

为实现上述目的，本发明提供技术方案如下：

一种基于深度学习的一次性输液针头组件定向检测方法，所述方法包括以下步骤：

S1、相机实时获取一正面图像并同步至处理模块，所述正面图像包括至少一转换座，且任一转换座上对应设有一一次性输液针头组件；

S2、处理模块对正面图像进行预处理；

S3、将预处理后的正面图像作为一次性输液针头组件定向检测网络的输入，输出得到至少一目标检测框和对应的目标检测类别；

S4、根据目标检测类别判断预处理后的正面图像中任一一次性输液针头组件的朝向与预设朝向是否一致，若是，则返回至S1，否则转动对应的转换座并返回至S1。

优选地，所述S2中，一次性针头组件定向检测网络的获取包括以下步骤：

S2.1、相机采集若干正面图像并同步至处理模块；

S2.2、处理模块对任一所述正面图像进行预处理，得到预处理后的正面图像；

S2.3、将任一预处理后的正面图像中任一一次性输液针头组件部分均作为目标区域，设置目标预设框和对应的目标预设类别，得到数据集；

S2.4、通过数据集训练YOLOv3网络模型，以最小化损失值为目标优化YOLOv3网络模型的模型参数，得到一次性输液针头组件定向检测网络。

优选地，所述预处理包括以下步骤：

A：采用加权平均法对正面图像进行灰度化，得到灰度图像；

B：采用双线性插值法对灰度图像进行空间变换，得到变换图像；

C：采用邻域去噪算法对变换图像降噪。

优选地，所述S3包括以下步骤：

S3.1、将预处理后的正面图像输入到一次性输液针头组件定向检测网络，得到所有的检测框的置信度、参数及对应的目标类别概率；

S3.2、排除置信度小于预设置信值的检测框，再进行非极大抑制操作，得到目标检测框，并根据目标类别概率在目标检测框上设置对应的目标检测类别。

应用所述的基于深度学习的一次性输液针头组件定向检测方法的检测装置，包括输送机构，输送机构的下料端配合设有若干转换座，输送机构及转换座均与一控制器配合设置，所述转换座正上方配合设有相机支撑架，相机支撑架上配合转换座上的一次性输液针头组件设有相机，所述相机与一处理模块连接，所述处理模块与控制器配合设置。

与现有技术相比，本发明的有益效果为：

本发明提供一种基于深度学习的一次性输液针头组件朝向检测方法，并用于医用配件的组装生产中，大大提高了一次性输液针头组件朝向检测和定位的速度和精准度。

附图说明

图1为本发明的流程图。

图2为本发明中的正面图像及目标检测框和目标检测类别。

图3为图2的结构示意图。

图4为图3中A的局部放大图。

图5为图3中B的局部放大图。

图中标记：1-正面图像，2-转换座，3-一次性输液针头组件，31- 针头刃面。

具体实施方式

下面将结合附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

一种一次性输液针头组件定向检测方法的检测装置，包括输送机构，输送机构的下料端配合设有若干转换座，输送机构及转换座均与一控制器配合设置，所述转换座正上方配合设有相机支撑架，相机支撑架上配合转换座上的一次性输液针头组件设有相机，所述相机与一处理模块连接，所述处理模块与控制器配合设置。

本发明中，控制器分别与输送机构、转换座连接，用于驱动输送机构将一次性输液针头组件输送至转换座上，以及用于驱动转换座转动一定角度以调整一次性输液针头组件的朝向；该控制器与处理模块连接，由处理模块对控制器进行控制；相机正对转换座上的一次性输液针头组件，以获取正面图像并同步至处理模块进行深度学习检测。本发明中，该处理模块为电脑。

一种基于深度学习的一次性输液针头组件定向检测方法，其特征在于，所述方法包括以下步骤：

S1、相机实时获取一正面图像并同步至处理模块，所述正面图像包括至少一转换座，且任一转换座上对应设有一一次性输液针头组件；

S2、处理模块对正面图像进行预处理；

S3、将预处理后的正面图像作为一次性输液针头组件定向检测网络的输入，输出得到至少一目标检测框和对应的目标检测类别；

S4、根据目标检测类别判断预处理后的正面图像中一次性输液针头组件的朝向与预设朝向是否一致，若是，则返回至S1，否则转动对应的转换座并返回至S1。

本发明中，相机按照固定频率拍摄，获取一幅正面图像，该正面图像包括若干阵列设置的转换座，且每一个转换座上均放置有一个一次性输液针头组件；将该正面图像预处理后作为一次性输液针头组件定向检测网络的输入，即可得到包含有目标检测框和对应的目标检测类别的预处理后的正面图像，具体来说输出得到的图像上有至少一目标检测框，该目标检测框设置在输出图像中的一次性输液针头组件部分，并标注有对应的目标检测类别；这里需要注意的是，输出的图像中一个一次性输液针头组件部分对应一个目标检测框和一个目标检测类别，且该目标检测类别为0°或者非0°。

本发明步骤4中，根据目标检测类别判断正面图像中一次性输液针头组件的朝向与预设朝向是否一致，即为判断目标检测类别是否为 0°，若为非0°，则需要转动转换座使得一次性输液针头组件统一朝向。此外本领域技术人员应当了解到，若一次性输液针头组件的刃面的预设朝向为朝向正面，也就是说目标检测类别为0°，那么非0°就表示一次性输液针头组件的正面朝向为朝向背面；举例来说，处理模块可以通过目标检测框的前后顺序和对应的目标检测类别来确定哪个转换座需要转动，本领域技术人员应当了解到，处理模块如何驱动控制器控制对应的转换座转动为本领域公知常识，本领域技术人员可根据实际情况自行设置。

所述S2中，一次性针头组件定向检测网络的获取包括以下步骤：

S2.1、相机采集若干正面图像并同步至处理模块；

S2.2、处理模块对任一所述正面图像进行预处理，得到预处理后的正面图像；

S2.3、将任一预处理后的正面图像中任一一次性输液针头组件部分均作为目标区域，设置目标预设框和对应的目标预设类别，得到数据集；

S2.4、通过数据集训练YOLOv3网络模型，以最小化损失值为目标优化YOLOv3网络模型的模型参数，得到一次性输液针头组件定向检测网络。

本发明步骤2.1中提到的“一次性输液针头组件的正面图像”，其包含若干个阵列设置的一次性输液针头组件。

本发明步骤2.3中，由于采集的任一正面图像均包括若干阵列设置的转换座，且转换座对应设置一次性输液针头组件，因此，需要对每个正面图像设置若干个目标预设框和目标预设类别，该目标预设类别用于表示对应的目标预设框内的一次性输液针头组件部分的针头刃面朝向与预设朝向是否一致，若是，则设置目标预设类别为“0°”，否则为“非0°”，举例来说，如果预设朝向为朝向正面，那么其他刃面不朝向正面的针头的目标预设类别为非0°；得到的数据集为{预处理后的正面图像，(目标预设框，目标预设类别)}的数据集。

本发明中，YOLOv3网络模型是以Darnet-53中前52层为主干特征提取网络，同时引入残差结构使网络可以更深；该主干特征提取网络对正面图像不断卷积，使得正面图像的宽和高会不断被压缩，通道数不断地扩张，从而得到一堆特征图；选取尺度为52×52，26×26， 13×13的三个特征图。将13*13的特征图作为有效特征图，尺度为 13*13的有效特征图通过卷积后再进行上采样并与尺度为26*26的特征层进行堆叠以构建特征金字塔，得到有效特征图，尺度为26*26的特征图通过卷积后再进行上采样并与尺度为52*52的特征图进行堆叠以构建特征金字塔，得到有效特征图，YOLOv3采用特征金字塔网络架构来实现多尺度检测，从而加强算法对目标检测的精准度。

有效特征图中的每个cell都会预测3个边界框，每个边界框都会预测3个内容：1)每个边界框的位置，由4个参数决定，分别为中心坐标t

YOLOv3网络采用公式：

b

其中(t

YOLOv3网络模型将之前版本的单标签分类改进为多标签分类，网络结构上将原来用于单标签分类的Softmax分类器换成用于多标签分类的Logistic分类器；

将制作的数据集送入YOLOv3网络模型中，提取正面图像的特征，开始训练YOLOv3网络模型，保存损失值最小时的网络模型参数，得到最佳训练模型，将该最佳模型作为一次性输液针头组件定向检测网络；至于如何通过数据集对YOLOv3网络模型进行训练，至于为本领域公知常识，本领域技术人员可根据实际情况自行设置。

所述S3包括以下步骤：

S3.1、将预处理后的正面图像输入到一次性输液针头组件定向检测网络，得到所有检测框的置信度、参数以及对应的目标类别概率；

S3.2、排除置信度小于预设置信值的检测框，再进行非极大抑制操作，得到目标检测框，并根据目标类别概率在目标检测框上设置对应的目标检测类别。

本发明S3.1中，对实时采集的一次性输液针头组件的正面图像采样(resize)到416×416，再输入到一次性输液针头组件定向检测网络中进行前向推导，对预测特征图进行解码操作，预测特征图包括每个检测框的置信度值、类别概率值和坐标偏差值；解码得到的是检测框的中心坐标x，y，检测框宽高w，h，置信度c，还有条件类别概率。

本发明S3.2中通过排除置信度小于预设置信值所对应的检测框来减少检测框的数量，然后再进行非极大抑制操作来进一步筛选检测框；该非极大抑制操作为选出任一类别中置信度最高的检测框，对置信度最高的检测框与其他所有的检测框计算交并比，若交并比的值大于预设值，则说明两个框的重合程度比较大，则保留其中置信度最大的检测框；需要说明的是，这里的“其他所有的检测框”为该类别中置信度大于预设置信值的检测框。

本发明步骤S3.2中，在生产线获取的实时图像中也即在对应的正面图像中制作出经过非极大值抑制操作后的目标检测框，并在目标检测框左上角标注对应目标检测类别，该目标检测类别为0°或非 0°，是通过目标类别概率确定，该目标类别概率包括属于0°的概率和属于非0°的概率，当属于0°的概率大于非0°的概率时，则目标检测类别则为0°。

所述预处理包括以下步骤：

A：采用加权平均法对正面图像进行灰度化，得到灰度图像；

B：采用双线性插值法对灰度图像进行空间变换，得到变换图像；

C：采用邻域去噪算法对变换图像降噪。

本发明中，图像预处理的主要目的是消除图像中无关的信息，恢复有用的真实信息，增强有关信息的可检测性、最大限度地简化数据，预处理流程为图像灰度化、图像几何变换(又称空间变换)、图像增强。

其中使用加权平均法对彩色图像进行灰度化，得到了灰度图像，然后使用双线性插值法对图像进行空间变换；最后使用空间域法中的领域去噪算法改善图像的视觉效果；本发明中，双线性差值法及领域去噪算法均为本领域的公知常识，本领域技术人员可根据实际情况自行设置。

加权平均法是将三个分量以不同的权值进行加权平均。由于人眼对绿色的敏感最高，对蓝色敏感最低，因此，按下式对RGB三分量进行加权平均能得到较合理的灰度图像，公式为：

f(i，j)＝0.30R(i，j)+0.59G(i，j)+0.11B(i，j)，其中(i，j)表示正面图像的像素坐标。

对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。

此外，应当理解，虽然本说明书按照实施方式加以描述，但并非每个实施方式仅包含一个独立的技术方案，说明书的这种叙述方式仅仅是为清楚起见，本领域技术人员应当将说明书作为一个整体，各实施例中的技术方案也可以经适当组合，形成本领域技术人员可以理解的其他实施方式。