一种免疫层析图像分析方法和存储介质

技术领域

本发明涉及胶体金免疫层析技术领域，尤其是指一种免疫层析图像分析方法和存储介质。

背景技术

免疫层析方法通过将抗原抗体结合的免疫学反应和色谱层析技术相结合来实现对目标物浓度的快捷检测。目前，其因准确度高、检测速度快、检测简单便捷以及可即时现场检测等优点而被广泛运用于对食品、核酸等的筛查和检测。然而该方法需要使用生物检测仪器才能定量分析出浓度结果。而生物检测仪器的昂贵，笨重，操作复杂等缺点使得荧光免疫层析方法无法被广泛应用于浓度检测。而现有的免疫层析图像分析方法主要对提供的整幅图像进行RGB对比，没有考虑图像噪声的影响，导致提取结果可能出现不准确的情况，并且图像大的同时计算量也大，使得检测的成本提高。

发明内容

为此，本发明所要解决的技术问题在于克服现有技术中生物检测仪器的昂贵，笨重，操作复杂等缺点，无法被广泛应用于浓度检测，以及由于图像的大小问题导致计算量大，成本高的问题。

为解决上述技术问题，本发明提供了一种免疫层析图像分析方法，包括：

S1：获取待检测的免疫层析纸条图像；

S2：利用构建的经过训练的目标检测模块对待检测的免疫层析纸条图像进行检测，在免疫层析纸条图像中定位免疫层析纸条图像T线所在的局部区域；

S3：利用构建的裁剪模块将待检测的免疫层析纸条图像中经过定位的免疫层析纸条图像T线所在的局部区域进行裁剪得到长宽比为w×h的裁剪图像，其中w>h，将得到的裁剪图像按照长宽比为w×h将裁剪图像的宽缩放为y个像素,其中y≥300，此时裁剪图像的长为y/h×w，将宽高经过缩放的裁剪图像进行中心裁剪，保留图片中心像素大小为a×a的区域，其中a

S4：利用构建的输出模块对裁剪后的纸条图像进行特征提取，并将提取的特征进行编码并且译码为浓度的one-hot编码，对输出的one-hot编码进行计算得到免疫层析纸条中T线代表的浓度。

进一步地，所述目标检测模块中包括目标检测算法，所述目标检测算法为YOLOv5目标检测算法网络。

进一步地，所述YOLOv5目标检测算法网络在训练时的训练集为经过人工标识的免疫层析纸条图像，并且采用数据增强机制对免疫层析纸条图像进行处理。

进一步地，所述数据增强机制包括：随机旋转、随机裁剪以及上下或左右翻转，随机旋转的旋转角度范围设置为-20°～20°，随机裁剪的裁剪比例应当裁剪模块相同，即先将裁剪图像的宽缩放为y个像素,其中y≥300，此时裁剪图像的长为y/h×w，将宽高经过缩放的裁剪图像进行中心裁剪，保留图片中心像素大小为a×a的区域，其中a

进一步地，所述对输出的one-hot编码进行计算得到免疫层析纸条中T线代表的浓度具体为：

其中C

进一步地，所述输出模块包括：

特征提取器，用于提取图像特征；

编码器，将特征编码为单值；

译码器，将编码器输出的单值译码为浓度的one-hot编码。

进一步地，所述输出模块中的编码器采用全连接设计方法，所述全连接设计方法是将卷积核提取的特征向量先映射为单值再映射为one-hot编码。

进一步地，所述输出模块的损失函数采用CCE损失函数。

进一步地，所述目标检测模块和输出模块均使用Adam优化器。

一种存储介质，其特征在于：所述存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一项所述的一种免疫层析图像分析方法的步骤。本发明的上述技术方案相比现有技术具有以下优点：

本发明所述的一种免疫层析图像分析方法和存储介质基于卷积神经网络的图像检测方法围绕免疫层析试纸条图像T线RGB值和待测物浓度存在关系的特点进行设计，先通过目标检测模块提取出T线所在区域，再使用裁剪模块处理提取图片，将图像边界的噪声进行消除，减少了与检测无关部分的图像，减少了无用信息对网络训练和运算的影响，最后使用卷积网络输出浓度信息。该方法减少了图片无用信息对网络训练和运算的影响，使得网络在数据较少的情况下也能具有较高性能，并且不需要使用生物检测仪器，本发明所使用的图像获取装置以及分析装置成本低，操作简单，实现了便捷高效地分析免疫试纸条内待测物的浓度。

附图说明

为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明，其中

图1是本发明实施例的一种免疫层析图像分析方法的流程图；

图2是本发明实施例的图像收集装置示意图；

图3是本发明实施例的免疫层析图像检测方法分解图；

图4是本发明实施例的裁剪模块示意图；

图5是本发明输出模块卷积神经网络结构图；

图6是本发明实施例中输出模块卷积神经网络参数优化图；

图7是本发明实施例中输出模块卷积神经网络训练l oss随训练次数变化图；

图8是本发明实施例中目标检测算法回召率和准确率随训练周期变化图；

图9是本发明实施例中目标检测算法训练集和测试集上定位误差随训练周期变化图；

图10是本发明实施例中分析结果标注前后图。

具体实施方式

下面结合附图和具体实施例对本发明作进一步说明，以使本领域的技术人员可以更好地理解本发明并能予以实施，但所举实施例不作为对本发明的限定。

实施例一：

参照图1所示，本发明的实施例一的流程图如图所示包括：

S1：获取待检测的免疫层析纸条图像；

S2：利用构建的经过训练的目标检测模块对待检测的免疫层析纸条图像进行检测，在免疫层析纸条中定位免疫层析纸条图像T线所在的局部区域；

S3：利用构建的裁剪模块将待检测的免疫层析纸条图像中经过定位的免疫层析纸条图像T线所在的局部区域进行裁剪得到长宽比为w×h的裁剪图像，其中w>h，将得到的裁剪图像按照长宽比为w×h将裁剪图像的宽缩放为y个像素,其中y≥300，此时裁剪图像的长为y/h×w，将宽高经过缩放的裁剪图像进行中心裁剪，保留图片中心像素大小为a×a的区域，其中a

S4：利用构建的输出模块对裁剪后的纸条图像进行特征提取，并将提取的特征进行编码并且译码为浓度的one-hot编码，对输出的one-hot编码进行计算得到免疫层析纸条中T线代表的浓度期望。

本发明提出的一种免疫层析图像分析方法基于卷积神经网络的图像检测方法围绕免疫层析试纸条图像T线RGB值和待测物浓度存在关系的特点进行设计，不需要生物检测仪器来进行检测，并且利用构建的裁剪模块对图片进行裁剪，将图像边界的噪声进行消除，减少了与检测无关部分的图像，减少了无用信息对网络训练和运算的影响，使得网络在数据较少的情况下也能具有较高性能，并实现了便捷高效地分析免疫试纸条内待测物的浓度。

实施例二：

本发明实施例二的图像收集装置如图2所示：

图像收集装置可由紫外光波长为254nm的紫外光源、隔光盒以及型号为PFJM10的OPPO手机组成。

本发明实施例二的免疫层析图像检测方法分解图如图3所示，包括：

由图像收集装置对免疫层析试纸条图像进行收集后输出到目标检测模块，目标检测模块包括YOLOv5目标检测算法，目标检测算法用于接收从图像收集装置收集的图像并定位免疫层析图像T线所在局部区域；

利用构建的裁剪模块对定位免疫层析图像T线所在局部区域进行裁剪，本发明构建的裁剪模块的流程如图4所示，裁剪模块将待检测的免疫层析纸条图像中经过定位的免疫层析纸条图像T线所在的局部区域进行裁剪得到长宽比为w×h的裁剪图像，将得到的裁剪图像按照长宽比为w×h将裁剪图像的宽缩放为340像素，此时裁剪图像的长为340/h×w，将宽高经过改变的裁剪图像进行中心裁剪，保留图片中心像素大小为300×300的区域，将得到的300×300的区域缩小为像素大小50×50的区域，得到裁剪后的纸条图像；

本发明提出的裁剪模块将图像边界的噪声进行消除，减少了与检测无关部分的图像，减少了无用信息对网络训练和运算的影响。

将裁剪后的纸条图像输入构建的输出模块如图5所示，输出模块由特征提取器、编码器和译码器组成。所述特征提取器由卷积层和池化层组成，用于提取图像特征。所述编码器由全连接层和Dropout层组成，用于将特征编码为单值。其中Dropout层的失活概率设置为95％。所述译码器由全连接层组成，用以将单值译码为浓度的one-hot编码。训练该网络时，训练基本资料为YOLOv5模块人工标识区域的图片，同时采用数据增强增强数据量。数据增强包含随机旋转、随机裁剪以及上下或左右翻转。随机旋转旋转角度范围设置为-20°～20°。随机裁剪的裁剪比例应当裁剪模块相同，即先将图片长宽等比缩放至短边像素长为340，然后进行像素大小为300×300的中心裁剪，最后缩小为50×50作为输入。最后会通过softmax函数将输出模块输出的one-hot编码转化为六个浓度对应的概率，最终浓度通过求取浓度期望获得，式子如下：

其中Ci代表one-hot编码第i位对应表示的浓度值，Pi代表待检测物浓度是Ci的概率。

本实施例输出模块中的编码器采用全连接设计方法，所述特别全连接设计方法是将卷积核提取的特征向量先映射为单值再映射为one-hot编码，并且损失函数采用CCE损失函数，全连接设计方法是将卷积核提取的特征向量先映射为单值再映射为one-hot编码。

本实施例目标检测模块和输出模块均使用Adam优化器。

在本实施例中，如图6所示，探寻了Dropout层失活概率和是否编码为单值对网络性能的影响，网络性能使用交叉验证法表征。图6(a)显示了Dropout层概率和编码译码网络编码值数量与精确度之间的关系；图6(b)显示了当p选取为0.95时精确度达到最大值，这也说明Dropout层较为显著地提高了网络性能。针对编码值数量，可以看出该值为1时，网络性能最好；图7显示了将所有数据作为训练集以获得最终模型参数时模型l oss随训练次数的变化过程；图8显示了YOLOv5模块回召率和准确率随训练周期的变化；图9显示了训练集和测试集上定位损失随训练周期的变化。结果表明输出模块具有高准确度等优点，同时目标检测模块具有高回召率、高准确率以及高定位精度等优点，两模块可以很好完成目标任务。

在本实施例中，将方法用于分析测试用免疫层析试纸条图片并在图片上标注浓度和置信度。图10(a)为测试图片，图10(b)为处理后图片。可以看到该方法可以准确识别T线所在目标位置，并正确分析出目标浓度，还能一次性分析图片内存在的多个目标，提高分析效率。

本发明的基于卷积神经网络的图像检测方法围绕免疫层析试纸条图像T线RGB值和待测物浓度存在关系的特点进行设计，先通过目标检测模块提取出T线所在区域，再使用裁剪模块处理提取图片，最后使用卷积网络输出浓度信息。该方法减少了图片无用信息对网络训练和运算的影响，使得网络在数据较少的情况下也能具有较高性能，并实现了便捷高效地分析免疫试纸条内待测物的浓度。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法和计算机程序产品的流程图和来描述的。应理解可由计算机程序指令实现流程图中的每一流程。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程中指定的功能的步骤。