一种针对蛋白质免疫印迹条带图像的图像匹配方法及装置

技术领域

本发明实施例涉及图像处理技术领域，尤其涉及一种针对蛋白质免疫印迹条带图像的图像匹配方法及装置。

背景技术

图像匹配是比较常用的需求，图像匹配的方法也比较成熟，分为传统机器学习匹配和深度学习匹配技术，两种方法的基本流程都是一致的，都需要经过两个步骤：特征点检测，特征点特征提取。传统机器学习方法基于规划寻找特征点，深度学习方法基于训练查找特征点。特征点往往是与周围像素差异比较大的点，这些点与周围像素组合在一起含有丰富的信息，一般独一无二，具有可区分性。找到特征点之后，再对特征向量进行特征提取，即对特征点和其周围像素的信息进行编码，表示为独一无二的特征向量。最后用图像中所有特征向量进行匹配，所以足够数量的可区分性特征点是图像匹配的关键。

对于简单内容或没有丰富纹理的图像，比如WB图像，无法提取到足够多的具有可区分性的关键点，或者可以找到足够多的关键点但是特征表示能力不足。对于WB图像，条带之间变化差异比较细微，纯粹的图像匹配无法区分极其相似的不同条带，这些条带是不同的，但是也可能很相似，只有形状上略微差别，导致特征点数量少、可区分性低。

发明内容

本发明针对现有技术中存在的技术问题，提供一种针对蛋白质免疫印迹条带图像的图像匹配方法及装置。

为解决上述技术问题，第一方面，本发明实施例提供一种针对蛋白质免疫印迹条带图像的图像匹配方法，包括：

步骤S1、获取蛋白质免疫印迹WB条带图像，生成所述WB条带图像的灰度图、二值图和边缘图；

步骤S2、分别提取所述灰度图、二值图和边缘图的sift特征点、surf特征点和orb特征点，构建特征向量集合，并对所述特征集合中的所述sift特征点、所述surf特征点和所述orb特征点进行匹配去重；

步骤S3、对不同WB条带图像对应的特征向量集合进行多目标匹配，所述多目标匹配包括区域匹配、特征匹配、轮廓匹配和灰度匹配；对匹配成功的WB条带图像进行图像拼接。

作为优选的，所述步骤S1具体包括：

获取需要进行图像匹配的WB条带图像，提取各所述WB条带图像的灰度图，基于otsu分割方法提取所述WB条带图像的二值图，基于canny边缘检测方法提取所述WB条带图像的边缘图。

作为优选的，所述步骤S2具体包括：

分别对所述灰度图、所述二值图和所述边缘图进行特征点检测，根据不同尺度下的高斯模糊化图像差异寻找局部极值，以分别提取所述灰度图、所述二值图和所述边缘图的sift特征点；基于海森矩阵的行列式值检测所述灰度图、所述二值图和所述边缘图的surf特征点；基于FAST特征检测提取所述灰度图、所述二值图和所述边缘图的orb特征点；

基于所述sift特征点、所述surf特征点和所述orb特征点的位置，进行特征点去重处理，基于sift特征提取方法将提取到的所述sift特征点、所述surf特征点和所述orb特征点表达成特征向量，构建特征向量集合。

作为优选的，所述步骤S3中，所述区域匹配具体包括：

基于比率检验法ratio test对第一WB条带图像、第二WB条带图像的特征向量集进行匹配，对第一WB条带图像中的第一特征向量，查找第二WB条带图像中与第一特征向量的欧式距离最近的两个第二特征向量；d1/d2

计算所述第一WB条带图像、第二WB条带图像的的匹配度match ratio＝M/min(第一WB条带图像的特征向量集中第一特征向量个数，第二WB条带图像的特征向量集中第二特征向量个数)，其中M为基于比率检验法ratio test对第一WB条带图像、第二WB条带图像的特征向量集进行匹配后得到的特征向量个数；

对匹配后特征向量进行双向去重处理，求取匹配后特征向量的矩形闭包作为匹配区域；

所述特征匹配具体包括：

基于随机样本一致性方法计算第一WB条带图像、第二WB条带图像的匹配区域的单应性矩阵，以判断单应性第一WB条带图像、第二WB条带图像的特征匹配的实际区域是否匹配。

作为优选的，所述步骤S3中，所述轮廓匹配具体包括：

对特征匹配后的第一WB条带图像进行分割得到patch_A，对第二WB条带图像进行分割得到patch_B；

对分割后的patch_A、patch_B分别求取轮廓得到contour_A、contour_B；约束contour_A中轮廓的个数与contour_B中轮廓的个数差的绝对值小于等于2；将contour_A与contour_B中的轮廓一一进行轮廓匹配，得到m*n大小的轮廓匹配矩阵ms；

基于二分图的最小权重匹配的匈牙利算法对轮廓匹配矩阵进行计算，取最小代价匹配结果中代价最大的匹配值ms_max作为轮廓匹配度；若所述轮廓匹配度小于预设轮廓匹配阈值，则判断匹配成功。

作为优选的，所述步骤S3中，所述灰度匹配具体包括：

求取第一WB条带图像、第二WB条带图像轮廓匹配得到的patch_A_seg和patch_B_seg的相交区域patch_mask；

基于patch_mask对patch_A和patch_B中的所有对应位置的灰度像素做差的绝对值，然后求和得到diff_abs_sum；

若判断所述diff_abs_sum小于预设像素阈值，则判断匹配成功。

作为优选的，所述步骤S3红，对匹配成功的WB条带图像进行图像拼接，具体包括：

基于opencv中的findHomography函数得到第一WB条带图像变换到第二WB条带图像的变换矩阵H，对第一WB条带图像四角做基于H的透视变换，并与第二WB条带图像的四角坐标拼接，求取平移变换矩阵Ht；

对第一WB条带图像基于H做透视变换得到A’，然后对A’和第二WB条带图像做基于Ht的平移变换保证图像坐标都为正，得到A”和B’；

求取A”和B’中匹配相似的图像区域patch_A和patch_B，并进行图像拼接。

第二方面，本发明实施例提供一种针对蛋白质免疫印迹条带图像的图像匹配装置，包括：

图像预处理模块，获取蛋白质免疫印迹WB条带图像，生成所述WB条带图像的灰度图、二值图和边缘图；

特征点提取模块，分别提取所述灰度图、二值图和边缘图的sift特征点、surf特征点和orb特征点，构建特征向量集合，并对所述特征集合中的所述sift特征点、所述surf特征点和所述orb特征点进行匹配去重；

图像匹配模块，对不同WB条带图像对应的特征向量集合进行多目标匹配，所述多目标匹配包括区域匹配、特征匹配、轮廓匹配和灰度匹配；对匹配成功的WB条带图像进行图像拼接。

第三方面，本发明实施例提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如本发明第一方面实施例所述针对蛋白质免疫印迹条带图像的图像匹配方法的步骤。

第四方面，本发明实施例提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如本发明第一方面实施例所述针对蛋白质免疫印迹条带图像的图像匹配方法的步骤。

本发明的有益效果是：先对原图生成灰度图、基于otsu分割的二值图和基于canny边缘检测的边缘图，针对生成的这3种图再进行特征点检测，这里对每个生成的图分别进行3种不同的特征点检测；能够提取到足够多的具有可区分性的关键点，可以找到足够多的关键点且特征表示能力充足；对于WB条带图像，能够提取条带之间细微变化差异，在保证匹配效果的前提下，能够对微小的差异十分敏感。

附图说明

图1为本发明实施例的针对蛋白质免疫印迹条带图像的图像匹配方法流程图；

图2为本发明实施例的针对蛋白质免疫印迹条带图像的图像匹配方法流程框图；

图3为本发明实施例的特征点特征提取流图示意图；

图4为本发明实施例的区域匹配示意图；

图5为本发明实施例的拼接图像示意图；

图6为本发明实施例的电子设备示意图；

图7为本发明实施例的计算机可读存储介质示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1至图2为本发明实施例提供一种针对蛋白质免疫印迹条带图像的图像匹配方法，包括：

步骤S1、获取蛋白质免疫印迹WB条带图像，生成所述WB条带图像的灰度图、二值图和边缘图；

由于WB条带图像只是白色背景中黑色的条带，内容简单，缺乏丰富的纹理变化，直接使用常用的特征点检测，检测不到足够匹配的特征点，导致后续的特征匹配失效。为了产生足够的有表达能力的特征点，必须增加特征点的数量，同时保证特征点的质量即可区分性不至于太低。本发明实施例中，由于WB图像都是黑白的，主要的区分线索在于形状上，先对原图生成灰度图、基于otsu分割的二值图和基于canny边缘检测的边缘图，针对生成的这3种图再进行特征点检测。

步骤S2、分别提取所述灰度图、二值图和边缘图的sift特征点、surf特征点和orb特征点，构建特征向量集合，并对所述特征集合中的所述sift特征点、所述surf特征点和所述orb特征点进行匹配去重；

对每个生成的图分别进行3种不同的特征点检测，即sift特征点、surf特征点和orb特征点。sift特征点检测的原理是根据不同尺度下的高斯模糊化图像差异寻找局部极值；surf特征点检测的原理是使用海森矩阵的行列式值作特征点检测；orb特征点检测是基于著名的FAST特征检测基础上提出来的。这3种方法检测特征点的算法各不相同，且针对三种不同处理的图像进行的检测，所以检测出的特征点都大部分集中在边缘区域，

如图3所示，对原图分别生成灰度图img_g，otsu分割图img_o和canny边缘检测图img_c,然后分别使用opencv自带的sift，surf和orb对生成图像进行特征点检测，得到灰度图img_g的kp_sift_g、kp_surf_g、kp_orb_g,otsu分割图img_o的kp_sift_o,kp_surf_o,kp_orb_o,canny边缘检测图img_c的kp_sift_c、kp_surf_c、kp_orb_c，最后对所有特征点基于坐标位置进行去重。

对于得到的特征点，使用sift算法做特征提取，当然也可以使用surf或者orb，为了保证效果足够好，本实施例使用sift，将特征点变成128维的特征向量。每一幅图中特征点的个数是根据图像内容变化的，所以特征向量的个数也是变化的。sift，surf和orb都是opencv自带的函数。本实施例使用的opencv版本是3.4.2.16。

步骤S3、对不同WB条带图像对应的特征向量集合进行多目标匹配，所述多目标匹配包括区域匹配、特征匹配、轮廓匹配和灰度匹配；对匹配成功的WB条带图像进行图像拼接。

在对两幅图像对应的特征向量集合进行匹配的过程中，使用匹配度来进行特征点过滤，本发明采用ratio test来消除假阳性匹配，所述区域匹配具体包括：

基于比率检验法ratio test对第一WB条带图像、第二WB条带图像的特征向量集进行匹配，对第一WB条带图像中的第一特征向量，查找第二WB条带图像中与第一特征向量的欧式距离最近的两个第二特征向量；d1/d2

对匹配后特征向量进行双向去重处理，求取匹配后特征向量的矩形闭包作为匹配区域。对匹配点进行双向去重，即对存在1对多的匹配点，只随机保留一个匹配点。然后对去重后的点进行求bounding rect，即找匹配点的矩形闭包作为匹配区域。

在上述实施例的基础上，所述特征匹配具体包括：

基于随机样本一致性方法计算第一WB条带图像、第二WB条带图像的匹配区域的单应性矩阵，以判断单应性第一WB条带图像、第二WB条带图像的特征匹配的实际区域是否匹配。

特征匹配的过程一样具有图像特征点检测、特征点特征提取、特征匹配，但是排除的大量干扰区域，只针对已经找到可能的匹配区域，而且匹配度match ratio的阈值也不同，比如取0.0070。匹配度小于阈值的认为图像对是不匹配的，直接结束，否则还需进入下一步判断。

如果匹配，会计算单应性矩阵。由于两个图像区块可能也是部分区域相似，比如WB图像的条带被截断了，所以需要计算两幅图像特征匹配的实际区域，为此就需要计算单应性矩阵，也就是透视变换矩阵。由于ratio test后的匹配特征向量中难免会有其他错误，故使用RANSAC(随机样本一致性方法)找到最佳单应性矩阵，可使用opencv中的findHomography函数得到变换矩阵H，其表示H*A→B，即把图像A(第一WB条带图像)变换到图像B(第二WB条带图像)中。

在上述实施例的基础上，为了避免特征匹配的出错，对特征匹配的相似区域进行进一步的匹配。针对WB条带图像，形状或者说轮廓是最有区分性的特征，所以使用轮廓匹配来做后处理。所述轮廓匹配具体包括：

对特征匹配后的第一WB条带图像进行分割得到patch_A，对第二WB条带图像进行分割得到patch_B；先对patch_A和patch_B做分割，使用传统的图像分割，总有少部分情况会出错，所以训练使用UNet训练了一个WB条带的分割模型，然后使用UNet分割patch_A和patch_B；

对分割后的patch_A、patch_B分别求取轮廓得到contour_A、contour_B；约束contour_A中轮廓的个数与contour_B中轮廓的个数差的绝对值小于等于2；将contour_A与contour_B中的轮廓一一进行轮廓匹配，得到m*n大小的轮廓匹配矩阵ms；对分割后的图像分别求取轮廓得到contour_A和contour_B，约束contour_A中轮廓的个数与contour_B中轮廓的个数差的绝对值小于等于2，因为可能patch_A或patch_B中容易出现条带的两头容易多出来一点点，导致多出两个轮廓。满足约束条件后再将contour_A与contour_B中的轮廓一一进行轮廓匹配，得到m*n大小的轮廓匹配矩阵ms，轮廓匹配使用opencv中的matchShapes函数；

基于二分图的最小权重匹配的匈牙利算法对轮廓匹配矩阵进行计算，取最小代价匹配结果中代价最大的匹配值ms_max作为轮廓匹配度；若所述轮廓匹配度小于预设轮廓匹配阈值，则判断匹配成功。对轮廓匹配矩阵使用基于二分图的最小权重匹配的匈牙利算法计算，取最小代价匹配结果中代价最大的匹配值ms_max作为轮廓匹配的匹配度，这样取最小最大值是为了轮廓匹配结果的稳定性，本实施例中基于测试集保证召回率的情况下选择轮廓匹配的阈值为100，ms_max小于100则认为匹配是可信的，直接结束后处理，否则需要进行进一步的后处理。

在上述实施例的基础上，对于轮廓匹配未确定的情况，需要分析灰度分布是否存在较大区别，因为存在WB条带不是深浅不一样，而是一个有灰度渐变，另一个没有灰度渐变的情况，对于灰度分布存在重大差异的情况，可以进行像素差约束进行区分，所述步骤S3中，所述灰度匹配具体包括：

求取第一WB条带图像、第二WB条带图像轮廓匹配得到的patch_A_seg和patch_B_seg的相交区域patch_mask；

基于patch_mask对patch_A和patch_B中的所有对应位置的灰度像素做差的绝对值，然后求和得到diff_abs_sum；这样做的好处是精确定位比较区域，避免其他像素干扰，考虑位置性，增加diff_abs_sum的稳定性；

若判断所述diff_abs_sum小于预设像素阈值，则判断匹配成功。阈值同样通过测试集进行确定，此时尽可能保证准确率。本实施例中像素差绝对值的和的阈值为patch_mask中非零元素的个数*20，表示每个像素的最小变化量为20，小于最小变化量则认为没有灰度变换。

在上述实施例的基础上，有了变换矩阵H，即可对图A和图B进行变换。所述步骤S3红，对匹配成功的WB条带图像进行图像拼接，具体包括：

平移变换，由于图像坐标是图像左上角为坐标原点，水平方向为x轴，垂直方向为y轴，坐标小于0无法显示，所以先做平移变换，保证变换后所有图像像素点的坐标x或y都大于0。上述步骤中，已经基于opencv中的findHomography函数得到第一WB条带图像(图像A)变换到第二WB条带图像(图像B)的变换矩阵H，对第一WB条带图像四角做基于H的透视变换，并与第二WB条带图像的四角坐标拼接在一起，然后求出xmin、ymin以及xmax、ymax，即变换后拼接图像的大小为(xmax-xmin)*(ymax-ymin)，由此可以构造平移变换矩阵Ht＝[[1,0,-xmin],[0,1,-xmax],[0,0,1]]。

图像变换，对第一WB条带图像基于H做透视变换得到A’，然后对A’和第二WB条带图像做基于Ht的平移变换保证图像坐标都为正，得到A”和B’；

mask，求取A”和B’中匹配相似的图像区域patch_A和patch_B，并进行图像拼接。假设构造与A·/B大小相同的mask图像，然后经过图像变换步骤中相同的变换mask_A和mask_B，并求相交区域mask_and，然后将mask_and反变换回去，得到raw_mask_A和raw_mask_B,raw_mask_A表示在图A中的相交区域，raw_mask_B表示在图B中的相交区域，然后去mask区域，即patch_A＝A[raw_mask_A]，patch_B＝B[raw_mask_B],如此即求得图像A和图像B中匹配相似的图像区域patch_A和patch_B，并作为后处理的输入。

如果基于ratio test和match ratio的特征匹配是相似的，那么基于RANSAC方法计算匹配图像的最佳单应性矩阵，然后用单应性矩阵拼接图像，拼接图像过程如图4、图5所示，先求基于单应性矩阵变换后，图像中条带的相交区域的boundingRect作为mask，然后将mask变换回各自之前的对应的原图区域，用mask对应的各自的原图区域作为轮廓匹配的输入，对这两个子图区域基于同一个阈值进行分割成二值图，这个阈值取两个子图的otsu分割阈值的均值，这样做的好处是避免因为阈值的不同导致边界轮廓的略微不同。由于一个图中轮廓可能不止一个，对两个图中所有轮廓进行一一匹配计算轮廓相似度，对相似度结果再进行基于二分图的最小权重匹配的匈牙利算法计算，取最小代价匹配结果中代价最大的匹配值作为轮廓匹配的匹配度，这样做是为了轮廓匹配结果的稳定性，增加其泛化能力。轮廓匹配的匹配度阈值，同样是基于测试集在保证召回率的情况下选取的。最后对于已经轮廓匹配的图像，还可能存在轮廓一样，但是不是深浅不一样，而是一个有灰度渐变，另一个没有灰度渐变的情况，对于这种情况，同样基于相交子图区域求其对应灰度像素差的绝对值的和，像素差阈值是基于测试集在最佳准确率下确定的。总之，通过上述的后处理，在保证匹配效果的前提下，能够对微小的差异十分敏感。

本发明实施例还提供一种针对蛋白质免疫印迹条带图像的图像匹配装置，基于上述实施例中的针对蛋白质免疫印迹条带图像的图像匹配方法，包括：

图像预处理模块，获取蛋白质免疫印迹WB条带图像，生成所述WB条带图像的灰度图、二值图和边缘图；

特征点提取模块，分别提取所述灰度图、二值图和边缘图的sift特征点、surf特征点和orb特征点，构建特征向量集合，并对所述特征集合中的所述sift特征点、所述surf特征点和所述orb特征点进行匹配去重；

图像匹配模块，对不同WB条带图像对应的特征向量集合进行多目标匹配，所述多目标匹配包括区域匹配、特征匹配、轮廓匹配和灰度匹配；对匹配成功的WB条带图像进行图像拼接。

图6为本发明实施例提供的电子设备的实施例示意图。如图6所示，本发明实施例提供了一种电子设备500，包括存储器510、处理器520及存储在存储器520上并可在处理器520上运行的计算机程序511，处理器520执行计算机程序511时实现以下步骤：

步骤S1、获取蛋白质免疫印迹WB条带图像，生成所述WB条带图像的灰度图、二值图和边缘图；

步骤S2、分别提取所述灰度图、二值图和边缘图的sift特征点、surf特征点和orb特征点，构建特征向量集合，并对所述特征集合中的所述sift特征点、所述surf特征点和所述orb特征点进行匹配去重；

步骤S3、对不同WB条带图像对应的特征向量集合进行多目标匹配，所述多目标匹配包括区域匹配、特征匹配、轮廓匹配和灰度匹配；对匹配成功的WB条带图像进行图像拼接。

请参阅图7，图7为本发明实施例提供的一种计算机可读存储介质的实施例示意图。如图7所示，本实施例提供了一种计算机可读存储介质600，其上存储有计算机程序611，该计算机程序611被处理器执行时实现如下步骤：

步骤S1、获取蛋白质免疫印迹WB条带图像，生成所述WB条带图像的灰度图、二值图和边缘图；

步骤S2、分别提取所述灰度图、二值图和边缘图的sift特征点、surf特征点和orb特征点，构建特征向量集合，并对所述特征集合中的所述sift特征点、所述surf特征点和所述orb特征点进行匹配去重；

步骤S3、对不同WB条带图像对应的特征向量集合进行多目标匹配，所述多目标匹配包括区域匹配、特征匹配、轮廓匹配和灰度匹配；对匹配成功的WB条带图像进行图像拼接。

需要说明的是，在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详细描述的部分，可以参见其它实施例的相关描述。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式计算机或者其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包括这些改动和变型在内。