一种图像语义匹配方法

技术领域

本发明涉及图像匹配领域，尤其涉及一种图像语义匹配方法。

背景技术

图像匹配最早是美国70年代从事飞行器辅助导航系统，武器投射系统的末制导等应用研究中提出的。从80年代以后，其应用已逐步从原来单纯的军事应用扩大到其它领域。随着科学技术的发展，图像匹配技术已经成为现代信息处理领域中的一项极为重要的技术，“在许多领域内有着广泛而实际的应用，如：模式识别，自动导航，医学诊断，计算机视觉，图像三维重构、遥感图像处理等领域。图像匹配是这些应用领域的瓶颈问题，目前很多重要的计算机视觉方面的研究都是在假设匹配问题已经得到解决的前提下开展的。因此，对图像匹配做进一步深入的研究有着非常重要的意义。

公开号为CN113255829B的专利文献中公开了一种基于深度学习的零样本图像目标检测方法和装置，其中方法中的给出待检测图像和目标描述文本；将待检测图像和目标描述文本输入至文本语义引导检测模型，得到文本语义引导检测模型输出的目标检测结果；文本语义引导检测模型是基于图块语义引导检测模型导出的，图块语义引导检测模型是基于图像裁剪召回法训练得到的；文本语义引导检测模型编码的文本语义特征与图块语义引导检测模型编码的图块语义特征匹配，文本语义特征对应的描述文本与图块语义特征对应的图块表征同一目标。

现有技术中的图像语义匹配方法进行文字图像同时匹配会造成图像匹配结果不准确的问题。

发明内容

为此，本发明提供一种图像语义匹配方法，解决在实际图像语义匹配过程中图像中的图像、文字和符号与目标图像库中的图像同时进行匹配造成图像匹配不准确的问题。

为实现上述目的，本发明提供一种图像语义匹配方法，该方法包括接收模块对输入的原始图像进行接收，并对原始图像进行去噪处理以获取第一图像；

第一提取模块对所述第一图像根据区域面积进行提取以获取若干第一图像特征图和若干第二特征图；

第二提取模块对若干所述第二特征图根据有效像素值进行提取以获得若干第一文字特征图和若干第一符号特征图；

第三提取模块对所述第一图像特征图进行再次提取以获得若干第二图像特征图、若干第二文字特征图和若干第二符号特征图；

第一匹配模块将若干所述第二图像特征图、若干所述第一文字特征图、若干所述第一符号特征图、若干所述第二文字特征图和若干所述第二符号特征图分别与第一图像库、第一文字库和第一符号库进行对应的匹配，若匹配成功输出若干第三图像特征图、若干第三文字特征图、若干第三符号特征图，若匹配不成功输出第一输出特征图；

第一分类模块对所述第一输出特征图进行再次分类输出若干第四文字特征图和若干第四符号特征图；

第二分类模块对若干所述第三图像特征图、若干第四文字特征图和若干第四符号特征图根据特征进行排序输出为若干第四图像特征图、若干第五文字特征图和若干第五符号特征图；

第四提取模块提取若干所述第四图像特征图、若干所述第五文字特征图和若干所述第五符号特征图中分别位于首位的第五图像特征图、第六文字特征图和第六符号特征图；

第二匹配模块将所述第五图像特征图与目标图像库进行匹配筛选出若干第一目标图像，将所述第六文字特征图与若干所述第一目标图像进行匹配筛选出若干第二目标图像，所述第六符号特征图与若干所述第二目标图像进行匹配筛选出若干第三目标图像；

确定模块对所述第一图像的和若干所述第三目标图像的相似度进行比较确定最终目标图像。

进一步地，所述第一提取模块中的第一检测单元检测所述第一图像中连续区域的边缘轮廓并将所述不同的边缘轮廓所包含的区域提取出来以获取若干第一检测图像；

第一计算单元计算若干所述第一检测图像的面积以获取若干第一面积数值；

第一分类单元设置第一面积标准值，将若干所述第一面积数值大于所述第一面积标准值的对应连续区域作为若干第一图像特征图，将若干所述第一面积数值小于所述第一面积标准值的对应连续区域作为若干第二特征图；

第一提取单元将若干所述第一图像特征图和若干所述第二特征图提取出来。

进一步地，所述第二提取模块中的第二检测单元对所述第二特征图进行检测以获取若干所述第二特征图的若干第一有效像素值；

第二分类单元设置第一有效像素标准值，将若干所述第一有效像素数值大于所述第一有效像素标准值所对应的连续区域作为若干第一文字特征图，将若干所述第一有效像素数值小于所述第一有效像素标准值所对应的连续区域作为若干第一符号特征图；

第二提取单元将若干所述第一文字特征图和若干所述第一符号特征图提取出来。

进一步地，所述第三提取模块中的第三检测单元对若干所述第一图像特征图进行有效像素检测获取若干第二有效像素值；

第三分类单元设置第二有效像素标准值，将若干所述第二有效像素值大于所述第二有效像素标准值所对应的连续区域作为若干第二文字特征图，将若干所述第二有效像素值小于所述第二有效像素标准值所对应的连续区域作为若干第二符号特征图；

第三提取单元将若干所述第二文字特征图与若干所述第二符号特征图提取出来，提取后的若干所述第一图像特征图为若干第二图像特征图。

进一步地，所述第一匹配模块中的第一存储单元存储第一图像库、第一文字库和第一符号库；

第一匹配单元将若干所述第二图像特征图、若干所述第一文字特征图、若干所述第一符号特征图、若干所述第二文字特征图和若干所述第二符号特征图与所述存储单元进行对应匹配，若所述存储单元中有匹配结果，则将其输出为若干第三图像特征图、若干第三文字特征图、若干第三符号特征图，若所述存储单元没有匹配结果将其输出为若干第一输出特征图进行重新分类。

进一步地，所述第一分类模块中的第四检测单元对若干所述第一输出特征图进行区域轮廓检测；

第二计算单元对若干所述第一输出特征图进行面积计算输出若干第一输出面积值；

第四分类单元设置第二面积标准值，将若干所述第一输出面积值大于所述第二面积标准值的连续区域作为若干第四文字特征图，将若干所述第一输出面积值小于所述第二面积标准值的连续区域作为若干第四符号特征图；

第四提取单元将若干所述第四文字特征图与若干所述第四符号特征图提取出来。

进一步地，所述第二分类模块中的第一接收单元接收若干所述第三图像特征图、若干第四文字特征图和若干第四符号特征图；

第三计算单元计算若干所述第三图像特征的区域面积输出为若干第二输出面积值，计算若干所述第四文字特征图的区域有效像素值输出为若干第三有效像素值，计算若干所述第四符号特征图的区域有效像素值输出为若干第四有效像素值；

第五分类单元将若干所述第二输出面积值、若干所述第三有效像素值和若干所述第四有效像素值进行分别由大到小排序；

第五提取单元用已将所述排序对应的特征图像输出为若干第四图像特征图、若干第五文字特征图和若干第五符号特征图。

进一步地，所述第四提取模块提取若干所述第四图像特征图处于首位的特征图像输出为第五图像特征图，提取若干所述第五文字特征图中处于首位的特征图像输出为第六文字特征图，提取若干所述第五符号特征图中处于首位的特征图像输出为第六符号特征图。

进一步地，所述第二匹配模块中的第二存储单元存储目标图像库；

第二匹配单元将所述第五图像特征图与所述目标图像库进行轮廓匹配筛选出若干第一目标图像；

第三匹配单元将所述第六文字特征图依据有效像素值与若干所述第一目标图像进行匹配筛选出若干第二目标图像；

第四匹配单元将所述第六符号特征图依据有效像素值与若干所述第二目标图像进行匹配筛选出若干第三目标图像；

第六提取单元将若干所述第三目标图像提取出来。

进一步地，所述确定模块中的第四计算单元计算所述第一图像的和若干所述第三目标图像的相似度；

第六分类单元将所述相似度和与其对应的目标图像进行排序输出为第四目标图像；

第七提取单元将所述第四目标图像中处于首位的图像提取出来作为最终目标图像。

与现有技术相比，本发明的有益效果在于，本发明通过所述接收模块对所述原始图像进行去噪处理使得所述原始图像更清晰，方便所述第一图像中的特征提取；通过所述第一提取模块、所述第二提取模块和所述第三提取模块对所述第一图像进行提取获取图像、文字、符号的若干初步特征图，实现对所述第一图像的分割，使得图像匹配过程由图像、文字、符号分别确定；通过所述第一匹配模块对图像、文字、符号的初步特征图进行检验以判断若干初步特征图的正确性，通过所述第一分类模块对初步特征图进行再次分类获得若干最终特征图，对图像、文字和符号的特征图检验判断分类结果的准确性，将分类结果不准确的部分进行重新分类使得分类结果更准确，便于后续的匹配过程；通过所述第二分类模块和所述第四提取模块对最终特征图进行提取以获得若干最终特征图中排序第一的特征图，通过排序获得图像、文字和符号特征图中具有代表性的特征图使其与所述目标图像库进行匹配确定若干所述第三目标图像；通过所述第二匹配模块依据图像匹配、文字匹配和符号匹配的过程依次筛选所述目标图像库使得匹配结果准确；通过所述确定模块进行相似度的比较确定最终的目标图像达到匹配准确的效果。

尤其，所述第一检测单元通过连续区域的边缘轮廓获得若干所述第一检测图像达到对所述第一图像的处理简单化，提高对所述第一图像处理的效率，所述第一计算单元通过若干所述第一检测图像的轮廓计算若干所述第一检测图像的面积使得计算结果性准确，精确度高，所述第一分类单元通过设置所述第一面积标准值使得所述图像和文字符号区分开达到区分若干所述第一图像特征图和若干所述第二特征图的效果。

尤其，所述第二分类单元通过设置所述第一有效像素标准值对所述第二特征图进行区分获取若干所述第一文字特征图和若干所述第一符号特征图达到对文字和符号区分的效果，通过第一有效像素标准值区分文字和符号达到便于文字、符号识别提取的操作，提高图像处理的效率。

尤其，所述第三检测单元通过对若干所述第一图像特征图进行有效像素值的检测区分若干所述第一图像特征图中含有的文字和符号特征，通过第二有效像素标准值区分文字和符号达到保持文字和符号的清晰度的效果，从而提高图像处理的效率。

尤其，所述第一匹配单元通过对若干所述第二图像特征图、若干所述第一文字特征图、若干所述第一符号特征图、若干所述第二文字特征图和若干所述第二符号特征图与所述存储单元进行对应匹配对所述图像、文字和符号的特征图进行检验达到对图像、文字和符号特征图更精确的效果，方便图像后续处理。

尤其，所述第四分类单元通过所述第二面积标准值对若干第一输出特征图进行区分，对所述存储单元中无法匹配的文字和符号特征图进行再次分类，达到分类准确的效果，提高后续图像识别处理的效率，通过所述第二面积标准值进行区分达到对于有效像素值区分失效情况下文字和符号进行再次准确区分的效果。

尤其，所述第三计算单元通过计算若干所述第三图像特征的区域面积达到对图像特征所占比重大小区分的效果，通过计算若干所述第四文字特征图和若干所述第四符号特征图的有效像素值达到对文字、符号特征不同的区分，以便后续图像处理。

尤其，所述第四提取模块通过分别提取若干所述第四图像特征图、若干所述第五文字特征图和若干所述第五符号特征图的首位达到提取图像、文字和符号特征中处于最优解的特征图，便于后续图像匹配，提高图像匹配效率。

尤其，通过所述第五图像特征图与所述目标图像库进行轮廓匹配筛选出若干第一目标图像达到对所述目标图像库的初次筛选过程，通过所述第六文字特征图依据有效像素值与若干所述第一目标图像进行匹配筛选出若干第二目标图像达到对所述目标图像库的二次筛选过程，通过所述第六符号特征图依据有效像素值与若干所述第二目标图像进行匹配筛选出若干第三目标图像达到对所述目标图像库的三次筛选过程，通过图像、文字和符号的分别对目标图像库的匹配筛选达到匹配过程准确的效果。

尤其，通过所述相似度对所述若干所述第三目标图像进行最终筛选对所述第一图像和若干所述第三目标图像的各种特征进行细致的比较和分析达到所述最终目标图像与所述第一图像匹配结果准确，提高匹配准确度。

附图说明

图1为本发明实施例提供的图像语义匹配方法的流程示意图；

图2为本发明实施例提供的图像语义匹配方法的第一功能框图；

图3为本发明实施例提供的图像语义匹配方法的第二功能框图。

具体实施方式

为了使本发明的目的和优点更加清楚明白，下面结合实施例对本发明作进一步描述；应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。

下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非在限制本发明的保护范围。

需要说明的是，在本发明的描述中，术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方向或位置关系的术语是基于附图所示的方向或位置关系，这仅仅是为了便于描述，而不是指示或暗示所述装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，还需要说明的是，在本发明的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域技术人员而言，可根据具体情况理解上述术语在本发明中的具体含义。

请参阅图1和图2所示，本发明实施例一种图像语义匹配方法，本实施例包括：步骤S110,接收模块10对输入的原始图像进行接收，并对原始图像进行去噪处理以获取第一图像；

步骤S120,第一提取模块20对所述第一图像根据区域面积进行提取以获取若干第一图像特征图和若干第二特征图；

步骤S130,第二提取模块30对若干所述第二特征图根据有效像素值进行提取以获得若干第一文字特征图和若干第一符号特征图；

步骤S140,第三提取模块40对所述第一图像特征图进行再次提取以获得若干第二图像特征图、若干第二文字特征图和若干第二符号特征图；

步骤S150，第一匹配模块50将若干所述第二图像特征图、若干所述第一文字特征图、若干所述第一符号特征图、若干所述第二文字特征图和若干所述第二符号特征图分别与第一图像库、第一文字库和第一符号库进行对应的匹配，若匹配成功输出若干第三图像特征图、若干第三文字特征图、若干第三符号特征图，若匹配不成功输出第一输出特征图；

步骤S160，第一分类模块60对所述第一输出特征图进行再次分类输出若干第四文字特征图和若干第四符号特征图；

步骤S170，第二分类模块70对若干所述第三图像特征图、若干第四文字特征图和若干第四符号特征图根据特征进行排序输出为若干第四图像特征图、若干第五文字特征图和若干第五符号特征图；

步骤S180，第四提取模块80提取若干所述第四图像特征图、若干所述第五文字特征图和若干所述第五符号特征图中分别位于首位的第五图像特征图、第六文字特征图和第六符号特征图；

步骤S190，第二匹配模块90将所述第五图像特征图与目标图像库进行匹配筛选出若干第一目标图像，将所述第六文字特征图与若干所述第一目标图像进行匹配筛选出若干第二目标图像，所述第六符号特征图与若干所述第二目标图像进行匹配筛选出若干第三目标图像；

步骤S200，确定模块100对所述第一图像的和若干所述第三目标图像的相似度进行比较确定最终目标图像。

具体而言，通过所述接收模块10对所述原始图像进行去噪处理使得所述原始图像更清晰，方便图像提取，通过所述第一提取模块20、所述第二提取模块30和所述第三提取模块40对所述第一图像进行提取获取图像、文字、符号的若干初步特征图，通过所述第一匹配模块50对图像、文字、符号的初步特征图进行检验以判断若干初步特征图的正确性，通过所述第一分类模块60对初步特征图进行再次分类获得若干最终特征图，通过所述第二分类模块70和所述第四提取模块80对最终特征图进行提取以获得若干最终特征图中排序第一的特征图，通过所述第二匹配模块90和所述确定模块100确定最终的目标图像达到匹配准确的效果。

参阅图2所示，具体而言，所述第一提取模块20中的第一检测单元21检测所述第一图像中连续区域的边缘轮廓并将所述不同的边缘轮廓所包含的区域提取出来以获取若干第一检测图像；第一计算单元22计算若干所述第一检测图像的面积以获取若干第一面积数值；第一分类单元23设置第一面积标准值，将若干所述第一面积数值大于所述第一面积标准值的对应连续区域作为若干第一图像特征图，将若干所述第一面积数值小于所述第一面积标准值的对应连续区域作为若干第二特征图；第一提取单元24将若干所述第一图像特征图和若干所述第二特征图提取出来。

具体而言，所述第一检测单元21通过连续区域的边缘轮廓获得若干所述第一检测图像达到对所述第一图像的处理简单化，提高对所述第一图像处理的效率，所述第一计算单元22通过若干所述第一检测图像的轮廓计算若干所述第一检测图像的面积使得计算结果性准确，精确度高，所述第一分类单元23通过设置所述第一面积标准值使得所述图像和文字符号区分开达到区分若干所述第一图像特征图和若干所述第二特征图的效果。

具体而言，所述第二提取模块30中的第二检测单元31对所述第二特征图进行检测以获取若干所述第二特征图的若干第一有效像素值；第二分类单元32设置第一有效像素标准值，将若干所述第一有效像素数值大于所述第一有效像素标准值所对应的连续区域作为若干第一文字特征图，将若干所述第一有效像素数值小于所述第一有效像素标准值所对应的连续区域作为若干第一符号特征图；第二提取单元33将若干所述第一文字特征图和若干所述第一符号特征图提取出来。

具体而言，所述第二分类单元32通过设置所述第一有效像素标准值对所述第二特征图进行区分获取若干所述第一文字特征图和若干所述第一符号特征图达到对文字和符号区分的效果，通过第一有效像素标准值区分文字和符号达到便于文字、符号识别提取的操作，提高图像处理的效率。

具体而言，所述第三提取模块40中的第三检测单元41对若干所述第一图像特征图进行有效像素检测获取若干第二有效像素值；第三分类单元42设置第二有效像素标准值，将若干所述第二有效像素值大于所述第二有效像素标准值所对应的连续区域作为若干第二文字特征图，将若干所述第二有效像素值小于所述第二有效像素标准值所对应的连续区域作为若干第二符号特征图；第三提取单元43将若干所述第二文字特征图与若干所述第二符号特征图提取出来，提取后的若干所述第一图像特征图为若干第二图像特征图。

具体而言，所述第三检测单元41通过对若干所述第一图像特征图进行有效像素值的检测区分若干所述第一图像特征图中含有的文字和符号特征，通过第二有效像素标准值区分文字和符号达到保持文字和符号的清晰度的效果，从而提高图像处理的效率。

具体而言，所述第一匹配模块50中的第一存储单元51存储第一图像库、第一文字库和第一符号库；第一匹配单元52将若干所述第二图像特征图、若干所述第一文字特征图、若干所述第一符号特征图、若干所述第二文字特征图和若干所述第二符号特征图与所述第一存储单元51进行对应匹配，若所述第一存储单元51中有匹配结果，则将其输出为若干第三图像特征图、若干第三文字特征图、若干第三符号特征图，若所述第一存储单元51没有匹配结果将其输出为若干第一输出特征图进行重新分类。

具体而言，本领域技术人员可以理解的是对于所述第一图像库、第一文字库和第一符号库具体不做要求，可从所属图像库中挑选任意一个作为第一图像库、第一文字库和第一符号库。

具体而言，所述第一分类模块60中的第四检测单元61对若干所述第一输出特征图进行区域轮廓检测；第二计算单元62对若干所述第一输出特征图进行面积计算输出若干第一输出面积值；第四分类单元63设置第二面积标准值，将若干所述第一输出面积值大于所述第二面积标准值的连续区域作为若干第四文字特征图，将若干所述第一输出面积值小于所述第二面积标准值的连续区域作为若干第四符号特征图；第四提取单元64将若干所述第四文字特征图与若干所述第四符号特征图提取出来。

具体而言，所述第四分类单元63通过所述第二面积标准值对若干第一输出特征图进行区分，对所述第一存储单元51中无法匹配的文字和符号特征图进行再次分类，达到分类准确的效果，提高后续图像识别处理的效率，通过所述第二面积标准值进行区分达到对于有效像素值区分失效情况下文字和符号进行再次准确区分的效果。

具体而言，所述第二分类模块70中的第一接收单元71接收若干所述第三图像特征图、若干第四文字特征图和若干第四符号特征图；第三计算单元72计算若干所述第三图像特征的区域面积输出为若干第二输出面积值，计算若干所述第四文字特征图的区域有效像素值输出为若干第三有效像素值，计算若干所述第四符号特征图的区域有效像素值输出为若干第四有效像素值；第五分类单元73将若干所述第二输出面积值、若干所述第三有效像素值和若干所述第四有效像素值进行分别由大到小排序；第五提取单元74用已将所述排序对应的特征图像输出为若干第四图像特征图、若干第五文字特征图和若干第五符号特征图。

具体而言，所述第四提取模块80提取若干所述第四图像特征图处于首位的特征图像输出为第五图像特征图，提取若干所述第五文字特征图中处于首位的特征图像输出为第六文字特征图，提取若干所述第五符号特征图中处于首位的特征图像输出为第六符号特征图。

具体而言，所述第二匹配模块90中的第二存储单元91存储目标图像库；第二匹配单元92将所述第五图像特征图与所述目标图像库进行轮廓匹配筛选出若干第一目标图像；第三匹配单元93将所述第六文字特征图依据有效像素值与若干所述第一目标图像进行匹配筛选出若干第二目标图像；第四匹配单元94将所述第六符号特征图依据有效像素值与若干所述第二目标图像进行匹配筛选出若干第三目标图像；第六提取单元95将若干所述第三目标图像提取出来。

具体而言，通过所述第五图像特征图与所述目标图像库进行轮廓匹配筛选出若干第一目标图像达到对所述目标图像库的初次筛选过程，通过所述第六文字特征图依据有效像素值与若干所述第一目标图像进行匹配筛选出若干第二目标图像达到对所述目标图像库的二次筛选过程，通过所述第六符号特征图依据有效像素值与若干所述第二目标图像进行匹配筛选出若干第三目标图像达到对所述目标图像库的三次筛选过程，通过图像、文字和符号的分别对目标图像库的匹配筛选达到匹配过程准确的效果。

具体而言，所述确定模块100中的第四计算单元101计算所述第一图像的和若干所述第三目标图像的相似度；第六分类单元102将所述相似度和与其对应的目标图像进行排序输出为第四目标图像；第七提取单元103将所述第四目标图像中处于首位的图像提取出来作为最终目标图像。

具体而言，通过所述相似度对所述若干所述第三目标图像进行最终筛选对所述第一图像和若干所述第三目标图像的各种特征进行细致的比较和分析达到所述最终目标图像与所述第一图像匹配结果准确，提高匹配准确度。

至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征做出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

以上所述仅为本发明的优选实施例，并不用于限制本发明；对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。