掌桥专利:专业的专利平台
掌桥专利
首页

一种图标匹配方法及装置

文献发布时间:2023-06-19 19:07:35


一种图标匹配方法及装置

技术领域

本发明涉及图标匹配技术领域,尤其涉及一种图标匹配方法及装置。

背景技术

随着科技飞速发展及电子信息化的普及,各式各样的图标出现在人们日常生活和工作中,如何快速精准地完成图标匹配也随之成为一大热门需求。

当前,针对图标匹配方式多为人为调节特征点提取器的初始化参数,进而通过特征点提取器提取图像的特征点,通过比对不同图像间的特征点完成图标匹配,然而,即便针对同一图像,不同的参数设置也会导致在图像上提取的特征点不同;进一步的,若使用同一套特征点提取器参数进行图像匹配,则无法适应多样化的图像,需要事先采样大量的输入图像,统计相关的图像特性后人为设定特征点提取器的参数,当输入图像的特性偏离预采样的图像特性时,提取的特征点就会不准确,进而导致匹配准确性低;此外,当目标图像尺寸较大时,特征点提取器会检测出非常多的特征点,后续的特征点匹配过程速度也会十分耗时,匹配效率会非常低,可见,现有的图标匹配方式存在图标匹配准确性和匹配效率低的问题。因此,提供一种能够提高图标的匹配准确性和匹配效率的图标匹配方式显得尤为重要。

发明内容

本发明内容所要解决的技术问题在于,提供一种图标匹配方法及装置,能够提高图标的匹配准确性和匹配效率。

为了解决上述技术问题,本发明第一方面公开了一种图标匹配方法,所述方法包括:

将目标图像输入至训练收敛的图标检测模型中,得到目标图标检测结果;

将所述目标图标检测结果及预先确定出的应用图标图像分别输入至训练收敛的特征点提取器中,得到特征点提取结果;

根据所述特征点提取结果,确定所述目标图标检测结果与所述应用图标图像所对应的图标匹配结果。

作为一种可选的实施方式,在本发明第一方面中,所述方法还包括:

对基础图标检测模型执行模型训练操作,得到训练收敛的图标检测模型;

以及,在所述对基础图标检测模型执行模型训练操作,得到训练收敛的图标检测模型之前,所述方法还包括:

根据获取到的应用训练图标数据集及获取到的目标训练图像集,构建得到检测数据集;所述检测数据集包括训练数据集及验证数据集;

根据设定的图像聚类处理条件,确定所述训练数据集对应的检测框信息,并根据所述检测框信息及设定的检测框修正处理信息,确定目标预设锚框;所述目标预设锚框包括至少三个不同尺寸的正方形锚框;

根据所述目标预设锚框、设定的超参数配置信息及所述训练数据集,构建得到基础图标检测模型。

作为一种可选的实施方式,在本发明第一方面中,所述对基础图标检测模型执行模型训练操作,得到训练收敛的图标检测模型,包括:

根据所述验证数据集及设定的模型训练条件,对基础图标检测模型执行模型训练优化操作,得到损失优化曲线结果;

根据所述损失优化曲线结果,判断所述基础图标检测模型是否满足预设的模型训练收敛条件,当判断结果为是时,确定所述基础图标检测模型训练收敛;

以及,所述根据获取到的应用训练图标数据集及获取到的目标训练图像集,构建得到检测数据集,包括:

对于获取到的目标训练图像集中的任一目标训练图像,根据预设的图像处理检测算法,确定该目标训练图像的图标提取区域;

根据所述图标提取区域的第一像素信息及背景提取区域的第二像素信息,执行像素填充处理操作,得到该目标训练图像对应的模板图像;所述背景提取区域为该目标训练图像中除所述图标提取区域外的区域;

根据获取到的应用训练图标数据集、所有所述模板图像及设定的图像粘贴处理条件,构造得到检测数据集。

作为一种可选的实施方式,在本发明第一方面中,所述根据所述特征点提取结果,确定所述目标图标检测结果与所述应用图标图像所对应的图标匹配结果,包括:

根据所述特征点提取结果,计算所述应用图标图像对应的整体特征点数量,并根据所述特征点提取结果及设定的特征点匹配分析条件,确定所述目标图标检测结果与所述应用图标图像所对应的匹配特征点数量;

根据所述整体特征点数量及所述匹配特征点数量,确定所述目标图标检测结果与所述应用图标图像对应的特征点配对准确率;

根据所述特征点配对准确率,确定所述目标图标检测结果与所述应用图标图像所对应的图标匹配结果。

作为一种可选的实施方式,在本发明第一方面中,在所述根据所述特征点配对准确率,确定所述目标图标检测结果与所述应用图标图像所对应的图标匹配结果之前,所述方法还包括:

判断所述特征点配对准确率是否大于等于预设的配对准确率阈值;

当判断出所述特征点配对准确率小于所述配对准确率阈值时,根据设定的图标结构分析条件,确定所述目标图标检测结果与所述应用图标图像对应的结构相似度;根据所述特征点配对准确率及所述结构相似度,确定所述目标图标检测结果与所述应用图标图像所对应的图标匹配结果;

当判断出所述特征点配对准确率大于等于所述配对准确率阈值时,执行所述的根据所述特征点配对准确率,确定所述目标图标检测结果与所述应用图标图像所对应的图标匹配结果的操作。

作为一种可选的实施方式,在本发明第一方面中,所述根据所述特征点提取结果及设定的特征点匹配分析条件,确定所述目标图标检测结果与所述应用图标图像所对应的匹配特征点数量,包括:

根据所述特征点提取结果,确定所述目标图标检测结果对应的第一特征点情况及所述应用图标图像对应的第二特征点情况;其中,所述第一特征点情况及所述第二特征点情况皆包括特征点数量情况及特征点排列位置情况;

对于所述应用图标图像对应的每一目标第二特征点,根据所述第一特征点情况及所述第二特征点情况,从所述目标图标检测结果对应的所有第一特征点中筛选出满足与该目标第二特征点相匹配的预设第一特征点距离数量条件的目标第一特征点;根据所述第一特征点情况、所述第二特征点情况及设定的特征点匹配分析条件,确定该目标第二特征点与所述目标第一特征点所对应的特征点匹配情况;

从所有所述特征点匹配情况中筛选出目标特征点匹配情况,并根据所有所述目标特征点匹配情况,确定所述目标图标检测结果与所述应用图标图像所对应的匹配特征点数量;

其中,所述目标特征点匹配情况用于表示所有所述目标第一特征点中存在与所述目标第二特征点相匹配的目标第一特征点。

作为一种可选的实施方式,在本发明第一方面中,对于所述应用图标图像对应的每一目标第二特征点,所述根据所述第一特征点情况、所述第二特征点情况及设定的特征点匹配分析条件,确定该目标第二特征点与所述目标第一特征点所对应的特征点匹配情况,包括:

从所有所述第一特征点中筛选出目标第三特征点并从所有所述第二特征点中筛选出目标第四特征点;根据所述第一特征点情况及所述第二特征点情况,判断所述目标第三特征点与所述目标第四特征点是否满足预设的第二特征点距离条件,当判断结果为是时,确定所述目标第一特征点与该目标第二特征点所对应的特征点匹配情况用于表示所有所述目标第一特征点中存在与所述目标第二特征点相匹配的目标第一特征点;或者,

根据所述第一特征点情况及所述第二特征点情况,确定每一所述目标第一特征点与该目标第二特征点所对应的特征距离值;计算每两个所述特征距离值对应的距离差值;判断所有所述距离差值是否皆满足预设的距离差值条件,当判断结果为是时,确定所述目标第一特征点与该目标第二特征点所对应的特征点匹配情况用于表示所有所述目标第一特征点中存在与所述目标第二特征点相匹配的目标第一特征点;其中,所有所述目标第一特征点中满足预设的距离最近化条件的目标第一特征点为与所述目标第二特征点相匹配的目标第一特征点。

作为一种可选的实施方式,在本发明第一方面中,所述将目标图像输入至训练收敛的图标检测模型中,得到目标图标检测结果,包括:

根据应用图标图像对应的图标信息,确定目标图像对应的图标坐标信息;

根据所述图标坐标信息,对所述目标图像执行图标裁剪操作,得到图标裁剪结果;

判断所述图标裁剪结果是否满足所述应用图标图像对应的图标尺寸条件,当判断结果为是时,确定所述图标裁剪结果为目标图标检测结果;

当判断结果为否时,根据所述应用图标图像对应的第一图标尺寸信息及所述图标裁剪结果对应的第二图标尺寸信息,确定图标尺寸处理信息;并根据所述图标尺寸处理信息,对所述图标裁剪结果执行尺寸处理操作,得到尺寸处理后的所述图标裁剪结果,作为目标图标检测结果。

本发明第二方面公开了一种图标匹配装置,所述装置包括:

图标检测模块,用于将目标图像输入至训练收敛的图标检测模型中,得到目标图标检测结果;

特征点提取模块,用于将所述目标图标检测结果及预先确定出的应用图标图像分别输入至训练收敛的特征点提取器中,得到特征点提取结果;

匹配结果确定模块,用于根据所述特征点提取结果,确定所述目标图标检测结果与所述应用图标图像所对应的图标匹配结果。

作为一种可选的实施方式,在本发明第二方面中,所述装置还包括:

模型训练模块,用于对基础图标检测模型执行模型训练操作,得到训练收敛的图标检测模型;

模型构建模块,用于在所述模型训练模块对基础图标检测模型执行模型训练操作,得到训练收敛的图标检测模型之前,根据获取到的应用训练图标数据集及获取到的目标训练图像集,构建得到检测数据集;所述检测数据集包括训练数据集及验证数据集;根据设定的图像聚类处理条件,确定所述训练数据集对应的检测框信息,并根据所述检测框信息及设定的检测框修正处理信息,确定目标预设锚框;所述目标预设锚框包括至少三个不同尺寸的正方形锚框;根据所述目标预设锚框、设定的超参数配置信息及所述训练数据集,构建得到基础图标检测模型。

作为一种可选的实施方式,在本发明第二方面中,所述模型训练模块对基础图标检测模型执行模型训练操作,得到训练收敛的图标检测模型的方式具体包括:

根据所述验证数据集及设定的模型训练条件,对基础图标检测模型执行模型训练优化操作,得到损失优化曲线结果;

根据所述损失优化曲线结果,判断所述基础图标检测模型是否满足预设的模型训练收敛条件,当判断结果为是时,确定所述基础图标检测模型训练收敛;

以及,所述模型构建模块根据获取到的应用训练图标数据集及获取到的目标训练图像集,构建得到检测数据集的方式具体包括:

对于获取到的目标训练图像集中的任一目标训练图像,根据预设的图像处理检测算法,确定该目标训练图像的图标提取区域;

根据所述图标提取区域的第一像素信息及背景提取区域的第二像素信息,执行像素填充处理操作,得到该目标训练图像对应的模板图像;所述背景提取区域为该目标训练图像中除所述图标提取区域外的区域;

根据获取到的应用训练图标数据集、所有所述模板图像及设定的图像粘贴处理条件,构造得到检测数据集。

作为一种可选的实施方式,在本发明第二方面中,所述匹配结果确定模块根据所述特征点提取结果,确定所述目标图标检测结果与所述应用图标图像所对应的图标匹配结果的方式具体包括:

根据所述特征点提取结果,计算所述应用图标图像对应的整体特征点数量,并根据所述特征点提取结果及设定的特征点匹配分析条件,确定所述目标图标检测结果与所述应用图标图像所对应的匹配特征点数量;

根据所述整体特征点数量及所述匹配特征点数量,确定所述目标图标检测结果与所述应用图标图像对应的特征点配对准确率;

根据所述特征点配对准确率,确定所述目标图标检测结果与所述应用图标图像所对应的图标匹配结果。

作为一种可选的实施方式,在本发明第二方面中,所述匹配结果确定模块,还用于在所述根据所述特征点配对准确率,确定所述目标图标检测结果与所述应用图标图像所对应的图标匹配结果之前,判断所述特征点配对准确率是否大于等于预设的配对准确率阈值;

当判断出所述特征点配对准确率小于所述配对准确率阈值时,根据设定的图标结构分析条件,确定所述目标图标检测结果与所述应用图标图像对应的结构相似度;根据所述特征点配对准确率及所述结构相似度,确定所述目标图标检测结果与所述应用图标图像所对应的图标匹配结果;

当判断出所述特征点配对准确率大于等于所述配对准确率阈值时,执行所述的根据所述特征点配对准确率,确定所述目标图标检测结果与所述应用图标图像所对应的图标匹配结果的操作。

作为一种可选的实施方式,在本发明第二方面中,所述匹配结果确定模块根据所述特征点提取结果及设定的特征点匹配分析条件,确定所述目标图标检测结果与所述应用图标图像所对应的匹配特征点数量的方式具体包括:

根据所述特征点提取结果,确定所述目标图标检测结果对应的第一特征点情况及所述应用图标图像对应的第二特征点情况;其中,所述第一特征点情况及所述第二特征点情况皆包括特征点数量情况及特征点排列位置情况;

对于所述应用图标图像对应的每一目标第二特征点,根据所述第一特征点情况及所述第二特征点情况,从所述目标图标检测结果对应的所有第一特征点中筛选出满足与该目标第二特征点相匹配的预设第一特征点距离数量条件的目标第一特征点;根据所述第一特征点情况、所述第二特征点情况及设定的特征点匹配分析条件,确定该目标第二特征点与所述目标第一特征点所对应的特征点匹配情况;

从所有所述特征点匹配情况中筛选出目标特征点匹配情况,并根据所有所述目标特征点匹配情况,确定所述目标图标检测结果与所述应用图标图像所对应的匹配特征点数量;

其中,所述目标特征点匹配情况用于表示所有所述目标第一特征点中存在与所述目标第二特征点相匹配的目标第一特征点。

作为一种可选的实施方式,在本发明第二方面中,对于所述应用图标图像对应的每一目标第二特征点,所述匹配结果确定模块根据所述第一特征点情况、所述第二特征点情况及设定的特征点匹配分析条件,确定该目标第二特征点与所述目标第一特征点所对应的特征点匹配情况,包括:

从所有所述第一特征点中筛选出目标第三特征点并从所有所述第二特征点中筛选出目标第四特征点;根据所述第一特征点情况及所述第二特征点情况,判断所述目标第三特征点与所述目标第四特征点是否满足预设的第二特征点距离条件,当判断结果为是时,确定所述目标第一特征点与该目标第二特征点所对应的特征点匹配情况用于表示所有所述目标第一特征点中存在与所述目标第二特征点相匹配的目标第一特征点;或者,

根据所述第一特征点情况及所述第二特征点情况,确定每一所述目标第一特征点与该目标第二特征点所对应的特征距离值;计算每两个所述特征距离值对应的距离差值;判断所有所述距离差值是否皆满足预设的距离差值条件,当判断结果为是时,确定所述目标第一特征点与该目标第二特征点所对应的特征点匹配情况用于表示所有所述目标第一特征点中存在与所述目标第二特征点相匹配的目标第一特征点;其中,所有所述目标第一特征点中满足预设的距离最近化条件的目标第一特征点为与所述目标第二特征点相匹配的目标第一特征点。

作为一种可选的实施方式,在本发明第二方面中,所述图标检测模块将目标图像输入至训练收敛的图标检测模型中,得到目标图标检测结果的方式具体包括:

根据应用图标图像对应的图标信息,确定目标图像对应的图标坐标信息;

根据所述图标坐标信息,对所述目标图像执行图标裁剪操作,得到图标裁剪结果;

判断所述图标裁剪结果是否满足所述应用图标图像对应的图标尺寸条件,当判断结果为是时,确定所述图标裁剪结果为目标图标检测结果;

当判断结果为否时,根据所述应用图标图像对应的第一图标尺寸信息及所述图标裁剪结果对应的第二图标尺寸信息,确定图标尺寸处理信息;并根据所述图标尺寸处理信息,对所述图标裁剪结果执行尺寸处理操作,得到尺寸处理后的所述图标裁剪结果,作为目标图标检测结果。

本发明第三方面公开了另一种图标匹配装置,所述装置包括:

存储有可执行程序代码的存储器;

与所述存储器耦合的处理器;

所述处理器调用所述存储器中存储的所述可执行程序代码,执行本发明第一方面公开的一种图标匹配方法。

本发明第四方面公开了一种计算机存储介质,所述计算机存储介质存储有计算机指令,所述计算机指令被调用时,用于执行本发明第一方面公开的一种图标匹配方法。

与现有技术相比,本发明实施例具有以下有益效果:

本发明实施例中,将目标图像输入至训练收敛的图标检测模型中,得到目标图标检测结果;将该目标图标检测结果及预先确定出的应用图标图像分别输入至训练收敛的特征点提取器中,得到特征点提取结果;根据该特征点提取结果,确定该目标图标检测结果与该应用图标图像所对应的图标匹配结果。可见,本发明能够采用训练收敛的目标检测模型及训练收敛的特征点提取器,得到目标图像对应的图标特征点提取结果,进一步确定出目标图像与应用图标图像对应的图标匹配结果,有利于提高确定出的图标检测结果及特征点提取结果的准确性和确定效率,进而有利于提高确定出的图标匹配结果的准确性和确定效率,从而有利于提高目标图像的图标匹配准确性和匹配效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本发明实施例公开的一种图标匹配方法的流程示意图;

图2是本发明实施例公开的另一种图标匹配方法的流程示意图;

图3是本发明实施例公开的一种图标匹配装置的结构示意图;

图4是本发明实施例公开的另一种图标匹配装置的结构示意图;

图5是本发明实施例公开的又一种图标匹配装置的结构示意图;

图6是本发明实施例公开的一种检测数据集对应的图标处理示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象,而不是用于描述特定顺序。此外,术语“包括”和“具有”以及它们任何变形,意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、装置、产品或端没有限定于已列出的步骤或单元,而是可选地还包括没有列出的步骤或单元,或可选地还包括对于这些过程、方法、产品或端固有的其他步骤或单元。

在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,本文所描述的实施例可以与其它实施例相结合。

本发明公开了一种图标匹配方法及装置,能够采用训练收敛的目标检测模型及训练收敛的特征点提取器,得到目标图像对应的图标特征点提取结果,进一步确定出目标图像与应用图标图像对应的图标匹配结果,有利于提高确定出的图标检测结果及特征点提取结果的准确性和确定效率,进而有利于提高确定出的图标匹配结果的准确性和确定效率,从而有利于提高目标图像的图标匹配准确性和匹配效率。以下分别进行详细说明。

实施例一

请参阅图1,图1是本发明实施例公开的一种图标匹配方法的流程示意图。其中,图1所描述的方法可以应用于一种图标匹配装置,其中,该装置可以包括服务器,其中,服务器包括本地服务器或者云服务器,本发明实施例不做限定。如图1所示,该一种图标匹配方法包括以下操作:

101、将目标图像输入至训练收敛的图标检测模型中,得到目标图标检测结果。

可选的,目标图像可以是不同图像格式的图像,比如:JPEG、TIFF、RAW、BMP、GIF、PNG等,本发明实施例不做限定。

102、将目标图标检测结果及预先确定出的应用图标图像分别输入至训练收敛的特征点提取器中,得到特征点提取结果。

可选的,特征点提取结果可以包括目标图标检测结果对应的第一特征点提取结果和应用图标图像对应的第二特征点提取结果,本发明实施例不做限定。

可选的,目标图标检测结果可以理解为目标图标图像,本发明实施例不做限定。

103、根据特征点提取结果,确定目标图标检测结果与应用图标图像所对应的图标匹配结果。

可选的,目标图标检测结果与应用图标图像所对应的图标匹配结果可以是直接能够表示目标图标检测结果与应用图标图像的图标是否匹配的信息,也可以是表示目标图标检测结果与应用图标图像的图标匹配程度,还可以是表示目标图标检测结果与应用图标图像的具体图标匹配内容,还可以是其它能够表示目标图标检测结果与应用图标图像的图标匹配情况的信息,本发明实施例不做限定。

可见,实施本发明实施例所描述的一种图标匹配方法能够采用训练收敛的目标检测模型及训练收敛的特征点提取器,得到目标图像对应的图标特征点提取结果,进一步确定出目标图像与应用图标图像对应的图标匹配结果,有利于提高确定出的图标检测结果及特征点提取结果的准确性和确定效率,进而有利于提高确定出的图标匹配结果的准确性和确定效率,从而有利于提高目标图像的图标匹配准确性和匹配效率。

实施例二

请参阅图2,图2是本发明实施例公开的另一种图标匹配方法的流程示意图。其中,图2所描述的方法可以应用于一种图标匹配装置,其中,该装置可以包括服务器,其中,服务器包括本地服务器或者云服务器,本发明实施例不做限定。如图2所示,该一种图标匹配方法包括以下操作:

201、对基础图标检测模型执行模型训练操作,得到训练收敛的图标检测模型。

202、将目标图像输入至训练收敛的图标检测模型中,得到目标图标检测结果。

203、将目标图标检测结果及预先确定出的应用图标图像分别输入至训练收敛的特征点提取器中,得到特征点提取结果。

204、根据特征点提取结果,确定目标图标检测结果与应用图标图像所对应的图标匹配结果。

本发明实施例中,针对步骤202-步骤204的其它描述,请参照实施例一中针对步骤101-步骤103的其他详细描述,本发明实施例不再赘述。

可见,本发明实施例能够采用训练收敛的目标检测模型及训练收敛的特征点提取器,得到目标图像对应的图标特征点提取结果,进一步确定出目标图像与应用图标图像对应的图标匹配结果,有利于提高确定出的图标检测结果及特征点提取结果的准确性和确定效率,进而有利于提高确定出的图标匹配结果的准确性和确定效率,从而有利于提高目标图像的图标匹配准确性和匹配效率;以及,还能够提供图标检测模型训练方式,丰富了一种图标匹配方式的智能化功能,训练贴合实现图标匹配的图标检测模型,有利于提高图标检测模型的功能贴合性和训练精准性,进而有利于提高训练得到的图标检测模型的检测准确性和可靠性,从而有利于提高后续基于图标检测模型得到的图标检测结果的准确性。

在一个可选的实施例中,在上述对基础图标检测模型执行模型训练操作,得到训练收敛的图标检测模型之前,该方法还可以包括以下操作:

根据获取到的应用训练图标数据集及获取到的目标训练图像集,构建得到检测数据集;检测数据集包括训练数据集及验证数据集;

根据设定的图像聚类处理条件,确定训练数据集对应的检测框信息,并根据检测框信息及设定的检测框修正处理信息,确定目标预设锚框;目标预设锚框包括至少三个不同尺寸的正方形锚框;

根据目标预设锚框、设定的超参数配置信息及训练数据集,构建得到基础图标检测模型。

可选的,图像聚类处理条件可以是k-means聚类方法,本发明实施例不做限定。

可选的,检测框修正处理信息可以是对应检测框尺寸处理条件,其中,检测框尺寸处理条件可以是检测框尺寸极限值处理条件,也可以是检测框尺寸均值处理条件,本发明实施例不做限定。

可选的,训练数据集与验证数据集的数据比例可以是8:2,也可以是其它数据比例情况,本发明实施例不做限定。

可选的,超参数配置信息可以包括但不限于初始化种子数信息、训练的初始学习率信息、学习率衰减方法信息、训练迭代次数信息、图像尺寸信息、batchsize参数信息等中的一种或多种,本发明实施例不做限定。

可选的,检测框修正处理方式,举例说明:由k-means聚类方法得到的坐标框信息不一定是正方形,比如(11,17)、(26,26)、(87,113),具体的,聚类出了三种尺寸的框,分别是11×17、26×26、87×113,此时只有第二个的是正方形,另外两个都是长方形,需要对长方形检测框进行修正,修正方式可以为(1)直接取最小/最大值:11×17修正为11×11或者17×17;(2)取平均值:11×17 修正为(11+17)/2=14,故为14×14,修正处理后的检测框则作为基础图标检测模型的预设锚框参数,本发明实施例不做限定。

可选的,基础图标检测模型可以是超轻量级的图标检测模型(如Yolov5 nano模型),本发明实施例不做限定。

可选的,预设锚框确定方式,举例说明:提前统计所有训练数据中的检测框信息,通过k-mean聚类方法获取训练数据中坐标框的形状和尺寸,并将其修正为正方形后,最终获得三种不同尺寸的正方形锚框,作为检测模型的预设锚框,本发明实施例不做限定。

可选的,针对构建得到的基础图标检测模型对应的输出特征图数据预测维度情况,由于构建得到的基础图标检测模型对应的预设锚框为正方形,因此回归的长、宽偏移值仅需使用相同的1个边长偏移值,如此模型便能够轻松预测出不同大小的正方形,从而降低模型复杂度,加快训练收敛;举例说明:若检测对象为一个类别时,基础图标检测模型输出的特征图对应的每个特征点的数据预测维度值为4,其中,4个维度分别可以为x、y中心坐标偏移值、边长偏移值及目标置信度;又比如,若检测对象包括50个类别时,基础图标检测模型输出的特征图数据预测维度值为54,其中,特征图维度分别可以为x、y中心坐标偏移值、边长偏移值、目标置信度及50个类别置信度,此处不再一一举例。

可见,该可选的实施例能够构建检测数据集及确定目标预设锚框,进而构建得到基础图标检测模型,提供了基础图标监测模型构建方式,有利于提高一种图标匹配方式的全面性和丰富了智能化功能,结合图标匹配的实际需求确定出模型构建因素进而构建得到基础图标检测模型,优化图标检测模型的预设锚框和回归方式,有利于降低基础图标检测模型的模型复杂度,进而有利于提高后续针对基础图标检测模型的模型训练推断速度和便捷性,以及还有利于提高基础图标检测模型的功能贴合性,进而有利于提高图标检测模型的检测精准性。

在另一个可选的实施例中,上述对基础图标检测模型执行模型训练操作,得到训练收敛的图标检测模型,可以包括:

根据验证数据集及设定的模型训练条件,对基础图标检测模型执行模型训练优化操作,得到损失优化曲线结果;

根据损失优化曲线结果,判断基础图标检测模型是否满足预设的模型训练收敛条件,当判断结果为是时,确定基础图标检测模型训练收敛。

可选的,图标检测模型训练方式,举例说明:(1)超参数设置:根据硬件设备及训练效果不断调整初始化种子数、训练的初始学习率、学习率衰减方法、训练迭代次数、图像尺寸、batchsize等多种参数;(2)使用相关的图像预处理方法,如图像尺寸缩放、图像水平翻转、颜色变换、CopyPaste、Mixup等等,提高输入数据的泛化性;(3)对上述整理好的检测数据集进行划分,划分成训练集和验证集,比例不作限定,例如可以为9:1,随后开启训练,观察训练过程中的损失值变化情况;(4)每训练完成一个迭代后,在验证数据集上验证检测精度,检测精度采用COCO数据集中使用的map指标进行评估,当某个迭代的验证精度高于上一个迭代的验证精度时,便保存当前迭代的模型;(5)比较所有保存模型的精度指标,选取精度最高的模型;(6)查看训练过程的损失优化曲线结果,判断损失值是否已收敛到了一个区域小幅波动,若是则说明训练已基本收敛,但仍然可以不断调整超参数,继续重复上述1-5步骤,多次训练后选择验证精度最高的模型,此外,若损失优化曲线结果对应的损失值无收敛,同样需要重新调整参数后进行训练,本发明实施例不做限定。

可见,该可选的实施例能够提供图标检测模型训练方式,有利于提高一种图标匹配方式的全面性和丰富了智能化功能,根据验证数据集及模型训练条件确定损失优化曲线结果,进而根据损失优化曲线结果判定模型是否训练收敛,有利于提高确定出的损失优化曲线结果的准确性和可靠性,进而有利于提高确定出的模型训练收敛判断结果的准确性和可靠性,从而有利于提高图标检测模型的训练收敛准确性、可靠性和及时性。

在上述可选的实施例中,该方法还可以包括以下操作:

当判断出基础图标检测模型不满足模型训练收敛条件时,根据损失优化曲线结果、超参数配置信息及预设的超参数调整条件,确定基础图标检测模型对应的超参数配置调整信息;

根据超参数配置调整信息、验证数据集及模型训练条件,对基础图标检测模型继续执行模型训练优化操作,得到更新后的损失优化曲线结果;并执行上述的根据损失优化曲线结果,判断基础图标检测模型是否满足预设的模型训练收敛条件的操作。

可见,该可选的实施例能够针对当基础图标检测模型不满足模型训练收敛条件的情况匹配相应的模型训练优化方式,调整超参数配置信息后再次执行模型训练优化操作,有利于提高模型训练优化方式的全面性和合理性,进而有利于提高模型训练优化操作的执行可靠性和执行高效性,从而有利于提高确定出的模型训练收敛结果的准确性和可靠性。

在又一个可选的实施例中,上述根据损失优化曲线结果,判断基础图标检测模型是否满足预设的模型训练收敛条件,可以包括:

根据损失优化曲线结果,确定损失收敛程度值;判断损失收敛程度值是否大于等于预设的损失收敛程度值阈值,当判断结果为是时,确定基础图标检测模型满足预设的模型训练收敛条件;当判断结果为否时,确定基础图标检测模型不满足预设的模型训练收敛条件;或者,

根据损失优化曲线结果及设定的损失波动分析条件,确定损失波动幅度值;判断损失波动幅度值是否小于等于预设的损失波动幅度阈值,当判断结果为是时,确定基础图标检测模型满足预设的模型训练收敛条件;当判断结果为否时,确定基础图标检测模型不满足预设的模型训练收敛条件。

可见,该可选的实施例能够根据确定出的损失波动幅度值与相应阈值的大小比较情况或者损失收敛程度值与相应阈值的大小比较情况确定基础图标检测模型的训练收敛情况,有利于提高基础图标检测模型训练收敛确定方式的全面性、合理性和多样性,进而有利于提高确定出的基础图标检测模型的训练收敛情况的准确性、可靠性和确定效率,从而有利于提高基础图标检测模型的训练收敛及时性和减少不必要的模型训练损耗。

在又一个可选的实施例中,上述根据获取到的应用训练图标数据集及获取到的目标训练图像集,构建得到检测数据集,可以包括:

对于获取到的目标训练图像集中的任一目标训练图像,根据预设的图像处理检测算法,确定该目标训练图像的图标提取区域;

根据图标提取区域的第一像素信息及背景提取区域的第二像素信息,执行像素填充处理操作,得到该目标训练图像对应的模板图像;背景提取区域为该目标训练图像中除图标提取区域外的区域;

根据获取到的应用训练图标数据集、所有模板图像及设定的图像粘贴处理条件,构造得到检测数据集。

可选的,图像处理检测算法可以是边缘检测算法,本发明实施例不做限定。

可选的,目标训练图像的图标提取区域可以是目标训练图像中的图标区域,本发明实施例不做限定。

可选的,第一像素信息和第二像素信息可以是所对应区域的像素值,本发明实施例不做限定。

可选的,目标训练图像对应的模板图像可以是不包含任何应用图标图像的图像,本发明实施例不做限定。

可选的,图像粘贴处理条件对应操作可以是针对某一模板图像,随机从收集到的应用训练图标数据集中取n个,随机粘贴到该模板图像上,本发明实施例不做限定。

可选的,检测数据集对应的图标处理示意图可参照说明书附图图6所示,其中,检测数据集构建方式,举例说明:收集一批应用图标数据集和部分目标图像,通过边缘检测等算法(或其他图像处理工具)粗略地提取目标图像上的图标区域,用背景区域的像素值填充图标区域内的像素值,从而获得m张不包含任何应用图标的模板图像,随机从收集到的应用图标数据集中取n个,随机粘贴到一张模板图像上,即可获得检测数据集,本发明实施例不做限定。

可选的,上述像素填充处理操作,举例说明:(1)通过边缘检测等算法提取出图标区域(浅灰色小框对应区域)后,向外扩张该区域(深灰色大框对应区域),然后取深灰色大框和浅灰色小框之间的区域,求该区域中出现次数最多的像素值,用来填充浅灰色小框对应区域即可;(2)用ps取色笔取背景区域的像素值,然后填充浅灰色小框对应区域,本发明实施例不做限定。

可见,该可选的实施例能够提供检测数据集构建方式,根据图像处理检测算法、像素填充处理操作及图像粘贴处理条件构建得到检测数据集,有利于提高检测数据集构建方式的全面性和可行性,进而有利于提高构建得到的检测数据集的功能贴合性和匹配适用性,从而有利于提高后续针对检测数据集的模型训练收敛速度。

在又一个可选的实施例中,上述根据特征点提取结果,确定目标图标检测结果与应用图标图像所对应的图标匹配结果,可以包括:

根据特征点提取结果,计算应用图标图像对应的整体特征点数量,并根据特征点提取结果及设定的特征点匹配分析条件,确定目标图标检测结果与应用图标图像所对应的匹配特征点数量;

根据整体特征点数量及匹配特征点数量,确定目标图标检测结果与应用图标图像对应的特征点配对准确率;

根据特征点配对准确率,确定目标图标检测结果与应用图标图像所对应的图标匹配结果。

可选的,特征点配对准确率可以是配对成功的特征点个数占应用图标图像所有特征点个数的比例,本发明实施例不做限定。

可见,该可选的实施例能够根据特征点提取结果确定出特征点配对准确率,进而确定出目标图像图标与应用图标图像的图标匹配结果,有利于提高图标匹配结果确定方式的合理性和全面性,进而有利于提高确定出的图标匹配结果的准确性和可靠性,从而有利于提高图标的匹配准确性和匹配可靠性。

在又一个可选的实施例中,在上述根据特征点配对准确率,确定目标图标检测结果与应用图标图像所对应的图标匹配结果之前,该方法还可以包括以下操作:

判断特征点配对准确率是否大于等于预设的配对准确率阈值;

当判断出特征点配对准确率小于配对准确率阈值时,根据设定的图标结构分析条件,确定目标图标检测结果与应用图标图像对应的结构相似度;根据特征点配对准确率及结构相似度,确定目标图标检测结果与应用图标图像所对应的图标匹配结果;

当判断出特征点配对准确率大于等于配对准确率阈值时,执行上述的根据特征点配对准确率,确定目标图标检测结果与应用图标图像所对应的图标匹配结果的操作。

可选的,当判断出特征点配对准确率大于等于配对准确率阈值时,确定出的目标图标检测结果与应用图标图像所对应的图标匹配结果可以用于表示目标图标检测结果与应用图标图像匹配,本发明实施例不做限定。

可选的,通过特征点配对准确率与结构相似度确定图标匹配结果方式,举例说明:(1)当特征点配对准确率>f1(0.8)时,认为大部分特征点都能够成功配对,则图标匹配结果表示两张图像配对成功;(2)当特征点配对准确率>f2(0.5)时,认为部分特征点能够成功配对,此时需要计算两张图像的结构相似度s,当s大于设定阈值s1(0.3)时,则图标匹配结果表示两张图像配对成功;(3)当特征点配对准确率>f3(0.3)时,认为只有少部分特征点能够成功配对,此时判断两张图像的结构相似度s是否大于设定阈值s2(0.6),若s>s2(0.6),则图标匹配结果表示两张图像配对成功;(4)当特征点配对准确率

可见,该可选的实施例能够针对特征点配对准确率大于等于配对准确率阈值和特征点配对准确率小于配对准确率阈值两种情况匹配相应的图标匹配结果确定方式,提供了根据特征点配对准确率和结构相似度确定图标匹配结果的方式,有利于提高图标匹配结果确定方式的全面性、合理性和多样性,进而有利于提高确定出的图标匹配结果的准确性和可靠性。

在又一个可选的实施例中,上述根据特征点配对准确率及结构相似度,确定目标图标检测结果与应用图标图像所对应的图标匹配结果,可以包括:

判断特征点配对准确率是否大于等于预设的第一配对准确率阈值,得到第一判断结果;当第一判断结果为是时,判断结构相似度是否大于等于预设的第一相似度阈值,得到第二判断结果;当第二判断结果为是时,确定目标图标检测结果与应用图标图像所对应的图标匹配结果用于表示目标图标检测结果与应用图标图像相匹配;当第二判断结果为否时,确定目标图标检测结果与应用图标图像所对应的图标匹配结果用于表示目标图标检测结果与应用图标图像不匹配;

当第一判断结果为否时,判断特征点配对准确率是否大于等于预设的第二配对准确率阈值,得到第三判断结果;当第三判断结果为是时,判断结构相似度是否大于等于预设的第二相似度阈值,得到第四判断结果;当第四判断结果为是时,确定目标图标检测结果与应用图标图像所对应的图标匹配结果用于表示目标图标检测结果与应用图标图像相匹配;当第四判断结果为否时,确定目标图标检测结果与应用图标图像所对应的图标匹配结果用于表示目标图标检测结果与应用图标图像不匹配;

当第三判断结果为否时,确定目标图标检测结果与应用图标图像所对应的图标匹配结果用于表示目标图标检测结果与应用图标图像不匹配;

其中,第一配对准确率阈值大于等于第二配对准确率阈值,第一相似度阈值小于等于第二相似度阈值。

可见,该可选的实施例能够针对特征点配对准确率、结构相似度与相应阈值的不同大小比较情况匹配相应的图标匹配结果的具体匹配情况确定方式,有利于提高具体匹配情况确定方式的合理性和灵活性,进而有利于提高确定出的具体匹配情况的准确性和可靠性,从而有利于提高目标图标检测结果与应用图标图像的匹配准确性和匹配可靠性。

在又一个可选的实施例中,上述根据特征点提取结果及设定的特征点匹配分析条件,确定目标图标检测结果与应用图标图像所对应的匹配特征点数量,可以包括:

根据特征点提取结果,确定目标图标检测结果对应的第一特征点情况及应用图标图像对应的第二特征点情况;其中,第一特征点情况及第二特征点情况皆包括特征点数量情况及特征点排列位置情况;

对于应用图标图像对应的每一目标第二特征点,根据第一特征点情况及第二特征点情况,从目标图标检测结果对应的所有第一特征点中筛选出满足与该目标第二特征点相匹配的预设第一特征点距离数量条件的目标第一特征点;根据第一特征点情况、第二特征点情况及设定的特征点匹配分析条件,确定该目标第二特征点与目标第一特征点所对应的特征点匹配情况;

从所有特征点匹配情况中筛选出目标特征点匹配情况,并根据所有目标特征点匹配情况,确定目标图标检测结果与应用图标图像所对应的匹配特征点数量;

其中,目标特征点匹配情况用于表示所有目标第一特征点中存在与目标第二特征点相匹配的目标第一特征点。

可选的,满足第一特征点距离条件的目标第二特征点可以是应用图标图像对应的所有第二特征点中与目标第一特征点距离最近的第二特征点,本发明实施例不做限定。

可选的,目标第一特征点与目标第二特征点所对应的特征点匹配情况可以是表示目标第一特征点与目标第二特征点相匹配,也可以是表示目标第一特征点与目标第二特征点不匹配,本发明实施例不做限定。

进一步可选的,对于应用图标图像对应的每一目标第二特征点,上述根据第一特征点情况及第二特征点情况,从目标图标检测结果对应的所有第一特征点中筛选出满足与该目标第二特征点相匹配的预设第一特征点距离数量条件的目标第一特征点,可以包括:

根据第一特征点情况及第二特征点情况,确定每一第一特征点与该目标第二特征点所对应的特征距离值;

根据距离值排序处理条件,对所有特征距离值执行排序处理操作,得到排序处理结果;

根据排序处理结果,从所有特征距离值中筛选出满足预设的倒序数量条件的目标特征距离值,并确定所有目标特征距离值对应的第一特征点作为满足与该目标第二特征点相匹配的预设第一特征点距离数量条件的目标第一特征点。

可选的,满足预设的倒序数量条件的目标特征距离值,举例说明:特征距离值排第一的目标特征距离值(即特征距离最近的第一特征点),又比如特征距离值排前3的目标特征距离值(即前3个距离最近的第一特征点),本发明实施例不做限定。

可见,该可选的实施例能够提供匹配特征点数量确定方式,根据确定出的目标图标与应用图标图像对应的特征点匹配情况确定匹配特征点数量,有利于提高匹配特征点数量确定方式的全面性和合理性,进而有利于提高确定出的匹配特征点数量的准确性和可靠性,从而有利于提高后续基于匹配特征点数量确定出的特征点配对准确率的准确性和可靠性。

在又一个可选的实施例中,对于应用图标图像对应的每一目标第二特征点,上述根据第一特征点情况、第二特征点情况及设定的特征点匹配分析条件,确定该目标第二特征点与目标第一特征点所对应的特征点匹配情况,可以包括:

从所有第一特征点中筛选出目标第三特征点并从所有第二特征点中筛选出目标第四特征点;根据第一特征点情况及第二特征点情况,判断目标第三特征点与目标第四特征点是否满足预设的第二特征点距离条件,当判断结果为是时,确定目标第一特征点与该目标第二特征点所对应的特征点匹配情况用于表示所有目标第一特征点中存在与目标第二特征点相匹配的目标第一特征点;或者,

根据第一特征点情况及第二特征点情况,确定每一目标第一特征点与该目标第二特征点所对应的特征距离值;计算每两个特征距离值对应的距离差值;判断所有距离差值是否皆满足预设的距离差值条件,当判断结果为是时,确定目标第一特征点与该目标第二特征点所对应的特征点匹配情况用于表示所有目标第一特征点中存在与目标第二特征点相匹配的目标第一特征点;其中,所有目标第一特征点中满足预设的距离最近化条件的目标第一特征点为与目标第二特征点相匹配的目标第一特征点。

可选的,满足距离最近化条件可以理解为所有目标第一特征点中与目标第二特征点距离最近的目标第一特征点,本发明实施例不做限定。

可选的,满足第二特征点距离条件可以是目标第三特征点与目标第四特征点距离最近,本发明实施例不做限定。

可选的,当判断出目标第三特征点与目标第四特征点满足第二特征点距离条件则确定所有目标第一特征点中存在与目标第二特征点相匹配的目标第一特征点,举例说明:当应用图标图像的第i个第二特征点与目标图标检测结果的第j个第一特征点距离最近(即以应用图标图像的第二特征点作为距离计算主体),并且目标图标检测结果的第j个第一特征点与应用图标图像的第i个第二特征点也最近(即以目标图标检测结果的第一特征点作为距离计算主体)时,认为配对成功,本发明实施例不做限定。

可选的,判断所有距离差值是否皆满足预设的距离差值条件,可以是判断所有距离差值是否皆大于等于预设的固定距离差值阈值(即不同距离差值所对应的距离差值阈值统一),也可以是判断所有距离差值是否皆大于等于预设的与之相匹配的距离差值阈值(即不同距离差值所对应的距离差值阈值不同),本发明实施例不做限定。具体的,当判断出所有距离差值皆大于等于预设的固定距离差值阈值,确定所有距离差值满足预设的距离差值条件;当判断出并非所有距离差值皆大于等于预设的固定距离差值阈值,确定所有距离差值不满足预设的距离差值条件;或者,当判断出所有距离差值皆大于等于预设的与之相匹配的距离差值阈值,确定所有距离差值满足预设的距离差值条件;当判断出并非所有距离差值皆大于等于预设的与之相匹配的距离差值阈值,确定所有距离差值不满足预设的距离差值条件,本发明实施例不做限定。

进一步的,上述当判断出所有距离差值皆满足预设的距离差值条件则确定所有目标第一特征点中存在与目标第二特征点相匹配的目标第一特征点,举例说明:应用图标图像的第i个目标第二特征点与目标图标检测结果距离最近的前k(如k=3)个目标第一特征点,此时第i个目标第二特征点与前k(如k=3)个目标第一特征点分别对应距离a、距离b及距离c,当每两个距离之间的差值皆大于等于某一固定差值阈值或者每两个距离之间的差值皆大于等于与之相匹配的固定差值阈值时,认为第i个目标第二特征点与前k(如k=3)个目标第一特征点中距离最近的目标第一特征点特征点配对成功,即一个目标第二特征点对应多个不同位置的目标第一特征点,此时认为特征点具有明显的区分关系,因此第i个目标第二特征点与前k个目标第一特征点中距离最近的目标第一特征点匹配关系有效,本发明实施例不做限定。

进一步可选的,当判断目标第三特征点与目标第四特征点不满足预设的第二特征点距离条件时,确定目标第一特征点与该目标第二特征点所对应的特征点匹配情况用于表示所有目标第一特征点中不存在与目标第二特征点相匹配的目标第一特征点。

进一步可选的,当判断出所有距离差值不满足预设的距离差值条件时,确定目标第一特征点与该目标第二特征点所对应的特征点匹配情况用于表示所有目标第一特征点中不存在与目标第二特征点相匹配的目标第一特征点。

可见,该可选的实施例能够根据不同主体特征点距离条件判断方式或者距离差值大小比较方式确定特征点匹配情况,有利于提高特征点匹配情况的全面性、多样性和可选择性,进而有利于提高确定出的目标图标的特征点与应用图标图像的特征点的匹配结果的准确性和确定效率,从而有利于提高确定出的特征点匹配情况的准确性和确定效率。

在又一个可选的实施例中,上述将目标图像输入至训练收敛的图标检测模型中,得到目标图标检测结果,可以包括:

根据应用图标图像对应的图标信息,确定目标图像对应的图标坐标信息;

根据图标坐标信息,对目标图像执行图标裁剪操作,得到图标裁剪结果;

判断图标裁剪结果是否满足应用图标图像对应的图标尺寸条件,当判断结果为是时,确定图标裁剪结果为目标图标检测结果;

当判断结果为否时,根据应用图标图像对应的第一图标尺寸信息及图标裁剪结果对应的第二图标尺寸信息,确定图标尺寸处理信息;并根据图标尺寸处理信息,对图标裁剪结果执行尺寸处理操作,得到尺寸处理后的图标裁剪结果,作为目标图标检测结果。

可选的,实现应用图标图像与目标图标检测结果的尺寸匹配,可以是基于应用图标图像对应的第一图标尺寸信息对图标裁剪结果执行尺寸处理操作,也可以是基于图标裁剪结果对应的第二图标尺寸信息对应用图标图像执行尺寸处理操作,本发明实施例不做限定。

可选的,目标图标检测结果确定方式,举例说明:使用上述训练完成的图标检测模型,在目标图像上检测到图标的坐标后,将其从目标图像上裁剪出来,并将应用图标图像和该裁剪图标的尺寸缩放到相同的大小,得到目标图标检测结果,本发明实施例不做限定。

进一步可选的,尺寸处理操作可以基于训练完成的图标检测模型执行完成,也可以基于其它图标尺寸处理模型执行完成,本发明实施例不做限定。

可见,该可选的实施例能够确定出图标坐标信息,并根据图标裁剪操作及图标尺寸处理操作确定出图标检测结果,有利于提高图标检测结果确定方式的全面性和合理性,进而有利于提高确定出的图标检测结果的准确性和确定效率,从而有利于提高基于图标检测结果的图标匹配便捷性、效率和精准性。

实施例三

请参阅图3,图3是本发明实施例公开的一种图标匹配装置的结构示意图。其中,图3所描述的装置可以包括服务器,其中,服务器包括本地服务器或者云服务器,本发明实施例不做限定。如图3所示,该一种图标匹配装置可以包括:

图标检测模块301,用于将目标图像输入至训练收敛的图标检测模型中,得到目标图标检测结果。

特征点提取模块302,用于将目标图标检测结果及预先确定出的应用图标图像分别输入至训练收敛的特征点提取器中,得到特征点提取结果。

匹配结果确定模块303,用于根据特征点提取结果,确定目标图标检测结果与应用图标图像所对应的图标匹配结果。

可见,实施图3所描述的一种图标匹配装置能够采用训练收敛的目标检测模型及训练收敛的特征点提取器,得到目标图像对应的图标特征点提取结果,进一步确定出目标图像与应用图标图像对应的图标匹配结果,有利于提高确定出的图标检测结果及特征点提取结果的准确性和确定效率,进而有利于提高确定出的图标匹配结果的准确性和确定效率,从而有利于提高目标图像的图标匹配准确性和匹配效率。

在一个可选的实施例中,如图4所示,该装置还可以包括:

模型训练模块304,用于对基础图标检测模型执行模型训练操作,得到训练收敛的图标检测模型。

可见,实施图4所描述的装置能够提供图标检测模型训练方式,丰富了一种图标匹配方式的智能化功能,训练贴合实现图标匹配的图标检测模型,有利于提高图标检测模型的功能贴合性和训练精准性,进而有利于提高训练得到的图标检测模型的检测准确性和可靠性,从而有利于提高后续基于图标检测模型得到的图标检测结果的准确性。

在另一个可选的实施例中,如图4所示,该装置还可以包括:

模型构建模块305,用于在模型训练模块304对基础图标检测模型执行模型训练操作,得到训练收敛的图标检测模型之前,根据获取到的应用训练图标数据集及获取到的目标训练图像集,构建得到检测数据集;检测数据集包括训练数据集及验证数据集;根据设定的图像聚类处理条件,确定训练数据集对应的检测框信息,并根据检测框信息及设定的检测框修正处理信息,确定目标预设锚框;目标预设锚框包括至少三个不同尺寸的正方形锚框;根据目标预设锚框、设定的超参数配置信息及训练数据集,构建得到基础图标检测模型。

可见,实施图4所描述的装置还能够构建检测数据集及确定目标预设锚框,进而构建得到基础图标检测模型,提供了基础图标监测模型构建方式,有利于提高一种图标匹配方式的全面性和丰富了智能化功能,结合图标匹配的实际需求确定出模型构建因素进而构建得到基础图标检测模型,优化图标检测模型的预设锚框和回归方式,有利于降低基础图标检测模型的模型复杂度,进而有利于提高后续针对基础图标检测模型的模型训练推断速度和便捷性,以及还有利于提高基础图标检测模型的功能贴合性,进而有利于提高图标检测模型的检测精准性。

在又一个可选的实施例中,模型训练模块304对基础图标检测模型执行模型训练操作,得到训练收敛的图标检测模型的方式具体包括:

根据验证数据集及设定的模型训练条件,对基础图标检测模型执行模型训练优化操作,得到损失优化曲线结果;

根据损失优化曲线结果,判断基础图标检测模型是否满足预设的模型训练收敛条件,当判断结果为是时,确定基础图标检测模型训练收敛。

可见,实施图4所描述的装置还能够提供图标检测模型训练方式,有利于提高一种图标匹配方式的全面性和丰富了智能化功能,根据验证数据集及模型训练条件确定损失优化曲线结果,进而根据损失优化曲线结果判定模型是否训练收敛,有利于提高确定出的损失优化曲线结果的准确性和可靠性,进而有利于提高确定出的模型训练收敛判断结果的准确性和可靠性,从而有利于提高图标检测模型的训练收敛准确性、可靠性和及时性。

在又一个可选的实施例中,模型构建模块305根据获取到的应用训练图标数据集及获取到的目标训练图像集,构建得到检测数据集的方式具体包括:

对于获取到的目标训练图像集中的任一目标训练图像,根据预设的图像处理检测算法,确定该目标训练图像的图标提取区域;

根据图标提取区域的第一像素信息及背景提取区域的第二像素信息,执行像素填充处理操作,得到该目标训练图像对应的模板图像;背景提取区域为该目标训练图像中除图标提取区域外的区域;

根据获取到的应用训练图标数据集、所有模板图像及设定的图像粘贴处理条件,构造得到检测数据集。

可见,实施图4所描述的装置还能够提供检测数据集构建方式,根据图像处理检测算法、像素填充处理操作及图像粘贴处理条件构建得到检测数据集,有利于提高检测数据集构建方式的全面性和可行性,进而有利于提高构建得到的检测数据集的功能贴合性和匹配适用性,从而有利于提高后续针对检测数据集的模型训练收敛速度。

在又一个可选的实施例中,匹配结果确定模块303根据特征点提取结果,确定目标图标检测结果与应用图标图像所对应的图标匹配结果的方式具体包括:

根据特征点提取结果,计算应用图标图像对应的整体特征点数量,并根据特征点提取结果及设定的特征点匹配分析条件,确定目标图标检测结果与应用图标图像所对应的匹配特征点数量;

根据整体特征点数量及匹配特征点数量,确定目标图标检测结果与应用图标图像对应的特征点配对准确率;

根据特征点配对准确率,确定目标图标检测结果与应用图标图像所对应的图标匹配结果。

可见,实施图4所描述的装置还能够根据特征点提取结果确定出特征点配对准确率,进而确定出目标图像图标与应用图标图像的图标匹配结果,有利于提高图标匹配结果确定方式的合理性和全面性,进而有利于提高确定出的图标匹配结果的准确性和可靠性,从而有利于提高图标的匹配准确性和匹配可靠性。

在又一个可选的实施例中,匹配结果确定模块303,还用于在根据特征点配对准确率,确定目标图标检测结果与应用图标图像所对应的图标匹配结果之前,判断特征点配对准确率是否大于等于预设的配对准确率阈值;

当判断出特征点配对准确率小于配对准确率阈值时,根据设定的图标结构分析条件,确定目标图标检测结果与应用图标图像对应的结构相似度;根据特征点配对准确率及结构相似度,确定目标图标检测结果与应用图标图像所对应的图标匹配结果;

当判断出特征点配对准确率大于等于配对准确率阈值时,执行上述的根据特征点配对准确率,确定目标图标检测结果与应用图标图像所对应的图标匹配结果的操作。

可见,实施图4所描述的装置还能够针对特征点配对准确率大于等于配对准确率阈值和特征点配对准确率小于配对准确率阈值两种情况匹配相应的图标匹配结果确定方式,提供了根据特征点配对准确率和结构相似度确定图标匹配结果的方式,有利于提高图标匹配结果确定方式的全面性、合理性和多样性,进而有利于提高确定出的图标匹配结果的准确性和可靠性。

在又一个可选的实施例中,匹配结果确定模块303根据特征点提取结果及设定的特征点匹配分析条件,确定目标图标检测结果与应用图标图像所对应的匹配特征点数量的方式具体包括:

根据特征点提取结果,确定目标图标检测结果对应的第一特征点情况及应用图标图像对应的第二特征点情况;其中,第一特征点情况及第二特征点情况皆包括特征点数量情况及特征点排列位置情况;

对于应用图标图像对应的每一目标第二特征点,根据第一特征点情况及第二特征点情况,从目标图标检测结果对应的所有第一特征点中筛选出满足与该目标第二特征点相匹配的预设第一特征点距离数量条件的目标第一特征点;根据第一特征点情况、第二特征点情况及设定的特征点匹配分析条件,确定该目标第二特征点与目标第一特征点所对应的特征点匹配情况;

从所有特征点匹配情况中筛选出目标特征点匹配情况,并根据所有目标特征点匹配情况,确定目标图标检测结果与应用图标图像所对应的匹配特征点数量;

其中,目标特征点匹配情况用于表示所有目标第一特征点中存在与目标第二特征点相匹配的目标第一特征点。

可见,实施图4所描述的装置还能够提供匹配特征点数量确定方式,根据确定出的目标图标与应用图标图像对应的特征点匹配情况确定匹配特征点数量,有利于提高匹配特征点数量确定方式的全面性和合理性,进而有利于提高确定出的匹配特征点数量的准确性和可靠性,从而有利于提高后续基于匹配特征点数量确定出的特征点配对准确率的准确性和可靠性。

在又一个可选的实施例中,对于应用图标图像对应的每一目标第二特征点,匹配结果确定模块303根据第一特征点情况、第二特征点情况及设定的特征点匹配分析条件,确定该目标第二特征点与目标第一特征点所对应的特征点匹配情况的方式具体包括:

从所有第一特征点中筛选出目标第三特征点并从所有第二特征点中筛选出目标第四特征点;根据第一特征点情况及第二特征点情况,判断目标第三特征点与目标第四特征点是否满足预设的第二特征点距离条件,当判断结果为是时,确定目标第一特征点与该目标第二特征点所对应的特征点匹配情况用于表示所有目标第一特征点中存在与目标第二特征点相匹配的目标第一特征点;或者,

根据第一特征点情况及第二特征点情况,确定每一目标第一特征点与该目标第二特征点所对应的特征距离值;计算每两个特征距离值对应的距离差值;判断所有距离差值是否皆满足预设的距离差值条件,当判断结果为是时,确定目标第一特征点与该目标第二特征点所对应的特征点匹配情况用于表示所有目标第一特征点中存在与目标第二特征点相匹配的目标第一特征点;其中,所有目标第一特征点中满足预设的距离最近化条件的目标第一特征点为与目标第二特征点相匹配的目标第一特征点。

可见,实施图4所描述的装置还能够根据不同主体特征点距离条件判断方式或者距离差值大小比较方式确定特征点匹配情况,有利于提高特征点匹配情况的全面性、多样性和可选择性,进而有利于提高确定出的目标图标的特征点与应用图标图像的特征点的匹配结果的准确性和确定效率,从而有利于提高确定出的特征点匹配情况的准确性和确定效率。

在又一个可选的实施例中,图标检测模块301将目标图像输入至训练收敛的图标检测模型中,得到目标图标检测结果的方式具体包括:

根据应用图标图像对应的图标信息,确定目标图像对应的图标坐标信息;

根据图标坐标信息,对目标图像执行图标裁剪操作,得到图标裁剪结果;

判断图标裁剪结果是否满足应用图标图像对应的图标尺寸条件,当判断结果为是时,确定图标裁剪结果为目标图标检测结果;

当判断结果为否时,根据应用图标图像对应的第一图标尺寸信息及图标裁剪结果对应的第二图标尺寸信息,确定图标尺寸处理信息;并根据图标尺寸处理信息,对图标裁剪结果执行尺寸处理操作,得到尺寸处理后的图标裁剪结果,作为目标图标检测结果。

可见,实施图4所描述的装置还能够确定出图标坐标信息,并根据图标裁剪操作及图标尺寸处理操作确定出图标检测结果,有利于提高图标检测结果确定方式的全面性和合理性,进而有利于提高确定出的图标检测结果的准确性和确定效率,从而有利于提高基于图标检测结果的图标匹配便捷性、效率和精准性。

实施例四

请参阅图5,图5是本发明实施例公开的又一种图标匹配装置的结构示意图。其中,图5所描述的装置可以包括服务器,其中,服务器包括本地服务器或者云服务器,本发明实施例不做限定。如图5所示,该装置可以包括:

存储有可执行程序代码的存储器401;

与存储器401耦合的处理器402;

进一步的,还可以包括与处理器402耦合的输入接口403以及输出接口404;

其中,处理器402调用存储器401中存储的可执行程序代码,用于执行实施例一或实施例二所描述的一种图标匹配方法中的步骤。

实施例五

本发明实施例公开了一种计算机读存储介质,其存储用于电子数据交换的计算机程序,其中,该计算机程序使得计算机执行实施例一或实施例二所描述的一种图标匹配方法中的步骤。

实施例六

本发明实施例公开了一种计算机程序产品,该计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,且该计算机程序可操作来使计算机执行实施例一或实施例二所描述的一种图标匹配方法中的步骤。

以上所描述的装置实施例仅是示意性的,其中所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理模块,即可以位于一个地方,或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。

通过以上的实施例的具体描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,存储介质包括只读存储器(Read-Only Memory,ROM)、随机存储器(Random Access Memory,RAM)、可编程只读存储器(ProgrammableRead-only Memory,PROM)、可擦除可编程只读存储器(ErasableProgrammableRead Only Memory,EPROM)、一次可编程只读存储器(One-timeProgrammableRead-Only Memory,OTPROM)、电子抹除式可复写只读存储器(Electrically-ErasableProgrammable Read-Only Memory,EEPROM)、只读光盘(Compact DiscRead-OnlyMemory,CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。

最后应说明的是:本发明实施例公开的一种图标匹配方法及装置所揭露的仅为本发明较佳实施例而已,仅用于说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解;其依然可以对前述各项实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或替换,并不使相应的技术方案的本质脱离本发明各项实施例技术方案的精神和范围。

相关技术
  • 一种智能终端的应用程序图标管理方法及装置
  • 一种应用程序图标管理方法、装置及终端设备
  • 一种基于教育操作系统的停靠栏图标标示方法及装置
  • 一种交通图标的检测方法、装置及车辆
  • 一种移动应用图标的方法及装置
  • 一种UI设计图标匹配与对比的显示装置
  • 一种UI美工的图标匹配与比对的显示装置
技术分类

06120115800261