掌桥专利:专业的专利平台
掌桥专利
首页

图像背景相似度分析方法、装置、电子设备及存储介质

文献发布时间:2023-06-19 19:30:30


图像背景相似度分析方法、装置、电子设备及存储介质

技术领域

本发明涉及图像处理领域,尤其涉及一种图像背景相似度分析方法、装置、电子设备及存储介质。

背景技术

在金融业务中为了分析不同客户之间的关联性,需要客户上传自拍的图像,图像主要包含人像与背景两个区域,人像区域位于图像的中心区域,比较显著且占据图像大部分面积。

通常将客户上传的图像与数据库中不同客户上传的图像进行人像区域的特征比对,通过特征比对的结果得到客户与其它客户之间的关联性,而往往忽略对图像的背景区域的相似度分析,图像的背景区域的信息同样具有非常重要的参考价值,若忽略,容易出现对图像的关联性分析不准确的问题。

发明内容

鉴于以上内容,有必要提供一种图像背景相似度分析方法,其目的在于解决现有技术中图像的关联性分析不准确的问题。

本发明提供的图像背景相似度分析方法,包括:

S1、将第一图像输入预设的人像分割模型进行分割,得到与所述第一图像对应的二值图像,融合所述二值图像与所述第一图像,得到所述第一图像的融合图像;

S2、从所述融合图像中提取背景区域的颜色特征、局部特征、及全局特征,生成所述第一图像的背景特征集;

S3、从预设的数据库提取至少一张第二图像,对所述第二图像执行S1-S2步骤,生成所述第二图像的背景特征集;

S4、分别计算所述第一图像的背景特征集的颜色特征、局部特征、及全局特征与所述第二图像的背景特征集中对应的颜色特征、局部特征、及全局特征之间的两两相似度,根据预设的权重公式对各个所述相似度得分进行权重计算,得到所述第一图像与所述第二图像的背景区域的相似度得分。

可选的,所述将第一图像输入预设的人像分割模型进行分割,得到与所述第一图像对应的二值图像,包括:

将所述第一图像的人像区域的像素值标注为0、背景区域的像素值标注为1;

分割标注后的人像区域和背景区域,得到所述二值图像。

可选的,所述融合所述二值图像与所述第一图像,得到所述第一图像的融合图像,包括:

根据预设的形态学算法对所述二值图像进行膨胀或/和腐蚀处理,得到处理后的二值图像;

将所述处理后的二值图像中像素值为0的人像区域与所述第一图像进行融合,得到所述第一图像的融合图像。

可选的,所述从所述融合图像中提取背景区域的颜色特征、局部特征、及全局特征,包括:

根据预设的特征提取算法,从所述融合图像中提取关键点特征,得到所述融合图像的背景区域的局部特征;

将所述融合图像的RGB颜色空间转换为LAB颜色空间,得到所述融合图像的背景区域的颜色特征;

根据预设的全局特征提取模型,从所述融合图像的背景区域中提取全局特征,得到所述融合图像的背景区域的全局特征。

可选的,所述根据预设的特征提取算法,从所述融合图像中提取关键点特征,得到所述融合图像的背景区域的局部特征,包括:

提取所述融合图像的候选关键特征点与所述候选关键特征点的相邻像素进行像素差异值比对,选取预设数量的比对结果值转换为二进制串,得到所述融合图像所有的关键特征点;

去除所述融合图像中人像区域的关键特征点,得到所述融合图像中背景区域的关键特征点;

计算出所述背景区域的各个关键特征点的特征中心,统计各个关键特征点在对应特征中心的分布,得到所述背景区域的局部特征。

可选的,所述将所述融合图像的RGB颜色空间转换为LAB颜色空间,得到所述融合图像的背景区域的颜色特征,包括:

将所述融合图像的RGB颜色空间转换到XYZ空间,得到所述融合图像的XYZ颜色空间;

将所述融合图像的XYZ颜色空间转换到LAB空间,得到所述融合图像的背景区域的颜色特征。

可选的,所述根据预设的全局特征提取模型,从所述融合图像的背景区域中提取全局特征,得到所述融合图像的背景区域的全局特征,包括:

将所述融合图像缩放至预设尺寸,将融合图像输入所述全局特征提取模型;

对所述尺寸缩放后的融合图像中像素值为0的人像区域进行像素填充处理,得到所述融合图像的背景区域的全局特征。

为了解决上述问题,本发明还提供一种图像背景相似度分析装置,所述装置包括:

融合模块,用于将第一图像输入预设的人像分割模型进行分割,得到与所述第一图像对应的二值图像,融合所述二值图像与所述第一图像,得到所述第一图像的融合图像;

生成模块,用于从所述融合图像中提取背景区域的颜色特征、局部特征、及全局特征,生成所述第一图像的背景特征集;

提取模块,用于从预设的数据库提取至少一张第二图像,对所述第二图像执行S1-S2步骤,生成所述第二图像的背景特征集;

相似度计算模块,用于分别计算所述第一图像的背景特征集的颜色特征、局部特征、及全局特征与所述第二图像的背景特征集中对应的颜色特征、局部特征、及全局特征之间的两两相似度,根据预设的权重公式对各个所述相似度得分进行权重计算,得到所述第一图像与所述第二图像的背景区域的相似度得分。

为了解决上述问题,本发明还提供一种电子设备,所述电子设备包括:

至少一个处理器;以及,

与所述至少一个处理器通信连接的存储器;其中,

所述存储器存储有可被所述至少一个处理器执行的图像背景相似度分析程序,所述图像背景相似度分析程序被所述至少一个处理器执行,以使所述至少一个处理器能够执行上述图像背景相似度分析方法。

为了解决上述问题,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有图像背景相似度分析程序,所述图像背景相似度分析程序可被一个或者多个处理器执行,以实现上述图像背景相似度分析方法。

相较现有技术,本发明将第一图像输入预设的人像分割模型进行分割,得到与所述第一图像对应的二值图像,融合所述二值图像与所述第一图像,得到所述第一图像的融合图像,从所述融合图像中提取背景区域的颜色特征、局部特征、及全局特征,生成所述第一图像的背景特征集。过滤了第一图像中显著的人像像素,从多个维度准确提取了第一图像的背景特征集包括:局部特征、全局特征与颜色特征,利用各个特征之间相互弥补,提取的背景特征集更全面;

分别计算所述第一图像的背景特征集的颜色特征、局部特征、及全局特征与所述第二图像的背景特征集中对应的颜色特征、局部特征、及全局特征之间的两两相似度,并根据预设的权重公式对各个相似度得分进行权重计算,得到所述第一图像与所述第二图像的背景区域的相似度得分;在比较第一图像与第二图像的背景特征集相似度时,综合考虑了背景区域的局部特征的相似度、全局特征的相似度、颜色特征的相似度,使得背景相似度得分更准确,也对图像的关联性分析更加准确。

附图说明

图1为本发明一实施例提供的图像背景相似度分析方法的流程示意图;

图2为本发明一实施例提供的图像背景相似度分析装置的模块示意图;

图3为本发明一实施例提供的实现图像背景相似度分析方法的电子设备的结构示意图;

本发明目的实现、功能特点及优点将结合实施例,参照附图做进一步说明。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

需要说明的是,在本发明中涉及“第一”、“第二”等的描述仅用于描述目的,而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外,各个实施例之间的技术方案可以相互结合,但是必须是以本领域普通技术人员能够实现为基础,当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在,也不在本发明要求的保护范围之内。

本发明提供一种图像背景相似度分析方法。参照图1所示,为本发明一实施例提供的图像背景相似度分析方法的流程示意图。该方法由电子设备执行。

S1、将第一图像输入预设的人像分割模型进行分割,得到与所述第一图像对应的二值图像,融合所述二值图像与所述第一图像,得到所述第一图像的融合图像;

本实施例中,预设的人像分割模型包括但不限于训练好的humanseg人像分割模型;当获取用户上传的自拍图像(第一图像),将第一图像输入已经训练好的humanseg人像分割模型中,采用阈值分割对图像进行分割,得到与第一图像的相同像素、相同尺寸的二值图像,在二值图像的像素值不是1就是0,属于人像区域的像素值为0,属于背景区域的像素值为1。

利用形态学算法去除二值图像中的离散点,对二值图像中细小空洞区域进行填充,得到处理后的二值图像。通过形态学算法对二值图像的处理,避免提取到的背景区域中包含有人像信息。

将处理后的二值图像与第一图像进行融合得到第一图像的融合图像。融合图像中属于人像区域的像素值为0,及融合图像中属于1的像素值等于第一图像的背景区域的像素值。

在一个实施例中,所述将第一图像输入预设的人像分割模型进行分割,得到与所述第一图像对应的二值图像,包括:

将所述第一图像的人像区域的像素值标注为0、背景区域的像素值标注为1;

分割标注后的人像区域和背景区域,得到所述二值图像。

通过以下步骤得到训练好的人像分割模型(humanseg人像分割模型):

A10、收集预设数量(例如,50000张)的图像生成训练数据集,对训练数据集进行标注人像区域,对人像区域的像素值标注为0,及对背景区域的像素值标注为1;

A20、利用开源的预训练humanseg模型,设置训练参数对humanseg模型进行微调;

A30、利用损失函数与交叉熵对所述训练数据集计算训练损失,直到所述预训练humanseg模型的网络收敛,得到训练好的humanseg人像分割模型。

将第一图像输入至训练好的humanseg人像分割模型,人像分割模型对第一图像的人像区域进行标注(例如,对人像区域的像素值标注为0,及对背景区域的像素值标注为1),对像素值为1和像素值为0的两个区域进行分割,得到第一图像的二值图像。通过humanseg人像分割模型可以对第一图像的人像区域、背景区域进行精准分割。

在一个实施例中,所述融合所述二值图像与所述第一图像,得到所述第一图像的融合图像,包括:

根据预设的形态学算法对所述二值图像进行膨胀腐蚀处理,得到处理后的二值图像;

将所述处理后的二值图像中像素值为0的人像区域与所述第一图像进行融合,得到所述第一图像的融合图像。

预设的形态学算法包括但不限于膨胀与腐蚀的形态学算法,形态学算法通过改变二值图像中像素值为0的部分(黑色部分)或像素值为1的部分(白色部分)的形状,例如,通过腐蚀将二值图像中白色部分变瘦,或通过膨胀将二值图像中白色部分变胖。在其它实施例中,可以采用其它形态学算法,在此不作限定。

根据预设的形态学算法,通过膨胀或/和腐蚀处理将二值图像的部分区域(例如,像素值为0的部分或像素值为1的部分)与形态学算法的核进行卷积,得到处理后的二值图像;形态学算法的核可以是任何的形状和大小,其拥有一个单独定义出来的参考点,通过参考点对二值图像的部分区域求局部最小值的操作(即腐蚀处理),或通过参考点对二值图像的部分区域求局部最大值的操作(即膨胀处理)。

将处理后的二值图像放至第一图像的上方进行对齐重叠(两者尺寸一样大),再将处理后的二值图像中像素值为0的区域融合到第一图像中,得到第一图像的融合图像。通过融合处理,提高了得到融合图像的背景区域的准确率。

S2、从所述融合图像中提取背景区域的颜色特征、局部特征、及全局特征,生成所述第一图像的背景特征集;

所述S2步骤,具体地包括:

根据预设的特征提取算法,从所述融合图像中提取关键点特征,得到所述融合图像的背景区域的局部特征;

将所述融合图像的RGB颜色空间转换为LAB颜色空间,得到所述融合图像的背景区域的颜色特征;

根据预设的全局特征提取模型,从所述融合图像的背景区域中提取全局特征,得到所述融合图像的背景区域的全局特征。

本实施例中,预设的特征提取算法包括但不限于OpenCV库中ORB(Oriented FASTand Rotated BRIEF)特征提取算法;OpenCV是一个基于Apache2.0许可(开源)发行的跨平台计算机视觉和机器学习软件库,可以运行在Linux、Windows、Android和Mac OS操作系统上。

ORB特征提取算法在提取关键点特征时,利用单张融合图像在金字塔模式中进行多尺度特征提取,得到多个尺度下的融合图像中背景区域的关键特征点,将多个尺度下的融合图像中背景区域的关键特征点进行归一化处理,得到融合图像的背景局部特征。

在一个实施例中,所述根据预设的特征提取算法,从所述融合图像中提取关键点特征,得到所述融合图像的背景区域的局部特征,包括:

提取所述融合图像的候选关键特征点与所述候选关键特征点的相邻像素进行像素差异值比对,选取预设数量的比对结果值转换为二进制串,得到所述融合图像所有的关键特征点;

去除所述融合图像中人像区域的关键特征点,得到所述融合图像中背景区域的关键特征点;

计算出所述背景区域的各个关键特征点的特征中心,统计各个关键特征点在对应特征中心的分布,得到所述背景区域的局部特征。

在一个实施例中,所述提取所述融合图像的候选关键特征点与所述候选关键特征点的相邻像素进行像素差异值比对,选取预设数量的比对结果值转换为二进制串,得到所述融合图像的关键特征点,包括:

根据预设的特征提取算法,提取所述融合图像中像素差异值大于预设的阈值的像素作为候选关键特征点;

将所述候选关键特征点与所述候选关键特征点的相邻像素进行像素差异值比对,将得到的比对结果值按从高到低的顺序进行排序;

从排序中选取预设数量排名靠前的比对结果值并转换为二进制串,得到所述融合图像的关键特征点。

ORB特征提取算法提取融合图像的关键点特征包括(两个步骤):特征点检测与特征点描述;

步骤1(特征点检测):计算提取融合图像中每个像素值与相邻像素值的像素差异值,选取像素差异值大于预设的阈值(例如,阈值为0.7)的像素作为候选关键特征点;

步骤2(特征点描述):将候选关键特征点与候选关键特征点的相邻像素进行像素差异值比对,将得到的比对结果值按照从高到低的顺序进行排序,从排序中选取第一预设数量(例如,预设数量为100)排名靠前的比对结果值,并将第一预设数量排名靠前的比对结果值转换为二进制串,得到融合图像的关键特征点。

在一个实施例中,所述计算出所述背景区域的各个关键特征点的特征中心,统计各个关键特征点在对应特征中心的分布,得到所述融合图像的背景区域的局部特征,包括:

B10、根据预设的最近邻算法,计算所述背景区域的任一关键特征点与所述第一图像中每个预设的特征中心的距离,得到多个距离值;

B20、从多个所述距离值中选取最少距离值的特征中心作为所述关键特征点的特征中心;

B30、重复执行B10-B20步骤,直至得到所述背景区域的所有关键特征点的特征中心,统计各个关键特征点在对应特征中心的分布并进行归一化处理,得到所述背景区域的局部特征。

预设的最近邻算法包括但不限于KNN(K-Nearest Neighbor)最近邻算法。

例如,通过最近邻算法计算背景区域的关键点特征A与第一图像中每个特征中心的距离,得到多个距离值(例如,多个距离值分别为0.6、0.8、1.21、2.3),选取最少距离值为0.6的特征中心作为关键特征点A的特征中心;背景区域的其它关键点特征参照上述关键点特征A得到特征中心的方法,得到各自的特征中心;

然后统计各个关键特征点在对应特征中心的分布并进行归一化处理,输出1*K的向量,将1*K的向量作为得到融合图像的背景局部特征,其中K是特征中心的个数。

特征中心是预先构建好的,该特征中心的构建过程包括:通过收集大量的融合图像,采用ORB特征提取算法提取每个融合图像的背景局部特征,得到背景局部ORB特征库,再采用K均值聚类算法,对ORB特征库进行聚类,得到K个特征中心,K值通过实验得到。

通过融合图像中背景区域的关键特征点,得到融合图像的背景局部特征,可以获取第一图像更多的细节特征,能提高背景局部特征的准确率。

在一个实施例中,所述将所述融合图像的RGB颜色空间转换为LAB颜色空间,得到所述融合图像的背景区域的颜色特征,包括:

将所述融合图像的RGB颜色空间转换到XYZ空间,得到所述融合图像的XYZ颜色空间;

将所述融合图像的XYZ颜色空间转换到LAB空间,得到所述融合图像的背景区域的颜色特征。

RGB颜色空间是不能直接转换为LAB颜色空间,需要用XYZ颜色空间来过渡;例如,获取到用户上传的图像通常属于sRGB颜色空间,将融合图像的sRGB颜色空间通过gamma变换转为RGB颜色空间,通过线性映射将RGB颜色空间转为XYZ颜色空间,然后通过预设的归一化方式、非线性变换的方式将XYZ颜色空间转为LAB颜色空间,统计融合图像中属于背景区域的各个像素的lab通道均值并输出1*3的向量,将1*3的向量作为融合图像的的背景区域的颜色特征。

在Lab颜色空间模式下的曲线,亮度是单独保存在L通道中的,可以在不改变色彩信息的前题下可以调整亮度,也可以不改变亮度的前题下调整色彩,这两点是RGB颜色空间模式下的曲线无法做到的。因此,通过将融合图像的RGB颜色空间转换为LAB颜色空间,可以实现对第一图像的亮度、色彩准确的调整。

在一个实施例中,所述根据预设的全局特征提取模型,从所述融合图像的背景区域中提取全局特征,得到所述融合图像的背景区域的全局特征,包括:

将所述融合图像缩放至预设尺寸,将融合图像输入所述全局特征提取模型;

对所述尺寸缩放后的融合图像中像素值为0的人像区域进行像素填充处理,得到所述融合图像的背景区域的全局特征。

预设的全局特征提取模型包括但不限于训练好的VGG模型;

通过以下步骤得到训练好的VGG模型(全局特征提取模型),包括:

C10、收集预设数量(例如,50000张)融合图像生成训练数据集,对训练数据集的每张融合图像进行人工标注,相似的融合图像标注为0,不相识的融合图像标注为1;

C20、利用开源的预训练VGG模型,设置预训练VGG模型的分类层输出参数为512维并对预训练VGG模型进行微调;

C30、利用余弦相似度对所述训练数据集计算训练损失,直到预训练VGG模型收敛,得到训练好的VGG模型。

将融合图像缩放至预设尺寸(例如,预设尺寸为224*224像素),将缩放至预设尺寸的融合图像进行归一化处理后输入全局特征提取模型,经过全局特征提取模型处理对融合图像中像素值为0的人像区域进行像素填充处理,输出为1*512的向量得到融合图像的背景全局特征。

由于融合图像中人像区域的像素值都为0,背景区域的像素值为第一图像对应位置的像素值,像素值为0的人像区域经过训练好的VGG模型处理时,会被当作填充像素处理,会被全局特征提取模型忽略掉,因而训练好的VGG模型最后提取的是背景全局特征,从而准确得到融合图像的背景全局特征。

通过S2步骤从多个维度提取了第一图像的背景特征集,包括局部特征、全局特征与颜色特征,利用各个特征之间相互弥补,提取的背景特征集更全面。

S3、从预设的数据库提取至少一张第二图像,对所述第二图像执行S1-S2步骤,生成所述第二图像的背景特征集;

本实施例中,预设的数据库包括但不限于企业自主建立用于存储图像的数据库;从数据库提取至少一张(例如,50张)其它用户自拍的图像(第二图像),对这些第二图像执行S1-S2步骤,得到第二图像的背景局部特征、的背景区域的颜色特征、背景全局特征,将第二图像的背景局部特征、的背景区域的颜色特征、背景全局特征作为第二图像的背景特征集。

S4、分别计算所述第一图像的背景特征集的颜色特征、局部特征、及全局特征与所述第二图像的背景特征集中对应的颜色特征、局部特征、及全局特征之间的两两相似度,根据预设的权重公式对各个所述相似度得分进行权重计算,得到所述第一图像与所述第二图像的背景区域的相似度得分。

所述S4步骤,具体地包括:

根据预设的第一相似度算法,对第一图像的背景局部特征与第二图像的背景局部特征进行相似度计算,得到第一相似度得分;

根据预设的第二相似度算法,对第一图像的的背景区域的颜色特征与第二图像的的背景区域的颜色特征进行相似度计算,得到第二相似度得分;

根据预设的第三相似度算法,对第一图像的背景全局特征与第二图像的背景全局特征进行相似度计算,得到第三相似度得分;

根据预设的权重公式对所述第一相似度得分、所述第二相似度得分、所述第三相似度得分进行权重计算,得到所述第一图像与所述第二图像的背景区域的相似度得分。

本实施例中,预设的第一相似度算法包括但不限于js散度相似度算法,js散度相似度算法能描述特征分布的距离,通过js散度相似度算法对每张图像的关键特征点在对应特征中心的分布进行比对计算,得到第一相似度得分。

预设的第二相似度算法包括但不限于欧式距离相似度算法,利用欧式距离相似度算法计算每张图像的的背景区域的颜色特征的向量之间的距离,来判断其相似程度,距离越近代表越相似,通过欧式距离相似度算法描述LAB空间颜色距离,能够减少在计算LAB空间颜色距离时的向量差异化。

预设的第三相似度算法包括但不限于余弦距离相似度算法,通过余弦距离相似度算法能够更准比较每张图像的背景全局特征距离。

预设的权重公式是企业根据图像的背景局部特征、的背景区域的颜色特征、背景全局特征对图像有影响的权重因子,而对各个权重因子分配不同比例权重的公式;权重公式包括:

score=a*score+β*score+γ*score

其中,score为第二图像的权重的总分,a为第二图像的背景局部特征的权重因子,β为第二图像的的背景区域的颜色特征的权重因子,γ第二为图像的背景全局特征的权重因子。

例如,得到的第一相似度得分、第二相似度得分、第三相似度得分,分别为0.7、0.5、0.8,根据权重公式的设定:a为50,β为30,γ为20(例如,a+β+γ=100),再将0.7*50+0.5*30+0.8*20得到第一图像的背景相似度得分,通过上述方法计算得到第一图像与每张第二图像的背景相似度得分。

根据第一图像与每张第二图像的背景相似度得分,背景相似度得分越高的,说明第一图像与对应的第二图像的关联性越强。

通过上述S1-S4步骤,过滤了第一图像中显著的人像像素,从多个维度准确提取了第一图像的背景特征集包括:局部特征、全局特征与颜色特征,利用各个特征之间相互弥补,提取的背景特征集更全面。

在比较第一图像与第二图像的背景特征集相似度时,综合考虑了背景区域的局部特征的相似度、全局特征的相似度、颜色特征的相似度,使得背景相似度得分更合理,更准确。

本发明的图像背景相似度分析方法可以应用到比较身份证图像背景相似业务中。还可以将人像分割模型换成车辆分割模型,该方法可以应用到比较车辆图像背景相似业务中。以此类推的,可以将该方法推广到其他比较背景相似的场景中。

如图2所示,为本发明一实施例提供的图像背景相似度分析装置的模块示意图。

本发明所述图像背景相似度分析装置100可以安装于电子设备中。根据实现的功能,所述图像背景相似度分析装置100可以包括融合模块110、生成模块120、提取模块130及相似度计算模块140。本发明所述模块也可以称之为单元,是指一种能够被电子设备处理器所执行,并且能够完成固定功能的一系列计算机程序段,其存储在电子设备的存储器中。

在本实施例中,关于各模块/单元的功能如下:

融合模块110,用于将第一图像输入预设的人像分割模型进行分割,得到与所述第一图像对应的二值图像,融合所述二值图像与所述第一图像,得到所述第一图像的融合图像;

生成模块120,用于从所述融合图像中提取背景区域的颜色特征、局部特征、及全局特征,生成所述第一图像的背景特征集;

提取模块130,用于从预设的数据库提取至少一张第二图像,对所述第二图像执行S1-S2步骤,生成所述第二图像的背景特征集;

相似度计算模块140,用于分别计算所述第一图像的背景特征集的颜色特征、局部特征、及全局特征与所述第二图像的背景特征集中对应的颜色特征、局部特征、及全局特征之间的两两相似度,根据预设的权重公式对各个所述相似度得分进行权重计算,得到所述第一图像与所述第二图像的背景区域的相似度得分。

在一个实施例中,所述将第一图像输入预设的人像分割模型进行分割,得到与所述第一图像对应的二值图像,包括:

将所述第一图像的人像区域的像素值标注为0、背景区域的像素值标注为1;

分割标注后的人像区域和背景区域,得到所述二值图像。

在一个实施例中,所述融合所述二值图像与所述第一图像,得到所述第一图像的融合图像,包括:

根据预设的形态学算法对所述二值图像进行膨胀或/和腐蚀处理,得到处理后的二值图像;

将所述处理后的二值图像中像素值为0的人像区域与所述第一图像进行融合,得到所述第一图像的融合图像。

在一个实施例中,所述从所述融合图像中提取背景区域的颜色特征、局部特征、及全局特征,包括:

根据预设的特征提取算法,从所述融合图像中提取关键点特征,得到所述融合图像的背景区域的局部特征;

将所述融合图像的RGB颜色空间转换为LAB颜色空间,得到所述融合图像的背景区域的颜色特征;

根据预设的全局特征提取模型,从所述融合图像的背景区域中提取全局特征,得到所述融合图像的背景区域的全局特征。

在一个实施例中,所述根据预设的特征提取算法,从所述融合图像中提取关键点特征,得到所述融合图像的背景区域的局部特征,包括:

提取所述融合图像的候选关键特征点与所述候选关键特征点的相邻像素进行像素差异值比对,选取预设数量的比对结果值转换为二进制串,得到所述融合图像所有的关键特征点;

去除所述融合图像中人像区域的关键特征点,得到所述融合图像中背景区域的关键特征点;

计算出所述背景区域的各个关键特征点的特征中心,统计各个关键特征点在对应特征中心的分布,得到所述背景区域的局部特征。

在一个实施例中,所述将所述融合图像的RGB颜色空间转换为LAB颜色空间,得到所述融合图像的背景区域的颜色特征,包括:

将所述融合图像的RGB颜色空间转换到XYZ空间,得到所述融合图像的XYZ颜色空间;

将所述融合图像的XYZ颜色空间转换到LAB空间,得到所述融合图像的背景区域的颜色特征。

在一个实施例中,所述根据预设的全局特征提取模型,从所述融合图像的背景区域中提取全局特征,得到所述融合图像的背景区域的全局特征,包括:

将所述融合图像缩放至预设尺寸,将融合图像输入所述全局特征提取模型;

对所述尺寸缩放后的融合图像中像素值为0的人像区域进行像素填充处理,得到所述融合图像的背景区域的全局特征。

如图3所示,为本发明一实施例提供的实现图像背景相似度分析方法的电子设备的结构示意图。

在本实施例中,电子设备1包括,但不仅限于,可通过系统总线相互通信连接的存储器11、处理器12、网络接口13,该存储器11中存储有图像背景相似度分析程序10,所述图像背景相似度分析程序10可被所述处理器12执行。图3仅示出了具有组件11-13以及图像背景相似度分析程序10的电子设备1,本领域技术人员可以理解的是,图3示出的结构并不构成对电子设备1的限定,可以包括比图示更少或者更多的部件,或者组合某些部件,或者不同的部件布置。

其中,存储器11包括内存及至少一种类型的可读存储介质。内存为电子设备1的运行提供缓存;可读存储介质可为如闪存、硬盘、多媒体卡、卡型存储器(例如,SD或DX存储器等)、随机访问存储器(RAM)、静态随机访问存储器(SRAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、可编程只读存储器(PROM)、磁性存储器、磁盘、光盘等的非易失性存储介质。在一些实施例中,可读存储介质可以是电子设备1的内部存储单元;在另一些实施例中,该非易失性存储介质也可以是电子设备1的外部存储设备,例如电子设备1上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。本实施例中,存储器11的可读存储介质通常用于存储安装于电子设备1的操作系统和各类应用软件,例如存储本发明一实施例中的图像背景相似度分析程序10的代码等。此外,存储器11还可以用于暂时地存储已经输出或者将要输出的各类数据。

处理器12在一些实施例中可以是中央处理器(Central Processing Unit,CPU)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器12通常用于控制所述电子设备1的总体操作,例如执行与其他设备进行数据交互或者通信相关的控制和处理等。本实施例中,所述处理器12用于运行所述存储器11中存储的程序代码或者处理数据,例如运行图像背景相似度分析程序10等。

网络接口13可包括无线网络接口或有线网络接口,该网络接口13用于在所述电子设备1与终端(图中未画出)之间建立通信连接。

可选的,所述电子设备1还可以包括用户接口,用户接口可以包括显示器(Display)、输入单元比如键盘(Keyboard),可选的用户接口还可以包括标准的有线接口、无线接口。可选的,在一些实施例中,显示器可以是LED显示器、液晶显示器、触控式液晶显示器以及OLED(Organic Light-Emitting Diode,有机发光二极管)触摸器等。其中,显示器也可以适当的称为显示屏或显示单元,用于显示在电子设备1中处理的信息以及用于显示可视化的用户界面。

应该了解,所述实施例仅为说明之用,在专利申请范围上并不受此结构的限制。

所述电子设备1中的所述存储器11存储的图像背景相似度分析程序10是多个指令的组合,在所述处理器12中运行时,可以实现:

S1、将第一图像输入预设的人像分割模型进行分割,得到与所述第一图像对应的二值图像,融合所述二值图像与所述第一图像,得到所述第一图像的融合图像;

S2、从所述融合图像中提取背景区域的颜色特征、局部特征、及全局特征,生成所述第一图像的背景特征集;

S3、从预设的数据库提取至少一张第二图像,对所述第二图像执行S1-S2步骤,生成所述第二图像的背景特征集;

S4、分别计算所述第一图像的背景特征集的颜色特征、局部特征、及全局特征与所述第二图像的背景特征集中对应的颜色特征、局部特征、及全局特征之间的两两相似度,根据预设的权重公式对各个所述相似度得分进行权重计算,得到所述第一图像与所述第二图像的背景区域的相似度得分。

具体地,所述处理器12对上述图像背景相似度分析程序10的具体实现方法可参考图1对应实施例中相关步骤的描述,在此不赘述。

进一步地,所述电子设备1集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。所述计算机可读介质可以是非易失性的,也可以是非易失性的。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)。

所述计算机可读存储介质上存储有图像背景相似度分析程序10,所述图像背景相似度分析程序10可被一个或者多个处理器执行,本发明计算机可读存储介质具体实施方式与上述图像背景相似度分析方法各实施例基本相同,在此不作赘述。

在本发明所提供的几个实施例中,应该理解到,所揭露的设备,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的,作为模块显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外,在本发明各个实施例中的各功能模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用硬件加软件功能模块的形式实现。

对于本领域技术人员而言,显然本发明不限于上述示范性实施例的细节,而且在不背离本发明的精神或基本特征的情况下,能够以其他的具体形式实现本发明。

因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本发明的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附关联图标记视为限制所涉及的权利要求。

此外,显然“包括”一词不排除其他单元或步骤,单数不排除复数。系统权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第二等词语用来表示名称,而并不表示任何特定的顺序。

最后应说明的是,以上实施例仅用以说明本发明的技术方案而非限制,尽管参照较佳实施例对本发明进行了详细说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或等同替换,而不脱离本发明技术方案的精神和范围。

技术分类

06120115932026