掌桥专利:专业的专利平台
掌桥专利
首页

图像识别设备

文献发布时间:2023-06-19 09:29:07


图像识别设备

技术领域

本发明涉及图像处理技术领域,尤其涉及一种图像识别设备。

背景技术

精确判断皮肤疾病严重程度在医学领域占有很重要的地位,其中,痘痘是最常见的皮肤疾病,在青春期发病率最高,大约80%的青少年患有痘痘,并且这种症状在成年后持续到3%的男性和12%的女性,且由于痘痘可能会留下疤痕和色素沉着的问题,且经常会导致较低的情绪和抑郁感,因此,痘痘患者迫切需要进行治疗,针对该种情况,不少用户希望能够使用应用程序先分析出脸部痘痘的具体情况,然而,目前对痘痘进行检测的方法,容易出现漏检的情况,导致对痘痘进行检测的准确率低。

发明内容

本发明的主要目的在于提供一种图像识别设备,能够有效避免出现漏检的情况,提高对痘痘检测的准确性。

为实现上述目的,本发明第一方面提供一种图像识别设备,包括存储器以及一个或多个处理器,所述一个或多个处理器用于执行存储在所述存储器中的一个或多个计算机程序;所述一个或多个计算机程序被存储在所述存储器中;所述一个或多个处理器在执行所述一个或多个计算机程序时,执行如下步骤:

获取待检测痘痘的人脸图像;

将所述人脸图像输入至痘痘检测模型,获取所述人脸图像的痘痘检测集合,所述痘痘检测集合包含检测到的边界框,及所述边界框的检测值,所述检测值用于指示所述边界框内检测到痘痘的可能性;

确定所述痘痘检测集合中的重叠框集合,并对所述重叠框集合中的边界框的检测值进行更新,根据更新后的重叠框集合确定目标边界框,并从所述痘痘检测集合中提取所述目标边界框,将所述目标边界框添加至目标边界框集合,所述重叠框集合包含标识同一个痘痘区域的至少两个边界框,所述目标边界框为能够代表所述痘痘区域的最优的边界框;

根据所述目标边界框集合确定所述人脸图像的痘痘检测结果。

采用本发明实施例,具有如下有益效果:

本发明提供一种图像识别设备,在将待检测痘痘的人脸图像输入痘痘检测模型之后,获取该人脸图像的痘痘检测集合,并确定痘痘检测集合中的重叠框集合,对该重叠框集合中的边界框的检测值进行更新,根据更新后的重叠框集合确定目标边界框,并从痘痘检测集合中提取该目标边界框,将该目标边界框添加至目标边界框集合,并根据该目标边界框集合确定所述人脸图像的痘痘检测结果。由于上述的重叠框集合包含标识同一个痘痘区域的至少两个边界框,使得可以从该至少两个边界框中确定能够代表上述痘痘区域的最优的边界框,通过从痘痘检测集合中提取上述痘痘区域的最优的边界框并添加至目标边界框集合的方式,使得能够从痘痘检测集合中提取出所有能够代表痘痘区域的最优的边界框,提高对痘痘检测的准确性,且进一步地,通过对重叠框集合中的边界框的检测值进行更新,并根据更新后的重叠框集合确定目标边界框,使得能够提高对目标边界框选择的准确性,提高痘痘检测的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

其中:

图1为本发明实施例提供的一种图像识别设备的硬件结构图;

图2为本发明实施例中痘痘检测方法的流程示意图;

图3为本发明图2所示实施例中步骤203的细化步骤的流程示意图;

图4为本发明实施例中痘痘检测模型的结构示意图;

图5为本发明实施例中痘痘检测模型训练方法的流程示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

请参阅图1所示,图1为本发明实施例提供的一种图像识别设备的硬件结构图,其中,所述图像识别设备100可以是任何类型,具有运算能力的电子设备,例如:智能手机、计算机、掌上电脑、平板电脑等。

具体地,如图1所示,所述图像识别设备100包括一个或多个处理器102以及存储器104。图1中以一个处理器102为例。处理器102和存储器104可以通过总线或者其他方式连接,图1中以通过总线连接为例。

存储器104作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块,如与痘痘检测模型对应的程序、指令以及模块,其中,与痘痘检测模型对应的程序、指令以及模块可包括下述痘痘检测方法对应的程序、指令以及模块,和,下述痘痘检测模型训练方法对应的程序、指令以及模块。处理器102通过运行存储在存储器104中的非易失性软件程序、指令以及模块,从而执行电子设备的各种功能应用以及数据处理。

存储器104可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据图像识别设备使用所创建的数据等。此外,存储器104可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中,存储器104可选包括相对于处理器102远程设置的存储器,这些远程存储器可以通过网络连接至图像识别设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

本发明实施例中图像识别设备用于对人脸图像进行识别,以确定人脸图像中的痘痘,以及,用于对痘痘检测模型进行训练,从而得到用于检测痘痘的痘痘检测模型。存储器104用于存储痘痘检测方法的计算机实现程序,处理器102用于读取和执行计算机可读指令。具体的,处理器102可用于调用存储于存储器104中的痘痘检测方法的计算机实现程序,并执行该计算机实现程序中包含的指令,从而执行有关于痘痘检测方法的方法步骤。有关于处理器102执行的痘痘检测方法的方法步骤,可参见下述图2-图4对应的描述。可选地,存储器104还用于存储痘痘检测模型训练方法的计算机程序,处理器102可用于调用存储于存储器104中的痘痘检测模型训练方法的计算机实现程序,并执行该计算机实现程序中包含的指令,从而执行有关于痘痘检测模型训练方法的方法步骤。有关于处理器102执行的痘痘检测模型训练方法的方法步骤,可参见下述图5对应的描述。

请参阅图2,为本发明实施例中痘痘检测方法的流程示意图,该方法包括:

步骤201、获取待检测痘痘的人脸图像;

步骤202、将人脸图像输入至痘痘检测模型,获取人脸图像的痘痘检测集合,痘痘检测集合包含检测到的边界框,及边界框的检测值;

在本发明实施例中,上述的痘痘检测方法由上述图像识别设备100实现,具体由上述处理器102实现。

其中,可获取待检测痘痘的人脸图像,可以通过启动摄像头的方式拍摄获取到该人脸图像,也可以是用户从相册里面上传的人脸图像,或者是接收到的其他设备发送的人脸图像,该人脸图像可以是包含用户整个人脸的图像,也可以是人脸的部分区域的图像,例如,可以是额头的痘痘图像,脸颊的痘痘图像,下巴的痘痘图像等。

将上述的人脸图像输入至痘痘检测模型,该痘痘检测模块可以是基于yolov3框架的模型,其具有三个分支,且每个分支都将输出特征图,可根据输出的特征图获取该人脸图像的痘痘检测集合,其中,该痘痘检测集合包含检测到的边界框、及该边界框的检测值,其中,检测值用于指示边界框内为检测到痘痘的可能性。例如,若一个边界框A,其检测值为0.35,则表示,该边界框内检测到痘痘的概率为0.35。

其中,边界框是在人脸图像中确定的边界框,该边界框所包围的区域是可能存在痘痘的区域。

步骤203、确定所述痘痘检测集合中的重叠框集合,并对所述重叠框集合中的边界框的检测值进行更新,根据更新后的重叠框集合确定目标边界框,并从所述痘痘检测集合中提取所述目标边界框,将所述目标边界框添加至目标边界框集合;

步骤204、根据目标边界框集合确定人脸图像的痘痘检测结果。

在本发明实施例中,边界框都是在人脸图像中确定的可能存在痘痘的边界框,在使用痘痘检测模型进行痘痘检测时,对于同一个痘痘区域可能会存在多个边界框,且该多个边界框可能会存在重叠的情况,该重叠是指一个边界框所围成为的区域和另一个边界框所围成的区域存在部分或者全部重叠,该重叠的大小可以使用重叠比例进行描述,且重叠比例具体可以是两个边界框所围成的区域的交集占其中一个边界框整个区域的大小,且为了去除边界框的冗余,将对每一个痘痘区域确定能够代表该痘痘区域的最优的边界框,该最优的边界框可以称为是目标边界框,且对于每一个痘痘区域,都可以得到该痘痘区域的重叠框集合,该重叠框集合中包含标识同一个痘痘区域的至少两个边界框,上述的目标边界框则需要基于重叠框集合确定一个目标边界框。

在本发明实施例中,考虑到基于痘痘检测模型得到的痘痘检测集合,对于同一个痘痘区域,可能存在多个边界框,多个边界框则存在冗余的情况,为了更好地确定痘痘检测结果,需要从多个边界框中选取能够代表痘痘区域的最优的边界框,然而考虑到人脸长痘痘时,通常容易出现痘痘密集出现的情况,这样就会出现相邻的两个痘痘区域的两个边界框出现重叠的情况,若被认为是同一个痘痘区域而选择了标识另一个痘痘区域的边界框,则会导致错误的选择了边界框的情况出现,导致痘痘的漏检,进一步导致痘痘检测结果的准确性低的问题,为了能够挑选到更符合实际痘痘情况的边界框,且避免错误选择边界框导致痘痘漏检的情况,可先确定痘痘检测集合中的重叠框集合,并对重叠框集合中的边界框的检测值进行更新,利用更新后的重叠框集合确定目标边界框,以便能够从痘痘检测集合中提取该目标边界框,其中,通过对重叠框集合的检测值进行更新并利用更新后的重叠框集合确定目标边界框的方式,能够有效避免错误选择边界框的问题出现,有效提高目标边界框的准确性,且将该目标边界框添加至目标边界框集合中并根据该目标边界框集合确定人脸图像的痘痘检测结果,能够有效的提高痘痘检测结果的准确性。

其中,可以将目标边界框集合中包含的边界框作为检测到的确定存在痘痘的边界框,即为痘痘检测结果。

在本发明实施例中,由于上述的重叠框集合包含标识同一个痘痘区域的至少两个边界框,使得可以从该至少两个边界框中确定能够代表上述痘痘区域的最优的边界框,通过从痘痘检测集合中提取上述痘痘区域的最优的边界框并添加至目标边界框集合的方式,使得能够从痘痘检测集合中提取出所有能够代表痘痘区域的最优的边界框,提高对痘痘检测的准确性,且进一步地,通过对重叠框集合中的边界框的检测值进行更新,并根据更新后的重叠框集合确定目标边界框,使得能够提高对目标边界框选择的准确性,提高痘痘检测的准确性。

为了更好地理解本发明实施例中的技术方案,请参阅图3,为本发明图2所示实施例中步骤203的细化步骤的流程示意图,包括:

步骤301、计算所述痘痘检测集合中第一边界框与其他边界框的重叠比例,基于重叠比例确定所述重叠框集合;

步骤302、根据所述目标其他边界框与所述第一边界框的重叠比例,对所述重叠框集合中的目标其他边界框的检测值进行更新,得到更新后的重叠框集合;

步骤303、从所述痘痘检测集合中提取出所述更新后的重叠框集合中具有最大检测值的边界框作为目标边界框,并添加至所述目标边界框集合中;

步骤304、返回执行所述计算所述痘痘检测集合中第一边界框与其他边界框的重叠比例,基于重叠比例确定所述重叠框集合的步骤,直至所述重叠框集合中目标其他边界框的数量为零。

在本发明实施例中,设置i为提取目标边界框的次数,且i的初始值为0,i为正整数。可以理解的是,第0个痘痘检测集合则为将人脸图像输入至痘痘检测模型后,获取到的初始的痘痘检测集合,第1个痘痘检测集合则是从第0个痘痘检测集合中提取出一个目标边界框之后的集合。

以第i个痘痘检测集合为例,先确定该第i个痘痘检测集合中的第一边界框及其他边界框,其中,该第一边界框为第i个痘痘检测集合中检测值最大的边界框,所述其他边界框则为第i个痘痘检测集合中除第一边界框以外的其他任意一个边界框。

计算上述的第一边界框与其他边界框的重叠比例,具体可以为先确定第一边界框与其他边界框的存在重叠的重叠区域的大小,并计算该重叠区域占第一边界框所在区域的大小的比例,该比例则为第一边界框与其他边界框的重叠比例。例如,若第一边界框与其他边界框A的重叠区域大小为a1,且第一边界框的区域大小为B,则求a1/B的值,将该值作为第一边界框与其他边界框A的重叠比例,当该a1/B为0时,则表明第一边界框与其他边界框A不存在重叠,当该a1/B为1时,则表明该第一边界框与其他边界框完全重叠,当该a1/B为0至1之间的任意一个值时,则表明第一边界框与其他边界框部分重叠。

通过上述方式可以得到第一边界框与所有的其他边界框的重叠比例,并基于重叠比例确定重叠框集合,其中,该重叠框集合包含第一边界框,及与第一边界框的重叠比例大于或等于第一预设比例值的目标其他边界框。例如,若痘痘检测集合中存在100个边界框,检测值最大的边界框为第一边界框,剩余的99个边界框为其他边界框,若在该剩余的99个边界框中,存在5个边界框A、B、C、D、E与第一边界框的重叠比例大于或等于第一预设比例值,则得到的重叠框集合包括第一边界框,边界框A、B、C、D、E。

可以理解的是,重叠框集合包含标识同一个痘痘区域的至少两个边界框,而同一个痘痘区域的边界框通常是存在重叠的,且重叠比例为非零,在本发明实施例中,考虑到检测值越大,存在痘痘的可能性越大,因此,确定痘痘检测集合中具有最大检测值的边界框为第一边界框,使得能够基于重叠比例确定与第一边界框标识同一个痘痘区域的目标其他边界框,且考虑到,重叠比例越大,则表示与第一边界框是标识同一个痘痘区域的概率就越大,因此,设置第一预设比例值,使得能够确定与第一边界框是标识同一个痘痘区域的目标其他边界框。

在得到重叠框集合之后,将根据重叠框集合中的目标其他边界框与第一边界框的重叠比例,对目标其他边界框的检测值进行更新,更新的方式如下:

当目标其他边界框与第一边界框的重叠比例大于或等于第一预设比例值,且小于第二预设比例值时,将目标其他边界框的预测值的对数值与预设标准值的和作为目标其他边界框更新后的预测值;

当目标其他边界框与第一边界框的重叠比例大于或等于第二预设比例值时,计算目标其他边界框与第一边界框的重叠比例与预设标准值之间的差值的绝对值,将绝对值与目标其他边界框的预测值的乘积作为目标其他边界框更新后的预测值。

在本发明实施例中,通过上述的方式能够有效实现对目标其他边界框的检测值的更新,且为了更好地理解上述的更新方法,可以参阅如下的公式,为一种可行的更新其他边界框的检测值的公式:

其中,bi表示目标其他边界框,M

需要说明的是,对于重叠框集合中的目标其他边界框,其在与第一边界框的重叠比例越大时,则说明其与第一边界框标识同一个痘痘区域的概率也越大,此时,该目标边界框也可能是其他与上述痘痘区域相邻的另一个痘痘区域的边界框,为了避免错选该目标边界框,则通过上述方法调整目标其他边界框的检测值,以降低错选目标边界框的概率。

在完成对重叠框集合中的所有其他目标边界框的检测值的更新之后,即可得到更新后的重叠框集合,可确定该重叠框集合中具有最大检测值的边界框为目标边界框,并从痘痘检测集合中提取出该目标边界框,且添加至目标边界框集合中。且将提取后的痘痘检测集合作为第i+1个痘痘检测集合,且令i=i+1,返回执行上述的步骤,直至确定的重叠框集合中目标其他边界框的数量为零。

可以理解的是,上述的对检测值的更新,是对重叠框集合中的边界框的检测值进行更新,并未对痘痘检测集合中的边界框的检测值进行更新,痘痘检测集合中的各个边界框的检测值一直都是初始的痘痘检测集合中的边界框的检测值,且第i+1个痘痘检测集合相对于第i个痘痘检测集合,其区别在于少了一个目标边界框,其他的边界框仍然保留,且检测值不变。

可以理解的是,上述重叠框集合中目标其他边界框的数量为零,则表示该重叠框集合中仅包含第一边界框,且在痘痘检测集合中不存在与该第一边界框的重叠比例大于或等于第一预设比例值的其他边界框,此时,考虑到该第一边界框大概率为零散的边界框,则不需要再使用该重叠框集合确定目标边界框,且进一步的,可以表示目标边界框的提取已经结束。

在本发明实施例中,通过上述方式,使得可以对重叠框集合中的目标其他边界框的检测值进行更新再选择目标边界框,避免错选目标边界框带来的痘痘漏检的情况,且能够通过选择目标边界框的方式确定痘痘检测结果,提高痘痘检测的准确性。

进一步地,上述的痘痘检测模型可以包括yolov3模型及三个空间金字塔池化层,三个空间金字塔池化层分别连接至yolov3模型的三个输出分支的末端。其中,yolov3模型是yolo系统目标检测算法中的第三版,适用于针对小目标的检测,尤其适用于针对痘痘这类小目标的检测,精度高。在yolov3模型中,存在三个输出分支,每一个输出分支都将输出特征图,且不同输出分支输出的特征图的尺寸大小不同,在本发明实施例中,通过在yolov3模型的三个输出分支的末端分别连接空间金字塔池化(Spatial Pyramid Pooling,SPP)层,使得能够利用SPP层融合不同感受野的特征信息,提升针对痘痘的检测能力。

在一种可行的实现方式中,上述yolov3模型可以使用DBM模块,替换原有的DBL模块,其中,DBL模块是代码中的Darknetconv2d_BN_Leaky,是yolov3模型的基本组件,就是卷积层+BN层+Leaky relu,其中Leaky relu表示激活函数,而DBM模型与DBL模块的区别在于使用的激活函数,DBM模块中使用的激活函数为Mish激活函数,使用Mish激活函数相对于Leaky relu激活函数,能够有效的提高检测的准确性。

为了更好地理解本发明实施例中的技术方案,请参阅图4,为本发明实施例中痘痘检测模型的一种可行实现方式的结构示意图,其中,人脸图像表示待检测痘痘的人脸图像,SPP表示设置在yolov3模型的三个输出分支的末端的SPP层,SPP层与人脸图像之间的结构表示yolov3模型,y1、y2、y3表示最终输出的特征图。

其中,DBM即为上述的DBM模块,Up_S表示上采样模块,Conv表示卷积层,Res_1、Res_2、Res_4、Res_8表示特征提取模块。

在一种可行的实现方式中,上述步骤202具体可以为:将上述人脸图像输入痘痘检测模型,获得该痘痘检测模型输出的目标特征图,根据该目标特征图及预设的锚点框,得到人脸图像的痘痘检测集合。

其中,上述的痘痘检测模型是利用痘痘样本数据集训练得到的,该痘痘样本数据集包含痘痘样本图像,及痘痘样本图像已标注的表示痘痘所在位置的实际边界框。上述的锚点框是基于痘痘样本数据集得到的,具体可以是根据预设的倍数值、基于痘痘样本数据集中实际边界框确定的实际边界框长度的第一最大值和第一最小值,及宽度的第二最大值和第二最小值得到。且需要说明的是,利用痘痘检测模型检测痘痘使用到的锚点框,与对该痘痘检测模型进行训练使用到的锚点框是相同的锚点框。需要说明的是,训练得到痘痘检测模型的具体方法将在后续实施例中详细描述,具体可以参阅后续的实施例,此处不做赘述。

在本发明实施例中,在使用痘痘检测模型检测痘痘时,通过使用与痘痘检测模型的训练过程中相同的锚点框,确定痘痘检测集合,相同的锚点框能够增强对痘痘检测的准确性,避免使用不同的锚点框带来的误差问题。

可以理解的是,上述描述的是利用痘痘检测模型进行痘痘检测的方法,下面将描述上述方法中使用到的痘痘检测模型的训练方法,请参阅图5,为本发明实施例中痘痘检测模型训练方法的流程示意图,包括:

步骤501、获取痘痘样本数据集,痘痘样本数据集包含痘痘样本图像、痘痘样本图像已标注的表示痘痘所在位置的实际边界框;

步骤502、将痘痘样本图像输入痘痘检测模型,获取痘痘样本图像的预测集合,预测集合包含预测边界框、及预测边界框的预测值,预测值用于指示预测边界框内存在痘痘的可能性;

步骤503、根据预测集合及痘痘样本图像的实际边界框确定痘痘检测模型是否收敛;

步骤503、若收敛,则确定收敛时的痘痘检测模型为训练完成的痘痘检测模型;

步骤504、若不收敛,则返回执行将痘痘样本图像输入痘痘检测模型的步骤。

在本发明实施中,在收敛时,可以将确定的训练完成的痘痘检测模型应用在上述的痘痘检测方法中,以提高对痘痘检测的准确性。

在一种可行的实现方式中,图5所示实施例中的痘痘检测模块可以是上述痘痘检测方法相关实施例中描述的痘痘检测模型,此处不做赘述。

需要说明的是,在本发明实施例中,痘痘样本数据集中包括痘痘样本图像,痘痘样本图像的实际边界框,该实际边界框可以是人工标注的边界框,且其准确性高,此外,痘痘样本图像的尺寸大小相同,且符合对痘痘检测模型进行训练时对样本图像的要求。

在本发明实施例中,在执行上述的步骤502之前,还可以对痘痘样本数据集中的数据进行增强处理,以实现样本数据的扩充。

具体的,上述增强处理包括:

步骤a1:从痘痘样本数据集中获取预设数量的图像大小相同的目标痘痘样本图像,将目标痘痘样本图像进行拼接,得到拼接图像,目标痘痘样本图像为痘痘样本数据集中的任意图像;

步骤a2:对拼接图像进行图像尺寸缩小操作,直至拼接图像的图像尺寸大小与目标痘痘样本图像一致,得到目标图像;

步骤a3:根据目标痘痘样本图像的实际边界框,确定目标图像的实际边界框,且将目标图像作为痘痘样本图像添加至痘痘样本数据集。

在本发明实施例中,上述预设数量可以是4张、16张等等,且由于痘痘样本数据集中的痘痘样本图像的尺寸都相同,因此,可以随机获取预设数量的目标痘痘样本图像,并将该预设数量的目标痘痘样本图像进行拼接,得到拼接图像。且进一步地,为了避免减少痘痘样本图像的数量,可以是复制得到目标痘痘样本图像。

由于对图像进行拼接的方式,会增大图像的尺寸,使得其与痘痘样本数据集中的痘痘样本图像的不同,因此,需要对拼接图像进行图像尺寸缩小操作,直至拼接图像的尺寸大小与目标痘痘样本一致,以得到目标图像。同时,考虑到用于拼接的各个目标痘痘样本图像中均包含实际边界框,且在经历拼接及缩小尺寸的操作之后,实际边界框在目标图像中的位置,与该实际边界框在原来的目标痘痘样本图像中的位置已经不同,此时,需要根据目标痘痘样本图像的实际边界框,确定目标图像的实际边界框,且将目标图像作为痘痘样本图像添加至痘痘样本数据集中。

在一种可行的实现方式中,可以按照如下方式得到目标图像的实际边界框,具体的,在利用预设数量的目标痘痘样本图像拼接得到拼接图像之后,可以基于目标痘痘样本图像在拼接图像中的位置,对该目标痘痘样本图像的实际边界框在拼接图像中位置信息进行更新,使得能够确定拼接够的拼接图像中,实际边界框的位置信息,进一步地,在将拼接图像进行尺寸缩小,得到目标图像之后,按照缩小的参数对拼接图像中的实际边界框的位置信息进行处理,得到目标图像中的实际边界框的位置信息。

为了更好地理解,以目标痘痘样本图像包含ABCD四张图像为例,可以先按照从上到下的顺序,将其拼接成拼接图像,该拼接图像的左上角为A图像,右上角为B图像,左下角为C图像,右下角为D图像,该拼接图像在标准二维坐标系中时,左下角的C图像的左下角顶点作为二维坐标系的原点,此时,C图像的位置信息不需要更新,ABD图像的位置信息需要更新,对于A图像,可以将A图像中的实际边界框的宽度加上A图像的宽度,以得到A图像中的实际边界框更新后的位置信息,对于B图像,可以将B图像中的实际边界框的长度加上A图像的长度,宽度加上B图像的宽度,以得到B图像中的实际边界框更新后的位置信息,对于D图像,则可以将D图像中的实际边界框的长度加上A图像的长度,以得到D图像中的实际边界框的位置信息,通过上述方式,能够有效的确定拼接图像中的实际边界框的位置信息。且多缩小拼接图像时,是按照预设尺寸进行缩小,则表示拼接图像中的实际边界框在目标图像中的尺寸也需要相应的缩小,通过对边界框的位置信息进行缩小的方式,使得能够有效确定目标图像中的实际边界框的位置信息。

在本发明实施例中,通过将多张目标痘痘样本图像进行拼接、缩小及确定实际边界框的方式,使得得到的目标图像中有更多的实际边界框,利用该目标图像对痘痘检测模型进行训练,有助于提升训练得到的痘痘检测模型对密集痘痘的检测能力,提升对痘痘检测的准确性。

在本发明实施中,还可以进一步地根据痘痘标注的特性,设置锚点框的大小,使得能够设置更加符合痘痘检测场景下的锚点框。

具体的,可以在执行步骤502之前,通过以下的方式设置锚点框,包括:

步骤b1:获取痘痘样本数据集中实际边界框的长度的第一最大值及第一最小最,及实际边界框的宽度的第二最大值和第二最小值;

步骤b2:根据第一最大值、第一最小值、第二最大值、第二最小值及预设的倍数值,设置与倍数值对应的锚点框。

在本发明实施例中,可以统计痘痘样本数据集中所有痘痘样本图像的实际边界框的长度值及宽度值,得到长度值集合和宽度值集合,并从该长度值集合中选取长度的第一最大值及第一最小值,并从宽度值集合中选取宽度的第二最大值和第二最小值,使得能够根据该第一最大值、第一最小值、第二最大值、第二最小值及预设的倍数值,设置与倍数值对应的锚点框。

例如,若第一最大值为Lmax,第一最小值为Lmin,第二最大值为Wmax,第二最小值为Wmin,且预设的倍数值为8倍、16倍、32倍,则可以确定锚点框包括:(Lmax/8,Wmax/8)、(Lmax/16,Wmax/16)、(Lmax/32,Wmax/32)、(Lmin/8,Wmin/8)、(Lmin/16,Wmin/16)、(Lmin/32,Wmin/32)、(Lmax/32,Wmin/32)、(Lmax/16,Wmin/16)和(Lmin/8,Wmax/8)。

且通过上述图4所示的痘痘检测模型的yolov3模型将输出52*52、26*26和13*13三个不同尺寸的特征图,其中,痘痘更多是集中在52*52的特征图中,13*13的特征图则是表示高度语义特征,因此,痘痘检测模型中的SPP层则将融合不同感受野的特征,提升痘痘检测模型对不同特征的学习。

可以理解的是,对于痘痘检测模型输出的特征图,可以根据上述的锚点框和特征图,生成预测边界框及预测边界框的预测值,得到痘痘样本图像的预测集合。

其中,对于痘痘检测模型输出的特征图中的任意一个像素点,都需要将其映射至痘痘样本图像中,并基于上述的锚点框,预测该像素点在痘痘样本图像中的预测边界框及该预测边界框的检测值,且对于每一个像素点,都可以得到三个预测边界框。

可以理解的是,在痘痘检测方法中,也可以使用上述的锚点框得到痘痘检测集合。

在本发明实施例中,通过在痘痘检测模型中设置SPP层的方式,使得能够融合不同尺寸的特征图,增强对不同特征的学习,由于第一最大值、第二最大值、第一最小值及第二最小值能够体现痘痘的尺寸大小特征,因此,通过基于实际边界框的第一最大值、第二最大值、第一最小值及第二最小值设置锚点框,使得设置的锚点框与痘痘的尺寸大小更加匹配,以进一步地提高对痘痘检测的准确性,避免设置的锚点框尺寸过大或者过小带来的痘痘检测准确性低的问题。此外,还可以通过拼接、缩小及调整实际边界框的方式进行数据增强,使得能够设置更多的用于训练的痘痘样本图像。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的程序可存储于一非易失性计算机可读取存储介质中,该程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用,均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限,RAM以多种形式可得,诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请专利的保护范围应以所附权利要求为准。

相关技术
  • 训练图像识别模型的方法、图像识别方法和图像识别设备
  • 图像识别方法、装置、图像识别设备及存储介质
技术分类

06120112185919