人像聚类方法、设备及存储介质

技术领域

本申请属于视频分析技术领域，具体涉及人像聚类方法、设备及存储介质。

背景技术

随着相关技术的发展，人脸聚类得到了广泛应用。例如手机相册，通过人脸聚类的方法可以把同一人的人脸图像聚到一个组里面；再例如在公安行业破案时，需要根据未确认身份的嫌疑人图像在海量人像库中进行检索，基于此需要建立一人一档的信息库，该信息库中同一人的图像归属于同一类别。

现有相关技术中可以采用人脸聚类的方式对图像进行聚类，然而现有的人脸聚类方式精确度低，从而无法归类的图像数据较多，导致聚类方法的召回率较低。

发明内容

本申请提供人像聚类方法、设备及存储介质，以解决聚类方法的召回率较低的技术问题。

为解决上述技术问题，本申请采用的一个技术方案是：一种人像聚类方法，包括：获取图像序列，所述图像序列包括多帧图像；提取所述图像中的人像图片；提取所述人像图片中的人像特征，对不同所述人像特征分别进行聚类处理，以分别获得不同所述人像特征的聚类结果，所述聚类结果包括同一类特征、疑似同一类特征和不同类特征；根据不同所述人像特征的关联性，将不同所述人像特征的所述聚类结果进行融合，获得同一类人像、疑似同一类人像和不同类人像；对所述疑似同一类人像中的疑似目标的不同所述人像特征的相似度重新加权处理，获得所述疑似目标的综合相似度；利用所述综合相似度与预设阈值比较，将所述疑似同一类人像归类于所述同一类人像或所述不同类人像。

根据本申请一实施方式，所述人像图片包括人脸图片、人体图片和步态序列图片，所述人脸图片包括人脸编码，所述人体图片包括人脸人体关联编码，所述步态序列图片包括人体步态关联编码。

根据本申请一实施方式，所述提取所述人像图片中的人像特征，对不同所述人像特征分别进行聚类处理，以分别获得不同所述人像特征的聚类结果，包括：提取所述人脸图片中的人脸特征，对所述人脸特征进行聚类处理，获得人脸聚类结果，所述人脸聚类结果包括同一类人脸、疑似同一类人脸和不同类人脸；提取所述人体图片中的人体特征，对所述人体特征进行聚类处理，获得人体聚类结果，所述人体聚类结果包括同一类人体、疑似同一类人体和不同类人体。

根据本申请一实施方式，所述根据不同所述人像特征的关联性，将不同所述人像特征的所述聚类结果进行融合，获得同一类人像、疑似同一类人像和不同类人像，包括：根据所述人脸人体关联编码和所述人体步态关联编码，将所述人脸聚类结果和所述人体聚类结果融合，获得同一类人像、疑似同一类人像和不同类人像。

根据本申请一实施方式，所述对所述疑似同一类人像中的疑似目标的不同所述人像特征的相似度重新加权处理，获得所述疑似目标的综合相似度，包括：将所述疑似同一类人像中的疑似目标的人脸初始相似度乘以人脸权重值，获得人脸相似度；将所述疑似目标的人体初始相似度乘以人体权重值，获得人体相似度；将所述疑似目标的步态初始相似度乘以步态权重值，获得步态相似度；将所述人脸相似度、所述人体相似度和所述步态相似度相加获得所述综合相似度；其中，所述人脸权重值、所述人体权重值和所述步态权重值之和为一。

根据本申请一实施方式，所述人脸权重值大于所述步态权重值，所述步态权重值大于所述人体权重值。

根据本申请一实施方式，所述利用所述综合相似度与预设阈值比较，将所述疑似同一类人像归类于所述同一类人像或所述不同类人像，包括：判断所述综合相似度是否大于等于所述预设阈值，所述预设阈值为属于所述同一类人像的最小相似度；若所述综合相似度大于等于所述预设阈值，所述疑似同一类人像属于所述同一类人像；若所述综合相似度小于所述预设阈值，所述疑似同一类人像属于所述不同类人像。

根据本申请一实施方式，所述方法包括：将所述同一类人像存储于档案数据库，将所述不同类人像存储于人像数据库。

为解决上述技术问题，本申请采用的又一个技术方案是：一种电子设备，包括相互耦接的存储器和处理器，所述处理器用于执行所述存储器中存储的程序指令，以实现上述任一方法。

为解决上述技术问题，本申请采用的又一个技术方案是：一种计算机可读存储介质，其上存储有程序数据，所述程序数据被处理器执行时实现上述任一方法。

本申请的有益效果是：区别于现有技术，本申请通过对疑似同一类人像的疑似目标进行二次核验，从而将疑似同一类人像进一步精确分类至同一类人像或不同类人像，消除无法进行准确分类的中间地段的数据，有效增大聚类的召回率。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，其中：

图1是本申请的人像聚类方法一实施例的流程示意图；

图2是本申请的人像聚类装置一实施例的框架示意图；

图3是本申请的电子设备一实施例的框架示意图；

图4是本申请计算机可读存储介质一实施例的框架示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

请参阅图1，本申请一实施例提供了一种人像聚类方法，包括如下步骤：

S101：获取图像序列，图像序列包括多帧图像。

获取图像序列，图像序列为摄像设备拍摄获得的多帧图像。其中，图像序列可以包括连续的多帧图像，或者图像序列还可以是不连续的多帧图像。基于连续的多帧图像，更利于获取并形成目标的活动轨迹。

摄像设备包括普通摄像设备或者智能摄像设备，智能摄像设备可以进行图像处理，普通摄像设备还需结合图像处理模块进行图像处理，例如视频流处理模块。

S102：提取图像中的人像图片。

提取图像中的人像图片。人像图片包括人脸图片、人体图片和步态序列图片。需要说明的是，每张图像中可能包含人脸图片或人体图片，也可能同时包含人脸图片和人体图片，或者都不包含人脸图片和人体图片。步态序列图片为从多张图像中获取的人像步态序列，优先地，多张图像为连续的图像。

人脸图片包括人脸编码，即人脸跟踪Id；人体图片包括人脸人体关联编码，即人脸人体关联Id；步态序列图片包括人体步态关联编码，即人体步态特征关联id。需要说明的是，若人体图片和人脸图片属于同一人，那么人体图片会根据人脸编码，生成与人脸图片相同或者可关联到的人脸人体关联编码；若人体图片没有找到属于同一人的人脸图片，例如没有出现在同一图像中，那么人体图片可有自己的独立编码，以在进一步匹配到属于同一人的人脸图片后，再获得人脸人体关联编码。同样地，若步态序列图片找到可关联到的人体图片，那么步态序列图片会根据人体图片的编码，生成与人体图片相同或者可关联到的人体步态关联编码；若步态序列图片未找到可关联到的人体图片，那么步态序列图片可有自己的独立编码，以在进一步匹配到属于同一人的人体图片后，再获得人体步态关联编码。

需要说明的是，若摄像设备为智能摄像设备，可直接提取图像中的人像图片。若摄像设备为普通摄像设备，还需将图像序列输入图像处理模块进行图像处理，例如视频流处理模块，从而提取图像中的人像图片。

S103：提取人像图片中的人像特征，对不同人像特征分别进行聚类处理，以分别获得不同人像特征的聚类结果。

提取人像图片中的人像特征，对不同人像特征分别进行聚类处理，以获得不同人像特征的聚类结果，聚类结果包括同一类特征、疑似同一类特征和不同类特征。

具体包括：

提取人脸图片中的人脸特征，对人脸特征进行聚类处理，获得人脸聚类结果，人脸聚类结果包括同一类人脸、疑似同一类人脸和不同类人脸。同一类人脸为属于同一人的人脸图片的集合；疑似同一类人脸为相似度达到预定范围，疑似属于同一人的人脸图片的集合；不同类人脸为相似度低于预定范围，确定不属于同一人的人脸图片的集合。

疑似同一类人脸所疑似的疑似目标可能为已确定为同一类人脸中的目标，即疑似同一类人脸与同一类人脸疑似。疑似同一类人脸所疑似的疑似目标也可能不属于已确定为同一类人脸中的目标。

提取人体图片中的人体特征，对人体特征进行聚类处理，获得人体聚类结果，人体聚类结果包括同一类人体、疑似同一类人体和不同类人体。同一类人体为属于同一人的人体图片的集合；疑似同一类人体为相似度达到预定范围，疑似属于同一人的人体图片的集合；不同类人体为相似度低于预定范围，确定不属于同一人的人体图片的集合。

疑似同一类人体所疑似的疑似目标可能为已确定为同一类人体中的目标，即疑似同一类人体与同一类人体疑似。疑似同一类人体所疑似的疑似目标也可能不属于已确定为同一类人体中的目标。

S104：根据不同人像特征的关联性，将不同人像特征的聚类结果进行融合，获得同一类人像、疑似同一类人像和不同类人像。

人像特征的关联性包括人脸人体关联性和人体步态关联性，并已通过人脸人体关联编码和人体步态关联编码表示。将人脸聚类结果和人体聚类结果通过人脸人体关联编码进行融合，将具有人脸人体关联编码的同一类人脸和同一类人体融合，获得同一类人像。将不同类人脸和不同类人体融合，获得不同类人像。

需要说明的是，疑似同一类人脸和疑似同一类人体可以暂时归类于疑似同一类人像；或者也可以认为疑似同一类人像是一个虚拟的集合，疑似同一类人脸和疑似同一类人体并未实际归类于一个疑似同一类人像中，而是通过后续运算后直接归类于同一类人像或不同类人像中去。疑似同一类人脸和疑似同一类人体最终会归类于同一类人像或不同类人像中。

除此之外，若同一类人脸没有匹配到对应的同一类人体，同一类人像直接归类于同一类人像中。同样地，若同一类人体没有匹配到对应的同一类人脸，同一类人体也直接归类于同一类人像中。

S105：对疑似同一类人像中的疑似目标的不同人像特征的相似度重新加权处理，获得疑似目标的综合相似度。

对疑似同一类人像中的疑似目标的不同人像特征的相似度重新加权处理，获得疑似目标的综合相似度包括：

将疑似同一类人像中的疑似目标的人脸初始相似度(Fsimi

将疑似目标的人体初始相似度(Psimi

将疑似目标的步态初始相似度(Gsimi

将人脸相似度、人体相似度和步态相似度相加获得综合相似度(Simi

具体计算公式如下：

Simi

需要说明的是，若疑似同一类人像中的疑似目标没有对应的步态特征，则步态相似度置为零。各人像特征的初始相似度大于等于第一预定值，小于第二预定值。例如simi

除此之外，P

S106：利用综合相似度与预设阈值比较，将疑似同一类人像归类于同一类人像或不同类人像。

利用综合相似度与预设阈值比较，将疑似同一类人像归类于同一类人像或不同类人像包括：

判断综合相似度是否大于等于预设阈值，预设阈值为属于同一类人像的最小相似度，预设阈值为经验值，可根据实验进行调整，此处不作限制；

若综合相似度大于等于预设阈值，疑似同一类人像属于同一类人像；

若综合相似度小于预设阈值，疑似同一类人像属于不同类人像。

需要说明的是，若疑似同一类人像所疑似的疑似目标为已确定为同一类人像中的目标，则综合相似度大于等于预设阈值时，将疑似同一类人像归类于对应的同一类人像中。若疑似同一类人像所疑似的疑似目标也不属于已确定为同一类人像中的目标，则综合相似度大于等于预设阈值时，将疑似同一类人像归类为独立的同一类人像。

通过对疑似同一类人像的疑似目标进行二次核验，从而将疑似同一类人像进一步精确分类至同一类人像或不同类人像，消除无法进行准确分类的中间地段的数据，有效增大聚类的召回率。

S107：将同一类人像存储于档案数据库，将不同类人像存储于人像数据库。

在将疑似同一类人像精确分类至同一类人像或不同类人像中后，将同一类人像存储于档案数据库，用于后续检索等使用；不同类人像存储于人像数据库，以备后面进行回滚处理，即有更多图像资源后，可以对不同类人像进行进一步精确分类。

请参阅图2，图2是本申请的人像聚类装置一实施例的框架示意图。

本申请又一实施例提供了一种人像聚类装置，包括获取模块21、处理模块22。获取模块21获取图像序列，图像序列包括多帧图像。处理模块22提取图像中的人像图片；处理模块22提取人像图片中的人像特征，对不同人像特征分别进行聚类处理，以分别获得不同人像特征的聚类结果，聚类结果包括同一类特征、疑似同一类特征和不同类特征；处理模块22根据不同人像特征的关联性，将不同人像特征的聚类结果进行融合，获得同一类人像、疑似同一类人像和不同类人像；处理模块22对疑似同一类人像中的疑似目标的不同人像特征的相似度重新加权处理，获得疑似目标的综合相似度；处理模块22利用综合相似度与预设阈值比较，将疑似同一类人像归类于同一类人像或不同类人像。

本装置通过对疑似同一类人像的疑似目标进行二次核验，从而将疑似同一类人像进一步精确分类至同一类人像或不同类人像，消除无法进行准确分类的中间地段的数据，有效增大聚类的召回率。

请参阅图3，图3是本申请的电子设备一实施例的框架示意图。

本申请又一实施例提供了一种电子设备30，包括相互耦接的存储器31和处理器32，处理器32用于执行存储器31中存储的程序指令，以实现上述任一实施例的人像聚类方法。在一个具体的实施场景中，电子设备30可以包括但不限于：微型计算机、服务器，此外，电子设备30还可以包括笔记本电脑、平板电脑等移动设备，在此不做限定。

具体而言，处理器32用于控制其自身以及存储器31以实现上述任一实施例的人像聚类方法中的步骤。处理器32还可以称为CPU(Central Processing Unit，中央处理单元)。处理器32可能是一种集成电路芯片，具有信号的处理能力。处理器32还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(ApplicationSpecific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable GateArray,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器32可以由集成电路芯片共同实现。

请参阅图4，图4是本申请计算机可读存储介质一实施例的框架示意图。

本申请又一实施例提供了一种计算机可读存储介质40，其上存储有程序数据41，程序数据41被处理器执行时实现上述任一实施例的人像聚类方法。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施方式方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质40中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个可读存储介质40中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的可读存储介质40包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本申请的实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。