档案管理方法、装置、设备及计算机可读存储介质
文献发布时间:2023-06-19 11:35:49
技术领域
本发明涉及档案管理技术领域,特别涉及一种档案管理方法、装置、设备及计算机可读存储介质。
背景技术
随着社会的进步,人员流通更加普遍,加大了人员管理的难度。基于此,一些部门或者系统通过建立人员档案,对人员进行管理。但在建档和归档的过程中,事件数据(即抓拍人脸数据特征值)只和档案封面图像(即每个档案都会有一个封面特征值,该特征值代表这个人)进行1:1的比对或多封面归档则采用1:N的方式进行归档,由于抓拍人脸的角度、光线、是否戴配饰等原因导致事件数据归档不成功,进而对同一个人进行重复建档,造成一人多档,增加了档案数据的管理工作量。为减少一人多档以及便于档案数据的查询,在对档案数据进行管理时,需要查找出众多档案数据中的相似档案,但目前普遍通过封面图像之间的相似度来查找相似档案,而由于抓拍人脸的角度、光线、是否戴配饰等原因,造成查找相似档案的准确率低。
发明内容
本发明提供了一种档案管理方法、装置、设备及计算机可读存储介质,其目的是为了解决查找相似档案的准确率低的问题。
为了达到上述目的,第一方面,本发明的实施例提供了一种档案管理方法,该方法包括:
分别将多个档案数据中每两个档案数据作为一个档案数据组,计算所述档案数据组中的档案封面图像之间的相似度值,将所述相似度值作为所述档案数据组的第一相似度;每个所述档案数据包括档案封面图像和档案特征事件;
根据获取到的第一相似度,从多个档案数据组中确定目标档案数据组;
根据确定出的目标档案数据组所包含的档案数据的档案特征事件,确定所述多个档案数据中的相似档案数据。
第二方面,本发明的实施例还提供了一种档案管理装置,该装置包括:
获取模块,用于分别将多个档案数据中每两个档案数据作为一个档案数据组,计算所述档案数据组中的档案封面图像之间的相似度值,将所述相似度值作为所述档案数据组的第一相似度;每个所述档案数据包括档案封面图像和档案特征事件;
第一确定模块,用于根据获取到的第一相似度,从多个档案数据组中确定目标档案数据组;
第二确定模块,用于根据确定出的目标档案数据组所包含的档案数据的档案特征事件,确定所述多个档案数据中的相似档案数据。
第三方面,本发明的实施例还提供了一种档案管理设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述的档案管理方法的步骤。
第四方面,本发明的实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述的档案管理方法的步骤。
本发明的上述方案至少有如下的有益效果:
在本发明的实施例中,通过将多个档案数据中每两个档案数据作为一个档案数据组,计算每个档案数据组中的档案封面图像之间的相似度值,并将该相似度值作为该档案数据组的第一相似度,然后根据获取到的第一相似度,从多个档案数据组中确定目标档案数据组;最终根据目标档案数据组所包含的档案数据的档案特征事件,确定多个档案数据中的相似档案数据,即通过各档案数据中的档案封面图像和档案特征事件完成相似档案的查找,这与仅通过档案封面图像之间的相似度查找相似档案的方式相比,能大大提高查找相似档案的准确率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本发明实施例的档案管理方法的流程图;
图2是本发明实施例的分布式并行计算的示意图;
图3是本发明实施例的实例中档案特征事件的第三相似度的结果示意图;
图4是本发明实施例的图3中各第三相似度排序后的示意图;
图5是本发明实施例的实例中提示信息的示意图;
图6是本发明实施例的档案管理装置的结构示意图;
图7是本发明实施例的档案管理设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
需要说明的是,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中,“多个”的含义是两个或两个以上,除非另有明确具体的限定。
如图1所示,本发明的实施例提供了一种档案管理方法,该方法包括:
步骤11,分别将多个档案数据中每两个档案数据作为一个档案数据组,计算所述档案数据组中的档案封面图像之间的相似度值,将所述相似度值作为所述档案数据组的第一相似度。
其中,上述档案数据为人员的档案数据,该档案数据包括档案封面图像和档案特征事件。其中,档案封面图像可以为人员的一人脸图像(该人脸图像的形态可以为低头、仰头、侧脸等),档案特征事件可以包括该人员在多种不同状态时的人脸图像,如戴眼镜时的人脸图像、不戴眼镜时的人脸图像、戴帽子时的人脸图像、不戴帽子时的人脸图像、仰头时的人脸图像、低头时的人脸图像、侧脸时的人脸图像以及大笑时的人脸图像等。可以理解的是,为提高获取第一相似度的效率,可通过计算档案封面图像的特征值的相似度的方式得到该第一相似度。即,可分别针对每个档案数据组内的两个档案数据,提取该两个档案数据的档案封面图像的特征值,然后计算提取到的两个特征值的相似度,最终将该相似度作为该档案数据组的第一相似度。
其中,针对档案封面图像的特征值的提取,具体可通过图像特征提取算法,提取档案数据的档案封面图像的特征值,且该特征值可具体为人脸特征值。
作为一个优选的示例,为进一步提高获取第一相似度的效率,上述特征值可以为高维度图,如512*2*2维度的特征图。当然至于特征值之间的相似度可通过目前通用的相似度计算公式快速得到。
需要说明的是,通常上述档案数据的数量庞大,为提高获取上述第一相似度的效率,以提高查找相似档案的效率,在本发明的实施例中,可通过多个相似度计算单元,分别将多个档案数据中每两个档案数据作为一个档案数据组,计算每个档案数据组中的档案封面图像之间的相似度值,将该相似度值作为该档案数据组的第一相似度。具体的,在本发明的实施例中,可通过多个相似度计算单元分布式并行计算多个档案数据组的第一相似度。其中,上述相似度计算单元可以具体为图形处理器(GPU,Graphics Processing Unit)。在此结合图2对分布式并行计算进行说明,假设有n台计算设备,那么可将上述多个档案数据平均分成n份,并行加载到n台计算设备的GPU中(即每台GPU中加载一份档案数据),同时将档案数据池21内的多个档案数据依次加载到缓冲队列22中;然后每次从缓冲队列22中获取一个档案数据,并把获取的档案数据分别载入n台计算设备中,分别和n台计算设备的GPU里的档案数据的档案封面图像进行相似度计算。
步骤12,根据获取到的第一相似度,从多个档案数据组中确定目标档案数据组。
其中,在本发明的实施例中,通过步骤12是为了将初步认为是相似档案数据的两个档案数据作为一个目标档案数据组,以便后续进一步确定二者是否为相似档案数据。
具体的,在本发明的实施例中,上述步骤12的具体实现方式可以为:判断获取到的第一相似度是否大于第一预设阈值,当获取到的第一相似度大于所述第一预设阈值时,将该第一相似度对应的档案数据组作为目标档案数据组。
需要说明的是,当获取到的第一相似度大于所述第一预设阈值时,认为该第一相似度对应的两个档案数据可能是相似档案数据,否则,认为该第一相似度对应的两个档案数据不可能是相似档案数据。可以理解的是,在本发明的实施例中,上述第一预设阈值可根据具体情况进行设定,如设定为0.7。当然可以理解的是,为提到目标档案数据组的确定效率,上述步骤12也可通过分布式的方式实现,即,在步骤11中各相似度计算单元在计算得到第一相似度之后,直接对第一相似度进行判断,若计算得到的第一相似度大于第一预设阈值,则将该第一相似度对应的档案数据组作为目标档案数据组。
步骤13,根据确定出的目标档案数据组所包含的档案数据的档案特征事件,确定所述多个档案数据中的相似档案数据。
其中,在本发明的实施例中,在从多个档案数据组中确定出目标档案数据组后,需分别针对每一目标档案数据组,根据该目标档案数据组所包含的两个档案数据的档案特征事件,确定该目标档案数据组所包含的两个档案数据的相似度,以便确定出多个档案数据中的相似档案数据。
值得一提的是,在本发明的实施例中,通过各档案数据中的档案封面图像和档案特征事件完成相似档案的查找,可以对不同档案数据之间的相似度进行精细计算,并根据计算后的相似度对档案数据进行相似档案确定,这与仅通过档案封面图像之间的相似度查找相似档案的方式相比,大大提高了查找相似档案的准确率。
接下来,对上述步骤13的具体实现方式进行说明。
具体的,上述步骤13的具体实现方式包括如下步骤:
步骤一,分别针对确定出的每一目标档案数据组,根据所述目标档案数据组所包含的两个档案数据的档案特征事件,获取所述目标档案数据组所包含的两个档案数据的第二相似度,得到多个第二相似度。即,通过根据每个目标档案数据组所包含的两个档案数据的档案特征事件,获取该目标档案数据组所包含的两个档案数据的第二相似度。
其中,在本发明的实施例中,上述步骤一中获取每个目标档案数据组所包含的两个档案数据的第二相似度(即根据所述目标档案数据组所包含的两个档案数据的档案特征事件,获取所述目标档案数据组所包含的两个档案数据的第二相似度)的具体实现方式包括如下步骤:
第一步,分别从所述目标档案数据组所包含的两个档案数据的档案特征事件中提取多个预设类别的档案特征事件。即,从目标档案数据组的每个档案数据的档案特征事件中提取多个预设类别的档案特征事件。
需要说明的是,为提高查找相似档案的准确率,上述多个预设类别的档案特征事件为具有代表性的高质量事件,如戴眼镜时的人脸图像、不戴眼镜时的人脸图像、戴帽子时的人脸图像、不戴帽子时的人脸图像、仰头时的人脸图像、低头时的人脸图像以及侧脸时的人脸图像等。且可以理解的是,上述预设类别的数量和形式可根据实际情况进行设定。
第二步,分别针对每一预设类别的档案特征事件,获取从所述两个档案数据中提取到的该预设类别的档案特征事件的特征值,计算获取到的两个特征值的相似度,并将该相似度作为所述两个档案数据中该预设类别的档案特征事件的第三相似度,得到多个第三相似度。
可以理解的是,为提高计算第三相似度的效率,可通过计算档案特征事件的特征值的相似度的方式得到第三相似度。即,针对每一预设类别的档案特征事件,可获取从所述两个档案数据中提取到的该预设类别的档案特征事件的特征值,然后计算获取到的两个特征值的相似度,最终将该相似度作为所述两个档案数据中该预设类别的档案特征事件的第三相似度。
其中,针对档案特征事件的特征值的获取,具体可通过图像特征提取算法,提取档案数据的档案封面图像的特征值,且该特征值可具体为人脸特征值。
作为一个优选的示例,为进一步提高获取第三相似度的效率,上述特征值可以为高维度图,如512*2*2维度的特征图。当然至于特征值之间的相似度可通过目前通用的相似度计算公式快速得到。
第三步,按照从大至小的顺序,从所述多个第三相似度中选择预设数量的第三相似度。即,按照相似度数值从大至小的顺序,从多个第三相似度中选择预设数量的第三相似度。需要说明的是,所述预设数量小于或等于所述预设类别的数量。可以理解的是,在本发明的实施例中,并不限定上述预设数量的具体数值,且具体可根据实际情况进行设定。
第四步,计算选择出的预设数量的第三相似度的平均值,并将所述平均值作为所述目标档案数据组所包含的两个档案数据的第二相似度。
在此,为便于理解,以一具体实例对上述第一步至第四步进行解释。在该实例中,假设预设类别的数量为7个,分别为戴眼镜时的人脸图像、不戴眼镜时的人脸图像、戴帽子时的人脸图像、不戴帽子时的人脸图像、仰头时的人脸图像、低头时的人脸图像以及侧脸时的人脸图像(需要说明的是,在具体的软件编码实现过程中,可通过字段批注档案特征事件的类别,以便提取预设类别的档案特征事件),从目标档案数据组所包含的一个档案数据中分别提取到这7个类别的档案特征事件为a1(戴眼镜时的人脸图像)、a2(不戴眼镜时的人脸图像)、a3(戴帽子时的人脸图像)、a4(不戴帽子时的人脸图像)、a5(仰头时的人脸图像)、a6(低头时的人脸图像)和a7(侧脸时的人脸图像),从目标档案数据组所包含的另一个档案数据中分别提取到这7个类别的档案特征事件为b1(戴眼镜时的人脸图像)、b2(不戴眼镜时的人脸图像)、b3(戴帽子时的人脸图像)、b4(不戴帽子时的人脸图像)、b5(仰头时的人脸图像)、b6(低头时的人脸图像)和b7(侧脸时的人脸图像);然后如图3所示,分别计算每个类别的档案特征事件的第三相似度,得到7个第三相似度,其中,a1与b1的第三相似度为0.94,a2与b2的第三相似度为0.95,a3与b3的第三相似度为0.91,a4与b4的第三相似度为0.85,a5与b5的第三相似度为0.90,a6与b6的第三相似度为0.96,a7与b7的第三相似度为0.91;接着如图4所示,按照从大至小的顺序,对这7个第三相似度进行排序,并从排序后的第三相似度中选择3个数值最大的第三相似度(即0.96、0.95和0.94);最后计算这三个第三相似度(即0.96、0.95和0.94)的平均值,并将计算出的平均值0.95作为目标档案数据组所包含的两个档案数据的第二相似度。
当然可以理解的是,为提高多个第二相似度的获取效率,上述步骤一可通过分布式的方式实现,即,将多个目标档案数据组均匀分配到不同的设备工作进程(worker)中,以分布式并行计算各目标档案数据组中两个档案数据的第二相似度。
步骤二,根据所述多个第二相似度,确定所述多个档案数据中的相似档案数据。
具体的,在本发明的实施例中,上述步骤二的具体实现方式为:首先将所述多个第二相似度对应的档案数据作为目标档案数据;然后分别针对每一目标档案数据,将各目标档案数据中与该目标档案数据的第二相似度大于第二预设阈值的档案数据,作为该目标档案数据的相似档案数据。即,首先将步骤一得到的每个第二相似度对应的档案数据均作为一目标档案数据,然后针对每一目标档案数据,将所有目标档案数据中与该目标档案数据的第二相似度大于第二预设阈值的档案数据,作为该目标档案数据的相似档案数据,从而便能得到多个档案数据中的相似档案数据。其中,上述第二预设阈值可根据实际情况进行设定,如设定为0.85。
需要说明的是,为便于区分识别各档案数据,在对每个档案数据进行建档时,每个档案数据都配置有一对应的标识信息(如编号),即档案数据池中的每个档案数据均有一对应的标识信息。因而在确定每一目标档案数据的相似档案数据时,可根据各目标档案数据的标识信息进行遍历查找与该目标档案数据的第二相似度大于第二预设阈值的档案数据。
另外,在本发明的实施例中,在确定出多个档案数据中的相似档案数据后,上述档案管理方法还包括如下步骤:分别针对每一目标档案数据,显示一用于提示该目标档案数据存在相似档案数据的提示信息,以便用户对相似档案数据进行处理(如合并、查看等)。其中,所述提示信息包括该目标档案数据的相似档案数据的标识信息。在此,以一具体实例对上述提示信息进行说明。在该实例中,假设目标档案数据为档案数据a,该档案数据a的相似档案数据为档案数据c、档案数据d、档案数据e和档案数据b,其中a、b、c、d、e均表示档案数据的标识信息,那么上述提示信息可如图5所示,图5中档案数据a与档案数据c的第二相似度为0.95,档案数据a与档案数据d的第二相似度为0.90,档案数据a与档案数据e的第二相似度为0.90,档案数据a与档案数据b的第二相似度为0.85。
如图6所示,本发明的实施例还提供了一种档案管理装置,该装置包括:获取模块61、第一确定模块62和第二确定模块63。
其中,获取模块61,用于分别将多个档案数据中每两个档案数据作为一个档案数据组,计算所述档案数据组中的档案封面图像之间的相似度值,将所述相似度值作为所述档案数据组的第一相似度;每个所述档案数据包括档案封面图像和档案特征事件;
第一确定模块62,用于根据获取到的第一相似度,从多个档案数据组中确定目标档案数据组;
第二确定模块63,用于根据确定出的目标档案数据组所包含的档案数据的档案特征事件,确定所述多个档案数据中的相似档案数据。
其中,在本发明的实施例中,档案管理装置60为与上述档案管理方法对应的装置,能提高查找相似档案的准确率。
需要说明的是,档案管理装置60包括实现上述档案管理方法的所有模块或者单元,为避免过多重复,在此不对档案管理装置60的各模块或者单元进行赘述。
如图7所示,本发明的实施例还提供了一种档案管理设备,包括存储器71、处理器72以及存储在所述存储器71中并可在所述处理器72上运行的计算机程序73,所述处理器72执行所述计算机程序73时实现上述的档案管理方法的步骤。
具体的,档案管理设备70的处理器72执行所述计算机程序73时实现如下步骤:分别将多个档案数据中每两个档案数据作为一个档案数据组,计算所述档案数据组中的档案封面图像之间的相似度值,将所述相似度值作为所述档案数据组的第一相似度;每个所述档案数据包括档案封面图像和档案特征事件;根据获取到的第一相似度,从多个档案数据组中确定目标档案数据组;根据确定出的目标档案数据组所包含的档案数据的档案特征事件,确定所述多个档案数据中的相似档案数据。
可选的,档案管理设备70的处理器72执行所述计算机程序73时还实现如下步骤:判断获取到的第一相似度是否大于第一预设阈值;当获取到的第一相似度大于所述第一预设阈值时,将该第一相似度对应的档案数据组作为目标档案数据组。
可选的,档案管理设备70的处理器72执行所述计算机程序73时还实现如下步骤:分别针对确定出的每一目标档案数据组,根据所述目标档案数据组所包含的两个档案数据的档案特征事件,获取所述目标档案数据组所包含的两个档案数据的第二相似度,得到多个第二相似度;根据所述多个第二相似度,确定所述多个档案数据中的相似档案数据。
可选的,档案管理设备70的处理器72执行所述计算机程序73时还实现如下步骤:分别从所述目标档案数据组所包含的两个档案数据的档案特征事件中提取多个预设类别的档案特征事件;分别针对每一预设类别的档案特征事件,计算从所述两个档案数据中提取到的该预设类别的档案特征事件的第三相似度,得到多个第三相似度;按照从大至小的顺序,从所述多个第三相似度中选择预设数量的第三相似度;其中,所述预设数量小于或等于所述预设类别的数量;计算选择出的预设数量的第三相似度的平均值,并将所述平均值作为所述目标档案数据组所包含的两个档案数据的第二相似度。
可选的,档案管理设备70的处理器72执行所述计算机程序73时还实现如下步骤:将所述多个第二相似度对应的档案数据作为目标档案数据;分别针对每一目标档案数据,将各目标档案数据中与该目标档案数据的第二相似度大于第二预设阈值的档案数据,作为该目标档案数据的相似档案数据。
可选的,档案管理设备70的处理器72执行所述计算机程序73时还实现如下步骤:分别针对每一目标档案数据,显示一用于提示该目标档案数据存在相似档案数据的提示信息;其中,所述提示信息包括该目标档案数据的相似档案数据的标识信息。
可选的,档案管理设备70的处理器72执行所述计算机程序73时还实现如下步骤:通过多个相似度计算单元,分别将多个档案数据中每两个档案数据作为一个档案数据组,计算每个档案数据组中的档案封面图像之间的相似度值,将该相似度值作为该档案数据组的第一相似度。
即,在本发明的具体实施例中,档案管理设备70的处理器72执行所述计算机程序73时实现上述的档案管理方法的步骤,能提高查找相似档案的准确率。
示例性的,上述计算机程序73可以被分割成一个或多个模块/单元,该一个或者多个模块/单元被存储在存储器71中,并由处理器72执行,以完成本发明。且该一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述计算机程序73在档案管理设备70中的执行过程。
上述群体关系网的档案管理设备70可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该群体关系网的档案管理设备70可包括,但不仅限于,处理器72、存储器71。本领域技术人员可以理解,所述示意图仅仅是档案管理设备70的示例,并不构成对档案管理设备70的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如档案管理设备70还可以包括输入输出设备、网络接入设备、总线等。
上述处理器72可以是中央处理单元(CPU,Central Processing Unit),还可以是其他通用处理器、数字信号处理器(DSP,Digital Signal Processor)、专用集成电路(ASIC,Application Specific Integrated Circuit)、现成可编程门阵列(FPGA,Field-Programmable Gate Array)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器72也可以是任何常规的处理器等,处理器72是档案管理设备70的控制中心,利用各种接口和线路连接整个档案管理设备70的各个部分。
上述存储器71可用于存储计算机程序73和/或模块,处理器72通过运行或执行存储在存储器71内的计算机程序73和/或模块,以及调用存储在存储器71内的数据,实现档案管理设备70的各种功能。具体的,存储器71可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外,存储器71可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘,智能存储卡(SMC,Smart Media Card),安全数字(SD,Secure Digital)卡,闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
需要说明的是,由于档案管理设备70的处理器72执行所述计算机程序73时实现上述的档案管理方法的步骤,因此上述档案管理方法的所有实施例均能适用于该档案管理设备70,且均能达到相同或相似的有益效果。
此外,本发明的实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述的档案管理方法的步骤。
即,在本发明的具体实施例中,计算机可读存储介质的计算机程序被处理器执行时实现上述的档案管理方法的步骤,能提高查找相似档案的准确率。
示例性的,计算机可读存储介质的计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM,Read-Only Memory)、随机存取存储器(RAM,Random Access Memory)、电载波信号、电信信号以及软件分发介质等。
需要说明的是,由于计算机可读存储介质的计算机程序被处理器执行时实现上述的档案管理方法的步骤,因此上述档案管理方法的所有实施例均能适用于该计算机可读存储介质,且均能达到相同或相似的有益效果。
以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。
- 档案管理方法、装置、设备及计算机可读存储介质
- 电力用户档案管理方法及系统、计算机设备、存储介质