掌桥专利:专业的专利平台
掌桥专利
首页

目标对象识别方法、装置、计算机设备和存储介质

文献发布时间:2023-06-19 18:37:28


目标对象识别方法、装置、计算机设备和存储介质

技术领域

本申请涉及图像识别领域,特别是涉及一种目标对象识别方法、装置、计算机设备和存储介质。

背景技术

网点作为商业银行对客服务的主要渠道,是银行对外服务形象的展示窗口。在商业银行的日常运营过程中,往往有需要甄别进入商业银行的人员的需求。

现有技术中,通常通过人工查阅网点视频录像的方式进行人员甄别,但这种方式效率较低。

发明内容

基于此,有必要针对上述技术问题,提供一种目标对象识别方法、装置、计算机设备和存储介质。

第一方面,本申请提供了一种目标对象识别方法。所述方法包括:

从针对目标区域采集的数据中,提取候选对象的点云数据;

根据所述候选对象的点云数据,确定所述候选对象的动作序列信息,所述动作序列信息包括由至少一个动作构建得到的动作序列;

根据所述候选对象的动作序列信息,确定所述候选对象对应的目标值,所述目标值用于表征所述候选对象为目标对象的概率;

根据所述候选对象对应的目标值,确定针对所述候选对象的目标对象识别结果。

在其中一个实施例中,所述根据所述候选对象的动作序列信息,确定所述候选对象对应的目标值,包括:

从所述动作序列信息中,确定目标动作;

将所述目标动作与预设动作信息进行匹配,获得所述目标动作对应的匹配结果;

在所述匹配结果表征所述预设动作信息中存在与所述目标动作相匹配的预设动作的情况下,将所述目标动作作为起始动作;

根据所述起始动作,及所述动作序列信息中位于所述起始动作后的连续预设数量个动作,构建所述候选对象的动作组;

根据所述候选对象的动作组,确定所述候选对象对应的目标值。

在其中一个实施例中,所述方法还包括:

在所述匹配结果表征所述预设动作信息中不存在与所述目标动作相匹配的预设动作的情况下,将所述动作序列信息中与所述目标动作相邻且位于所述目标动作后的动作作为目标动作,并重复将将所述目标动作与预设动作信息进行匹配,获得所述目标动作对应的匹配结果的步骤。

在其中一个实施例中,所述根据所述候选对象的动作组,确定所述候选对象对应的目标值,包括:

获取历史目标对象对应的历史动作组,所述历史目标对象为在历史目标对象识别过程中确定的目标对象;

针对任一所述历史目标对象,根据所述历史目标对象对应的历史动作组及所述候选对象的动作组,确定所述候选对象与所述历史目标对象的第一特征相似度;

根据所述候选对象与各所述历史目标对象对应的第一特征相似度,确定所述候选对象对应的目标值。

在其中一个实施例中,所述根据所述候选对象对应的目标值,确定针对所述候选对象的目标对象识别结果,包括:

在所述候选对象对应的目标值大于目标值阈值的情况下,根据所述候选对象的点云数据,确定所述候选对象的运动轨迹;

根据所述候选对象的运动轨迹,确定第一轨迹目标值;

在所述第一轨迹目标值大于轨迹目标值阈值的情况下,将所述候选对象作为目标对象。

在其中一个实施例中,所述根据所述候选对象的运动轨迹,确定第一轨迹目标值,包括:

根据所述候选对象的运动轨迹,确定所述候选对象在各预设地点的停留时长,并根据所述候选对象在各预设地点的停留时长,确定第二轨迹目标值;

根据所述候选对象的运动轨迹,确定所述候选对象与各待比较对象之间的距离,并根据所述候选对象与各待比较对象之间的距离确定第三轨迹目标值,所述待比较对象为全部候选对象中,除所述候选对象之外的对象;

根据所述第二轨迹目标值和所述第三轨迹目标值,确定所述第一轨迹目标值。

在其中一个实施例中,所述根据所述候选对象在各预设地点的停留时长,确定第二轨迹目标值,包括:

针对任一所述预设地点,在所述候选对象在所述预设地点的停留时长小于时长阈值的情况下,根据所述停留时长,确定所述候选对象在所述预设地点对应的地点目标值;或者,

在所述停留时长大于或者等于时长阈值的情况下,根据所述动作序列信息中,所述候选对象在所述预设地点对应的动作,确定所述候选对象在所述预设地点对应的地点目标值;

根据所述候选对象在各所述预设地点对应的地点目标值,确定所述候选对象的第二轨迹目标值。

在其中一个实施例中,所述根据所述候选对象与各待比较对象之间的距离确定第三轨迹目标值,包括:

针对任一所述待比较对象,根据所述候选对象的运动轨迹,确定所述候选对象与所述待比较对象之间的距离小于距离阈值的时长,并根据所述候选对象与所述待比较对象之间的距离小于距离阈值的时长,确定所述候选对象针对所述待比较对象的对象目标值;

根据所述候选对象针对各所述待比较对象的对象目标值,确定所述候选对象对应的第四轨迹目标值;

根据所述候选对象的运动轨迹,确定所述候选对象与各所述待比较对象之间的距离小于所述距离阈值的次数,并根据所述候选对象与各所述待比较对象之间的距离小于所述距离阈值的次数确定第五轨迹目标值;

根据所述第四轨迹目标值和所述第五轨迹目标值,确定第三轨迹目标值。

第二方面,本申请还提供了一种目标对象识别装置。所述装置包括:

提取模块,用于从针对目标区域采集的数据中,提取候选对象的点云数据;

第一确定模块,用于根据所述候选对象的点云数据,确定所述候选对象的动作序列信息,所述动作序列信息包括由至少一个动作构建得到的动作序列;

第二确定模块,用于根据所述候选对象的动作序列信息,确定所述候选对象对应的目标值,所述目标值用于表征所述候选对象为目标对象的概率;

第三确定模块,用于根据所述候选对象对应的目标值,确定针对所述候选对象的目标对象识别结果。

在其中一个实施例中,所述第二确定模块,还用于:

从所述动作序列信息中,确定目标动作;

将所述目标动作与预设动作信息进行匹配,获得所述目标动作对应的匹配结果;

在所述匹配结果表征所述预设动作信息中存在与所述目标动作相匹配的预设动作的情况下,将所述目标动作作为起始动作;

根据所述起始动作,及所述动作序列信息中位于所述起始动作后的连续预设数量个动作,构建所述候选对象的动作组;

根据所述候选对象的动作组,确定所述候选对象对应的目标值。

在其中一个实施例中,所述装置还包括:

处理模块,用于在所述匹配结果表征所述预设动作信息中不存在与所述目标动作相匹配的预设动作的情况下,将所述动作序列信息中与所述目标动作相邻且位于所述目标动作后的动作作为目标动作,并重复将将所述目标动作与预设动作信息进行匹配,获得所述目标动作对应的匹配结果的步骤。

在其中一个实施例中,所述第二确定模块,还用于:

获取历史目标对象对应的历史动作组,所述历史目标对象为在历史目标对象识别过程中确定的目标对象;

针对任一所述历史目标对象,根据所述历史目标对象对应的历史动作组及所述候选对象的动作组,确定所述候选对象与所述历史目标对象的第一特征相似度;

根据所述候选对象与各所述历史目标对象对应的第一特征相似度,确定所述候选对象对应的目标值。

在其中一个实施例中,所述第三确定模块,还用于:

在所述候选对象对应的目标值大于目标值阈值的情况下,根据所述候选对象的点云数据,确定所述候选对象的运动轨迹;

根据所述候选对象的运动轨迹,确定第一轨迹目标值;

在所述第一轨迹目标值大于轨迹目标值阈值的情况下,将所述候选对象作为目标对象。

在其中一个实施例中,所述第三确定模块,还用于:

根据所述候选对象的运动轨迹,确定所述候选对象在各预设地点的停留时长,并根据所述候选对象在各预设地点的停留时长,确定第二轨迹目标值;

根据所述候选对象的运动轨迹,确定所述候选对象与各待比较对象之间的距离,并根据所述候选对象与各待比较对象之间的距离确定第三轨迹目标值,所述待比较对象为全部候选对象中,除所述候选对象之外的对象;

根据所述第二轨迹目标值和所述第三轨迹目标值,确定所述第一轨迹目标值。

在其中一个实施例中,所述第三确定模块,还用于:

针对任一所述预设地点,在所述候选对象在所述预设地点的停留时长小于时长阈值的情况下,根据所述停留时长,确定所述候选对象在所述预设地点对应的地点目标值;或者,

在所述停留时长大于或者等于时长阈值的情况下,根据所述动作序列信息中,所述候选对象在所述预设地点对应的动作,确定所述候选对象在所述预设地点对应的地点目标值;

根据所述候选对象在各所述预设地点对应的地点目标值,确定所述候选对象的第二轨迹目标值。

在其中一个实施例中,所述第三确定模块,还用于:

针对任一所述待比较对象,根据所述候选对象的运动轨迹,确定所述候选对象与所述待比较对象之间的距离小于距离阈值的时长,并根据所述候选对象与所述待比较对象之间的距离小于距离阈值的时长,确定所述候选对象针对所述待比较对象的对象目标值;

根据所述候选对象针对各所述待比较对象的对象目标值,确定所述候选对象对应的第四轨迹目标值;

根据所述候选对象的运动轨迹,确定所述候选对象与各所述待比较对象之间的距离小于所述距离阈值的次数,并根据所述候选对象与各所述待比较对象之间的距离小于所述距离阈值的次数确定第五轨迹目标值;

根据所述第四轨迹目标值和所述第五轨迹目标值,确定第三轨迹目标值。

第三方面,本申请还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以上任一项方法。

第四方面,本申请还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以上任一项方法。

第五方面,本申请还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以上任一项方法。

上述目标对象识别方法、装置、计算机设备和存储介质,通过提取候选对象的点云数据,并构建候选对象的动作序列信息,可以确定目标值,也即候选对象为目标对象的概率,进而根据目标值确定候选对象是否为目标对象。本申请实施例通过点云数据构建候选对象的动作序列信息,进而自动通过候选对象的动作序列判断候选对象是否为目标对象,可以提高目标对象的识别效率和识别精度。

附图说明

图1为一个实施例中目标对象识别方法的流程示意图;

图2为一个实施例中步骤106的流程示意图;

图3为一个实施例中步骤210的流程示意图;

图4为一个实施例中步骤108的流程示意图;

图5为一个实施例中步骤406的流程示意图;

图6为一个实施例中步骤502的流程示意图;

图7为一个实施例中步骤504的流程示意图;

图8为一个实施例中目标对象识别系统的示意图;

图9为一个实施例中构建历史目标对象数据库的示意图;

图10为一个实施例中目标对象识别方法的示意图;

图11为一个实施例中目标对象识别装置的结构框图;

图12为一个实施例中计算机设备的内部结构图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本申请进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本申请,并不用于限定本申请。

在一个实施例中,如图1所示,提供了一种目标对象识别方法,本实施例以该方法应用于终端进行举例说明,可以理解的是,该方法也可以应用于服务器,还可以应用于包括终端和服务器的系统,并通过终端和服务器的交互实现。本实施例中,该方法包括以下步骤:

步骤102,从针对目标区域采集的数据中,提取候选对象的点云数据。

本申请实施例中,目标区域可以为预先设定的区域,例如某一场所,某一图像采集设备能够拍摄到的区域范围等。在本申请实施例应用于银行网点中的目标人员识别时,目标区域可以为银行网点中的对客区域。针对目标区域采集的数据可以为通过图像采集设备拍摄的视频数据或图像数据,也可以为雷达采集的雷达点云数据等,本申请实施例对此不作具体限定。候选对象可以为进入目标区域的待识别的任一对象,如进入目标区域的任一人物等。可以通过对点云数据进行聚类处理,确定目标区域内的各物体,进而从各物体中筛选出用于表征候选对象的点云数据,也即候选对象的点云数据。候选对象的点云数据中可以包括候选对象本身的点云数据及候选对象周围一定范围内的点云数据,例如,若候选对象为人物,则候选对象的点云数据中可以包括该人物的点云数据,还可以包括候选对象周围一定范围内的其他人物的点云数据、候选对象附近的物品的点云数据等。

需要说明的是,若针对目标区域采集的数据为视频数据或图像数据,则应采用深度相机等能够获取物体与相机距离的图像采集设备拍摄上述视频数据或图像数据,以便根据视频数据或图像数据提取候选对象的点云数据。若针对目标区域采集的数据为雷达点云数据,则可以直接根据雷达点云数据提取得到候选对象的点云数据。本申请实施例对于提取候选对象的点云数据的方法不作具体限定,任一可以根据针对目标区域采集的数据提取候选对象的点云数据的方式均适用于本申请实施例中。

同时,若针对目标区域采集的数据为视频数据或图像数据,也可以在提取候选对象的点云数据之前,首先通过面部识别、衣着识别等方式将工作人员排除在候选对象之外,以减少后续需要进行比对的候选对象的数量。

步骤104,根据候选对象的点云数据,确定候选对象的动作序列信息,动作序列信息包括由至少一个动作构建得到的动作序列。

本申请实施例中,动作序列信息中可以包含候选对象从进入目标区域的时刻到当前时刻之间的所有动作。可以根据连续提取到的针对候选对象的点云数据,实时构建候选对象的动作。本申请实施例对于构建候选对象的动作的方法不作具体限定,任一可以根据点云数据构建候选对象的方式均适用于本申请实施例中。例如,可以预先训练针对本申请实施例的应用场景的神经网络,在应用中通过将点云数据输入该神经网络,获取候选对象的动作等。

步骤106,根据候选对象的动作序列信息,确定候选对象对应的目标值,目标值用于表征候选对象为目标对象的概率。

本申请实施例中,目标值用于表征候选对象为目标对象的概率,目标值越大,则候选对象为目标对象的概率就越高。

示例性的,可以根据动作序列信息中的各动作,确定候选对象对应的目标值。例如,若动作序列信息中有连续的预设数量个动作与有较大概率属于目标对象的动作相匹配,则可以根据匹配程度为候选对象赋予一个分值,并将该分值作为候选对象对应的目标值等,本申请实施例对此不作具体限定。

步骤108,根据候选对象对应的目标值,确定针对候选对象的目标对象识别结果。

本申请实施例中,可以预先设置目标值阈值。当候选对象对应的目标值大于或者等于该目标值阈值时,可以确定候选对象为目标对象;当候选对象对应的目标值小于该目标值阈值时,可以确定候选对象不是目标对象。目标值阈值的具体数值可以由本领域技术人员根据实际需求确定,例如,对目标对象识别结果的精度要求较高时,可以设置较高的目标值阈值;对目标对象识别结果的精度要求不高时,可以设置较低的目标值阈值。

在确定候选对象为目标对象后,可以通过向工作人员发送提示信息等方式,提示工作人员对目标对象进行核验。

本申请实施例提供的目标对象识别方法,通过提取候选对象的点云数据,并构建候选对象的动作序列信息,可以确定目标值,也即候选对象为目标对象的概率,进而根据目标值确定候选对象是否为目标对象。本申请实施例通过点云数据构建候选对象的动作序列信息,进而自动通过候选对象的动作序列判断候选对象是否为目标对象,可以提高目标对象的识别效率和识别精度。

在一个实施例中,如图2所示,步骤106中,根据候选对象的动作序列信息,确定候选对象对应的目标值,包括:

步骤202,从动作序列信息中,确定目标动作。

步骤204,将目标动作与预设动作信息进行匹配,获得目标动作对应的匹配结果。

步骤206,在匹配结果表征预设动作信息中存在与目标动作相匹配的预设动作的情况下,将目标动作作为起始动作。

本申请实施例中,目标动作是动作序列信息中的一个动作。预设动作信息是预先设定的有较大概率属于目标对象的动作,具体的预设动作信息可以由本领域技术人员根据目标对象的不同进行设定。例如,若目标对象为执行目标事件的对象,目标对象在执行目标事件时通常会执行动作1和动作2,则预设动作信息可以包括动作1和动作2等。

示例性的,可以直接将动作序列信息中的第一个动作作为目标动作,或者根据较为可能出现与预设动作信息相匹配的动作的时间点,将动作序列信息中在该时间点对应的动作作为目标动作等,本申请实施例对此不作具体限定。

在确定目标动作后,可以将目标动作与各预设动作逐一进行匹配。例如,可以分别确定目标动作与各预设动作的特征相似度等。当目标动作与某一预设动作的特征相似度大于或者等于特征相似度阈值时,可以确定该目标动作与该预设动作相匹配,此时可以将目标动作作为起始动作。若目标动作与该预设动作的特征相似度小于特征相似度阈值,则可以确定该目标动作与该预设动作不匹配。此时可以继续对目标动作和下一个预设动作进行匹配。

步骤208,根据起始动作,及动作序列信息中位于起始动作后的连续预设数量个动作,构建候选对象的动作组。

步骤210,根据候选对象的动作组,确定候选对象对应的目标值。

本申请实施例中,在确定起始动作后,可以将起始动作后的连续的预设数量个动作和起始动作本身构建为候选对象的动作组,其中预设数量可以为预先设定的数量,具体取值可以由本领域技术人员根据需求确定。例如,若起始动作为走向其他客户,在起始动作后的连续的动作分别是与其他客户交谈、向其他客户出示纸张、站立、走向其他客户,则在预设数量为3时,动作组中便包括走向其他客户、与其他客户交谈、向其他客户出示纸张、站立4个动作;在预设数量为4时,动作组中便包括走向其他客户、与其他客户交谈、向其他客户出示纸张、站立、走向其他客户5个动作。

在得到候选对象的动作组后,可以通过将该动作组与有较大概率属于目标对象的动作组进行匹配,获取候选对象对应的目标值。

本申请实施例提供的目标对象识别方法,可以将动作序列信息中的目标动作与预设动作进行匹配,并在目标动作与任一预设动作相匹配时,基于目标动作与目标动作后的动作,构建候选对象的动作组,并根据动作组确定候选对象的目标值。本申请实施例可以根据动作组,也即候选对象连续的数个动作确定候选对象为目标对象的概率,因此判断标准更为合理,可以提高确定目标对象的精度。

在其中一个实施例中,上述方法还包括:

在匹配结果表征预设动作信息中不存在与目标动作相匹配的预设动作的情况下,将动作序列信息中与目标动作相邻且位于目标动作后的动作作为目标动作,并重复将将目标动作与预设动作信息进行匹配,获得目标动作对应的匹配结果的步骤。

本申请实施例中,若目标动作与全部预设动作均不匹配,则可以将目标动作后的下一个动作(目标动作后的第一个动作)作为目标动作,继续对该动作与各预设动作进行匹配。若目标动作后的第一个动作与全部预设动作仍不匹配,则将目标动作后的第二个动作作为目标动作,与各预设动作进行匹配……以此类推,直至某一动作与预设动作匹配成功,或动作序列信息中不再有其他动作为止。

例如,若候选对象的动作序列为:行走(第一个动作)、与取号机交互(第二个动作)、行走(第三个动作)、坐下(第四个动作),则可以首先将第一个动作作为目标动作,与各预设动作进行匹配;当第一个动作匹配不成功(也即与全部预设动作均不匹配)时,则可以将第二个动作作为目标动作,与各预设动作进行匹配……以此类推,在第四个动作也匹配不成功时,由于动作序列信息中不存在第五个动作,此时可以结束匹配,暂时将候选对象标记为非目标对象,直到能够根据点云数据构建出候选对象新的动作为止。

本申请实施例提供的目标对象识别方法,可以在目标动作与全部预设动作均不匹配的情况下,继续将与目标动作相邻的下一个动作作为目标动作,并重复进行将目标动作与预设动作信息进行匹配的步骤。本申请实施例可以根据动作组,也即候选对象连续的数个动作确定候选对象为目标对象的概率,因此判断标准更为合理,可以提高确定目标对象的精度。

在其中一个实施例中,如图3所示,步骤210中,根据候选对象的动作组,确定候选对象对应的目标值,包括:

步骤302,获取历史目标对象对应的历史动作组,历史目标对象为在历史目标对象识别过程中确定的目标对象。

步骤304,针对任一历史目标对象,根据历史目标对象对应的历史动作组及候选对象的动作组,确定候选对象的动作组与历史动作组的第一特征相似度。

步骤306,根据候选对象与各历史目标对象对应的第一特征相似度,确定候选对象对应的目标值。

本申请实施例中,可以在历史目标对象识别过程中确定历史目标对象后,将历史目标对象对应的历史动作组存入数据库中。在确定候选对象的动作组后,可以分别确定候选对象的动作组与各历史目标对象对应的历史动作组之间的第一特征相似度,并根据各第一特征相似度确定候选对象对应的目标值。本申请实施例对于确定候选对象的动作组与历史动作组之间的第一特征相似度的方式不作具体限定,示例性的,可以确定候选对象的动作组中的动作与历史动作组中,相应的动作之间的特征相似度(例如,可以分别确定候选对象的动作组中的第一个动作与历史动作组中的第一个动作之间的相似度、候选对象的动作组中的第二个动作与历史动作组中的第二个动作之间的相似度等),并通过对各特征相似度求和、加权求和或取平均值等方式,获得候选对象的动作组与历史动作组之间的第一特征相似度。

进一步地,可以预先设置特征相似度阈值,在获得候选对象的动作组对应的多个第一特征相似度后,可以通过将各第一特征相似度与相似度阈值进行比较,获取候选对象对应的目标值。例如,可以取各第一特征相似度的平均值,并根据该平均值与特征相似度阈值之间的差值,确定候选对象对应的目标值,或者,也可以根据取值大于或者等于相似度阈值的第一特征相似度在全部第一特征相似度中所占的比例,确定候选对象对应的目标值,本申请实施例对此不作具体限定。

在确定候选对象为目标对象后,则可以将候选对象的动作组加入数据库中,以作为后续目标对象识别过程中的历史动作组。

本申请实施例提供的目标对象识别方法,可以根据候选对象的动作组和历史目标对象对应的历史动作组之间的相似度,确定候选对象对应的目标值。由于历史动作组是在历史目标对象识别过程中,确定得到的目标对象对应的动作组,因此若候选对象的动作组和历史动作组较为相似,则候选对象也有较大概率为目标对象。以候选对象的动作组和历史动作组之间的相似度作为判断候选对象是否为目标对象的标准,可以提升目标对象的确定精度。

在一个实施例中,如图4所示,步骤108中,根据候选对象对应的目标值,确定针对候选对象的目标对象识别结果,包括:

步骤402,在候选对象对应的目标值大于目标值阈值的情况下,根据候选对象的点云数据,确定候选对象的运动轨迹。

步骤404,根据候选对象的运动轨迹,确定第一轨迹目标值。

步骤406,在第一轨迹目标值大于轨迹目标值阈值的情况下,将候选对象作为目标对象。

本申请实施例中,可以预先设定目标值阈值,在候选对象对应的目标值大于目标值阈值的情况下,说明候选对象有较大概率为目标对象,此时可以通过候选对象的运动轨迹对候选对象是否为目标对象进行复核。

示例性的,可以通过对候选对象在某一时刻的点云数据进行聚类,确定候选对象此时刻在三维空间中的坐标,并根据候选对象在各时刻的坐标确定候选对象的运动轨迹。根据候选对象的运动轨迹是否正常(例如,是否遵循一般客户的运动轨迹,是否与业务区域存在交叉等),可以为候选对象的运动轨迹赋予一个分值,也即第一轨迹目标值。第一轨迹目标值越大,说明候选对象为目标对象的概率越大。还可以预先设定第一轨迹目标值阈值,在第一轨迹目标值大于第一轨迹目标值阈值的情况下,可以将候选对象确定为目标对象。

本申请实施例提供的目标对象识别方法,可以通过候选对象的运动轨迹对候选对象是否为目标对象进行复核,只有在候选对象的目标值大于目标值阈值,且第一轨迹目标值也大于第一轨迹目标值的情况下,才将候选对象确定为目标对象,因此能够降低误判目标对象的概率。

在一个实施例中,如图5所示,步骤406中,根据候选对象的运动轨迹,确定第一轨迹目标值,包括:

步骤502,根据候选对象的运动轨迹,确定候选对象在各预设地点的停留时长,并根据候选对象在各预设地点的停留时长,确定第二轨迹目标值。

本申请实施例中,预设地点可以为银行网点内的业务区域,可以根据候选对象的运动轨迹及目标区域内各预设地点的边界范围,确定候选对象在各预设地点的停留时长:例如,若候选对象的运动轨迹在10时05分进入预设地点的边界,在10时17分离开预设地点的边界,则可以确定候选对象在预设地点的停留时长为12分钟。而若候选对象的运动轨迹从未进入预设地点的边界,则可以确定候选对象在预设地点的停留时长为0。

示例性的,由于当候选对象的停留时长为0时,可以确定候选对象未办理业务,因此候选对象为目标对象的概率较大,因此可以将候选对象的第二轨迹目标值设置的较大;当候选对象的停留时长小于办理业务通常需要的时间时,也可以说明候选对象并未办理业务,因此可以预先设定时间阈值,当候选对象的停留时长小于该时间阈值时,同样可以将候选对象的第二轨迹目标值设置的较大,而当候选对象的停留时长大于或者等于时间阈值时,说明候选对象有较大概率办理了业务,因此可以将第二轨迹目标值设置的较小,本申请实施例对此不作具体限定。

步骤504,根据候选对象的运动轨迹,确定候选对象与各待比较对象之间的距离,并根据距离确定第三轨迹目标值,待比较对象为全部候选对象中,除候选对象之外的对象。

步骤506,根据第二轨迹目标值和第三轨迹目标值,确定第一轨迹目标值。

本申请实施例中,可以根据候选对象的运动轨迹和待比较对象的运动轨迹,确定候选对象与待比较对象之间的距离,例如,可以根据候选对象在某一时刻的坐标和待比较对象在该时刻的坐标,确定候选对象在该时刻与待比较对象之间的距离,并根据该距离确定候选对象的第三轨迹目标值。

示例性的,由于多次靠近不同待比较对象的候选对象有较大概率为目标对象,因此可以预先设定距离阈值,在候选对象与待比较对象之间的距离小于距离阈值时,可以为候选对象赋予一个分值。当候选对象后续与另一个不同的待比较对象之间的距离再次小于距离阈值时,可以再次为候选对象赋予一个分值……以此类推,最终将所有分值的和作为第三轨迹目标值。或者,也可以根据候选对象与待比较对象之间的距离小于距离阈值的时长确定第三轨迹目标值等,本申请实施例对此不作具体限定。

进一步地,可以根据第二轨迹目标值和第三轨迹目标值获得第一轨迹目标值。例如,可以对第二轨迹目标值和第三轨迹目标值求和,以获得第一轨迹目标值。也可以为第二轨迹目标值和第三轨迹目标值分别赋予权重,通过对第二轨迹目标值和第三轨迹目标值加权求和,获得第一轨迹目标值。

本申请实施例提供的目标对象识别方法,可以根据候选对象在预设地点的停留时长确定第二轨迹目标值,并通过候选对象与各待比较对象之间的距离确定第三轨迹目标值,进而根据第二轨迹目标值和第三轨迹目标值确定第一轨迹目标值。由于第二轨迹目标值和第三轨迹目标值越大,候选对象为目标对象的概率也越高,同时根据第二轨迹目标值和第三轨迹目标值得到的第一轨迹目标值也越大,因此在第一轨迹目标值大于第一轨迹目标值阈值时,候选对象为目标对象的概率就较高,因此能够降低误判目标对象的概率。

在一个实施例中,如图6所示,步骤502中,根据候选对象在各预设地点的停留时长,确定第二轨迹目标值,包括:

步骤602,针对任一预设地点,在候选对象在预设地点的停留时长小于时长阈值的情况下,根据停留时长,确定候选对象在预设地点对应的地点目标值;或者,

步骤604,在停留时长大于或者等于时长阈值的情况下,根据动作序列信息中,候选对象在预设地点对应的动作,确定候选对象在预设地点对应的地点目标值。

步骤606,根据候选对象在各预设地点对应的目标值,确定候选对象的第二轨迹目标值。

本申请实施例中,可以预先设定时长阈值,时长阈值用于表征办理业务通常需要的时间。在停留时长小于时长阈值时,停留时长越短,说明候选对象未办理业务的概率越高,因此可以相应的将候选对象在该预设地点对应的地点目标值设置的较大;停留时长越长,说明候选对象的停留时长尽管小于时长阈值,但仍有办理业务的可能性,因此可以相应的将候选对象在该预设地点对应的地点目标值设置的较小。

在停留时长大于或者等于时长阈值的情况下,还可以从候选对象的运动序列信息中,确定候选对象在该预设地点对应的动作,以更精确地判断候选对象是否在预设地点办理业务。例如,若预设地点为银行柜台,而候选对象在预设地点并未出现坐下或与银行柜员进行交谈的动作,则可以判断候选对象有较大概率未在预设地点办理业务。

进一步地,可以根据候选对象是否在预设地点办理业务,确定候选对象在该预设地点对应的地点目标值。示例性的,由于尽管进入预设地点边界范围,但并未办理业务的候选对象为目标对象的概率较大,因此当根据候选对象的动作,可以确定候选对象在预设地点未办理业务时,可以将候选对象在该预设地点对应的地点目标值设置的较大;若根据候选对象的动作,可以确定候选对象在预设地点办理业务,则可以将候选对象在该预设地点对应的地点目标值设置为0。

进一步地,可以根据候选对象在各预设地点对应的地点目标值,确定第二轨迹目标值,例如,可以通过对候选对象在各预设地点对应的地点目标值求和,获得第二轨迹目标值。本申请实施例对此不作具体限定。

本申请实施例提供的目标对象识别方法,可以根据候选对象在预设地点对应的动作,确定候选对象是否在预设地点内办理业务,并根据候选对象是否办理业务确定第二轨迹目标值,因此能够提升确定的第二轨迹目标值的精度。

在一个实施例中,如图7所示,步骤504中,根据候选对象与各待比较对象之间的距离确定第三轨迹目标值,包括:

步骤702,针对任一待比较对象,根据候选对象的运动轨迹,确定候选对象与待比较对象之间的距离小于距离阈值的时长,并根据候选对象与待比较对象之间的距离小于距离阈值的时长,确定候选对象针对待比较对象的对象目标值。

步骤704,根据候选对象针对各待比较对象的目标值,确定候选对象对应的第四轨迹目标值。

步骤706,根据候选对象的运动轨迹,确定候选对象与各待比较对象之间的距离小于距离阈值的次数,并根据候选对象与各待比较对象之间的距离小于距离阈值的次数确定第五轨迹目标值。

步骤708,根据第四轨迹目标值和第五轨迹目标值,确定第三轨迹目标值。

本申请实施例中,由于在候选对象与待比较对象之间的距离小于距离阈值的时间较长,或候选对象与不同的待比较对象之间的距离小于距离阈值的次数较多时,候选对象为目标对象的概率较大,因此可以根据候选对象与某一待比较对象之间的距离小于距离阈值的时长,确定候选对象针对待比较对象的对象目标值(候选对象与待比较对象之间的距离小于距离阈值的时长越长,候选对象针对待比较对象的对象目标值应越大),并根据候选对象针对全部待比较对象的对象目标值,确定第四轨迹目标值。例如,可以通过对候选对象针对各待比较对象的对象目标值求和,获得第四轨迹目标值,本申请实施例对此不作具体限定。

进一步地,还可以根据候选对象与各待比较对象之间的距离小于距离阈值的次数确定第五轨迹目标值,候选对象与各待比较对象之间的距离小于距离阈值的次数越多,第五轨迹目标值应越大。

进一步地,可以根据第四轨迹目标值和第五轨迹目标值获得第三轨迹目标值。例如,可以对第四轨迹目标值和第五轨迹目标值求和,以获得第三轨迹目标值。也可以为第四轨迹目标值和第五轨迹目标值分别赋予权重,通过对第四轨迹目标值和第五轨迹目标值加权求和,获得第三轨迹目标值。

本申请实施例提供的目标对象识别方法,可以根据候选对象与各待比较对象之间的距离小于距离阈值的时长确定第四轨迹目标值,并通过候选对象与选对象与各待比较对象之间的距离小于距离阈值的次数确定第五轨迹目标值,进而根据第四轨迹目标值和第五轨迹目标值确定第三轨迹目标值。由于第四轨迹目标值和第五轨迹目标值越大,候选对象为目标对象的概率也越高,同时根据第四轨迹目标值和第五轨迹目标值得到的第三轨迹目标值也越大,因此在根据第三轨迹目标值和第二轨迹目标值得到的第一轨迹目标值大于第一轨迹目标值阈值时,候选对象为目标对象的概率就较高,因此能够降低误判目标对象的概率。

为使本领域技术人员更好的理解本申请实施例,以下通过具体示例对本申请实施例加以说明。

本申请实施例中,上述目标对象识别方法可以应用于图8所示的目标对象识别系统中,其中图像采集设备/雷达设备801用于采集针对目标区域的数据,当本申请实施例应用于银行网点中的目标人员识别时,目标区域为网点厅堂区域;为保证候选对象的点云数据的丰富度和精度,设置图像采集设备/雷达设备时应保证各图像设备/雷达设备的采集范围能够全面覆盖目标区域。

主控单元802为目标对象识别系统的控制中心,控制协调各单元的正常运行。

视频流解析单元803用于获取图像采集设备采集的视频数据,并对视频数据进行解码操作。

历史档案处理单元804用于对历史含有目标对象的数据进行处理,获取历史目标对象的动作组。

实时检测单元804用于对针对目标区域采集的数据进行实时检测,检测出目标区域中存在的目标对象。

参数设置单元805用于设置业务参数,如目标值阈值、时长阈值、距离阈值等。

操作显示单元806用于对实时检测出的目标对象及时预警,向工作人员发送短信或邮件通知。

存储单元807用于对历史动作组、预设动作、实时预警等数据进行存储。

本申请实施例也可以通过图像采集设备拍摄的视频数据进行目标对象识别。如图9所示,示出了搭建历史目标对象数据库的流程图。示例性的,可以在工作人员确认某一时段内目标地点出现目标对象后,提取该时段内的视频数据,并使用OpenCV(一种开源计算机视觉库)将视频数据拆分为视频帧的图像数据。进一步地,可以通过YOLO(You Only LookOnce,一种目标检测算法)v5算法对所有图像数据进行候选对象检测和分割,得到包含候选对象的子图像数据,进而从子图像数据中过滤掉大小不符合筛选条件的候选对象,例如,筛选条件可以是候选对象的高宽比大于2、高大于128像素,以及宽大于96像素。

进一步地,可以根据目标对象对应的图像数据,从各子图像数据中筛选出对应目标对象的子图像数据。可以确定目标对象对应的图像数据和各子图像数据的相似度,并将相似度大于相似度阈值的子图像数据确定为对应目标对象的子图像数据,也即历史目标对象的子图像数据。示例性的,相似度阈值可以为0.7。

如图10所示,在实际应用中,可以获取针对目标区域实时采集的视频数据,并使用OpenCV将视频数据转换为视频帧的图像数据。进一步地,可以通过YOLO(You Only LookOnce,一种目标检测算法)v5算法对所有图像数据进行候选对象检测和分割,得到包含候选对象的子图像数据,并对子图像数据进行筛选。筛选条件同样可以是候选对象的高宽比大于2、高大于128像素,以及宽大于96像素。

进一步地,可以对子图像数据和历史目标对象数据库中的历史目标对象的子图像数据分别进行特征提取,并确定两者间的相似度,若相似度大于相似度阈值,则表明匹配成功,此时可以输出预警信息,通知工作人员进行核验。

或者,也可以通过DeepSORT(Deep Simple Online and Realtime Tracking,一种多目标跟踪算法)分别针对每个图像采集设备构建候选对象的轨迹,并对多个图像采集设备的轨迹进行人员重识别,绘制候选对象的全流程实时轨迹信息,进而根据轨迹信息判断候选对象是否为目标对象。判断逻辑为:(1)在目标区域的停留时间超过一定时长;(2)候选对象的轨迹(内部员工和保安通过服装排除在外)与其他对象的轨迹在一定距离内(比如0.5m)且时间超过一定时长(比如1分钟),同时这种情况发生多次,超过设定的次数(比如10次);(3)候选对象没有办理业务,判断逻辑为候选对象的轨迹与自助柜员机或柜台这些业务办理区域没有交集。这些规则可灵活组装配合使用。

在判断存在目标对象时,可以及时输出预警信息,其中可以包括候选对象的图像数据、轨迹数据等数据。

本申请实施例通过对目标区域的历史视频数据和实时视频数据进行处理,获取历史目标对象数据库以及实时检测目标对象,当出现目标对象时及时预警,通知工作人员核验,可以有效提升目标对象的确定效率。

应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。

基于同样的发明构思,本申请实施例还提供了一种用于实现上述所涉及的目标对象识别方法的目标对象识别装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个目标对象识别装置实施例中的具体限定可以参见上文中对于目标对象识别方法的限定,在此不再赘述。

在一个实施例中,如图11所示,提供了一种目标对象识别装置1100,包括:提取模块1102、第一确定模块1104、第二确定模块1106、第三确定模块1108,其中:

提取模块1102,用于从针对目标区域采集的数据中,提取候选对象的点云数据;

第一确定模块1104,用于根据所述候选对象的点云数据,确定所述候选对象的动作序列信息,所述动作序列信息包括由至少一个动作构建得到的动作序列;

第二确定模块1106,用于根据所述候选对象的动作序列信息,确定所述候选对象对应的目标值,所述目标值用于表征所述候选对象为目标对象的概率;

第三确定模块1108,用于根据所述候选对象对应的目标值,确定针对所述候选对象的目标对象识别结果。

本申请实施例提供的目标对象识别装置,通过提取候选对象的点云数据,并构建候选对象的动作序列信息,可以确定目标值,也即候选对象为目标对象的概率,进而根据目标值确定候选对象是否为目标对象。本申请实施例通过点云数据构建候选对象的动作序列信息,进而自动通过候选对象的动作序列判断候选对象是否为目标对象,可以提高目标对象的识别效率和识别精度。

在其中一个实施例中,所述第二确定模块1106,还用于:

从所述动作序列信息中,确定目标动作;

将所述目标动作与预设动作信息进行匹配,获得所述目标动作对应的匹配结果;

在所述匹配结果表征所述预设动作信息中存在与所述目标动作相匹配的预设动作的情况下,将所述目标动作作为起始动作;

根据所述起始动作,及所述动作序列信息中位于所述起始动作后的连续预设数量个动作,构建所述候选对象的动作组;

根据所述候选对象的动作组,确定所述候选对象对应的目标值。

在其中一个实施例中,所述装置还包括:

处理模块,用于在所述匹配结果表征所述预设动作信息中不存在与所述目标动作相匹配的预设动作的情况下,将所述动作序列信息中与所述目标动作相邻且位于所述目标动作后的动作作为目标动作,并重复将将所述目标动作与预设动作信息进行匹配,获得所述目标动作对应的匹配结果的步骤。

在其中一个实施例中,所述第二确定模块1106,还用于:

获取历史目标对象对应的历史动作组,所述历史目标对象为在历史目标对象识别过程中确定的目标对象;

针对任一所述历史目标对象,根据所述历史目标对象对应的历史动作组及所述候选对象的动作组,确定所述候选对象与所述历史目标对象的第一特征相似度;

根据所述候选对象与各所述历史目标对象对应的第一特征相似度,确定所述候选对象对应的目标值。

在其中一个实施例中,所述第三确定模块1108,还用于:

在所述候选对象对应的目标值大于目标值阈值的情况下,根据所述候选对象的点云数据,确定所述候选对象的运动轨迹;

根据所述候选对象的运动轨迹,确定第一轨迹目标值;

在所述第一轨迹目标值大于轨迹目标值阈值的情况下,将所述候选对象作为目标对象。

在其中一个实施例中,所述第三确定模块1108,还用于:

根据所述候选对象的运动轨迹,确定所述候选对象在各预设地点的停留时长,并根据所述候选对象在各预设地点的停留时长,确定第二轨迹目标值;

根据所述候选对象的运动轨迹,确定所述候选对象与各待比较对象之间的距离,并根据所述候选对象与各待比较对象之间的距离确定第三轨迹目标值,所述待比较对象为全部候选对象中,除所述候选对象之外的对象;

根据所述第二轨迹目标值和所述第三轨迹目标值,确定所述第一轨迹目标值。

在其中一个实施例中,所述第三确定模块1108,还用于:

针对任一所述预设地点,在所述候选对象在所述预设地点的停留时长小于时长阈值的情况下,根据所述停留时长,确定所述候选对象在所述预设地点对应的地点目标值;或者,

在所述停留时长大于或者等于时长阈值的情况下,根据所述动作序列信息中,所述候选对象在所述预设地点对应的动作,确定所述候选对象在所述预设地点对应的地点目标值;

根据所述候选对象在各所述预设地点对应的地点目标值,确定所述候选对象的第二轨迹目标值。

在其中一个实施例中,所述第三确定模块1108,还用于:

针对任一所述待比较对象,根据所述候选对象的运动轨迹,确定所述候选对象与所述待比较对象之间的距离小于距离阈值的时长,并根据所述候选对象与所述待比较对象之间的距离小于距离阈值的时长,确定所述候选对象针对所述待比较对象的对象目标值;

根据所述候选对象针对各所述待比较对象的对象目标值,确定所述候选对象对应的第四轨迹目标值;

根据所述候选对象的运动轨迹,确定所述候选对象与各所述待比较对象之间的距离小于所述距离阈值的次数,并根据所述候选对象与各所述待比较对象之间的距离小于所述距离阈值的次数确定第五轨迹目标值;

根据所述第四轨迹目标值和所述第五轨迹目标值,确定第三轨迹目标值。

上述目标对象识别装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中,提供了一种计算机设备,该计算机设备可以是服务器,其内部结构图可以如图12所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种目标对象识别方法。

本领域技术人员可以理解,图12中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。

在一个实施例中,提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。

在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。

需要说明的是,本申请所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本申请所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-OnlyMemory,ROM)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(ReRAM)、磁变存储器(Magnetoresistive Random Access Memory,MRAM)、铁电存储器(Ferroelectric Random Access Memory,FRAM)、相变存储器(Phase Change Memory,PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(Random Access Memory,RAM)或外部高速缓冲存储器等。作为说明而非局限,RAM可以是多种形式,比如静态随机存取存储器(Static Random Access Memory,SRAM)或动态随机存取存储器(Dynamic RandomAccess Memory,DRAM)等。本申请所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本申请所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。

以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本申请专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本申请构思的前提下,还可以做出若干变形和改进,这些都属于本申请的保护范围。因此,本申请的保护范围应以所附权利要求为准。

技术分类

06120115631897