一种行为识别方法、装置及设备

技术领域

本发明涉及行为识别技术领域，特别是涉及一种行为识别方法、装置及设备。

背景技术

在一些应用场景中，为了便于对特定的人员、猫、狗、车辆等对象进行管理，需要获取这些对象的行为。示例性的，为了便于对医院中的病人进行管理，可以对走廊中的病人进行行为识别，以确定病人是否发生摔倒、磕碰等可能影响病人安全的行为，以便于相关人员及时进行救助。

相关技术中，可以根据监控视频中相邻视频帧之间的变化确定出运动对象，并模拟得到运动对象的运动轨迹，根据运动对象的运动轨迹以及监控视频确定运动对象是否存在异常行为。

但是，该方案只能够对运动对象的行为进行识别，而运动对象可能是用户感兴趣的对象，也可能是用户不感兴趣的对象，例如，走廊上的运动对象可能是用户感兴趣的病人，也可能是用户不感兴趣的医护人员。因此该方案无法针对用户感兴趣的特定对象进行行为识别。

发明内容

本发明实施例的目的在于提供一种行为识别方法、装置及设备，以实现有针对性的进行行为识别，从而得到用户感兴趣的对象的行为识别结果。具体技术方案如下：

在本发明实施例的第一方面，提供了一种行为识别方法，所述方法包括：

对待处理图像进行实例分割，确定所述待处理图像中各像素点所属实例；

从所述待处理图像中提取所述待处理图像中属于目标实例的像素点，得到所述目标实例的实例图像；

对所述实例图像进行行为识别，得到所述目标实例的行为识别结果。

在一种可能的实施例中，所述从所述待处理图像中提取所述待处理图像中属于目标实例的像素点，得到所述目标实例的实例图像，包括：

基于所述待处理图像中属于目标实例的像素点，确定包络框，所述包络框为将所有属于所述目标实例的像素点包括在内的矩形框；

获取所述包络框内的图像，得到所述目标实例的实例图像。

在一种可能的实施例中，所述获取所述包络框内的图像，得到所述目标实例的实例图像，包括：

将位于所述包络框内且不属于所述目标实例的像素点的像素值设置为预设像素值，得到所述目标实例的实例图像。

在一种可能的实施例中，在所述从所述待处理图像中提取所述待处理图像中属于目标实例的像素点，得到所述目标实例的实例图像之后，所述方法还包括：

缓存所述目标实例的实例图像；

如果已经缓存的所述目标实例的实例图像尚未达到预设数目阈值，则选取新的待处理图像，并返回执行所述对待处理图像进行实例分割，确定所述待处理图像中各像素点所属实例的步骤；

所述对所述实例图像进行行为识别，得到所述目标实例的行为识别结果，包括：

如果已经缓存的所述目标实例的实例图像已经达到预设数目阈值，则对已经缓存的所述目标实例的所有实例图像共同进行行为识别，得到所述目标实例的行为识别结果。

在一种可能的实施例中，在所述对已经缓存的所述目标实例的所有实例图像共同进行行为识别，得到所述目标实例的行为识别结果之后，所述方法还包括：

删除最早缓存的所述目标实例的实例图像；

选取新的待处理图像，并返回执行所述对待处理图像进行实例分割，确定所述待处理图像中各像素点所属实例的步骤。

在本发明实施例的第二方面，提供了一种行为识别设备，所述行为识别设备，包括：

图像采集单元，用于采集待处理图像；

第一处理器，对所述图像采集单元采集的待处理图像进行实例分割，确定所述待处理图像中各像素点所属实例；从所述待处理图像中提取所述待处理图像中属于目标实例的像素点，得到所述目标实例的实例图像；对所述实例图像进行行为识别，得到所述目标实例的行为识别结果

在本发明实施例的第三方面，提供了一种行为识别装置，所述装置包括：

实例确定模块，用于对待处理图像进行实例分割，确定所述待处理图像中各像素点所属实例；

图像提取模块，用于从所述待处理图像中提取所述待处理图像中属于目标实例的像素点，得到所述目标实例的实例图像；

行为识别模块，用于对所述实例图像进行行为识别，得到所述目标实例的行为识别结果。

在一种可能的实施例中，所述图像提取模块从所述待处理图像中提取所述待处理图像中属于目标实例的像素点，得到所述目标实例的实例图像，包括：

基于所述待处理图像中属于目标实例的像素点，确定包络框，所述包络框为将所有属于所述目标实例的像素点包括在内的矩形框；

获取所述包络框内的图像，得到所述目标实例的实例图像。

在一种可能的实施例中，所述图像提取模块获取所述包络框内的图像，得到所述目标实例的实例图像，包括：

将位于所述包络框内且不属于所述目标实例的像素点的像素值设置为预设像素值，得到所述目标实例的实例图像。

在一种可能的实施例中，所述装置包括缓存模块，用于缓存所述目标实例的实例图像；

所述实例确定模块，还用于如果已经缓存的所述目标实例的实例图像尚未达到预设数目阈值，则选取新的待处理图像，并返回执行所述对待处理图像进行实例分割，确定所述待处理图像中各像素点所属实例的步骤；

所述行为识别模块对所述实例图像进行行为识别，得到所述目标实例的行为识别结果，包括：

如果已经缓存的所述目标实例的实例图像已经达到预设数目阈值，则对已经缓存的所述目标实例的所有实例图像共同进行行为识别，得到所述目标实例的行为识别结果。

在一种可能的实施例中，所述装置包括缓存模块，用于缓存所述目标实例的实例图像；

所述实例确定模块，还用于如果已经缓存的所述目标实例的实例图像尚未达到预设数目阈值，则选取新的待处理图像，并返回执行所述对待处理图像进行实例分割，确定所述待处理图像中各像素点所属实例的步骤；

所述行为识别模块对所述实例图像进行行为识别，得到所述目标实例的行为识别结果，包括：

如果已经缓存的所述目标实例的实例图像已经达到预设数目阈值，则对已经缓存的所述目标实例的所有实例图像共同进行行为识别，得到所述目标实例的行为识别结果。

在本发明实施例的第四方面，提供了一种电子设备，包括：

存储器，用于存放计算机程序；

第二处理器，用于执行存储器上所存放的程序时，实现上述第一方面任一所述的方法步骤。

在本发明实施例的到第五方面，提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面任一所述的方法步骤。

本发明实施例有益效果：

本发明实施例提供的行为识别方法、装置及设备，可以通过实例分割从待处理图像中确定出属于目标实例的像素点，从而获取到目标实例的实例图像，由于目标实例的实例图像是基于目标实例的像素点得到的，因此目标实例的实例图像中不包含或者仅包含较少的属于其他实例的像素点，因此对目标实例的实例图像进行行为识别，得到的行为识别结果可以准确的反映出目标实例的行为，而不会或者仅会较少的受到其他实例的行为的影响，因此可以有针对性的进行行为识别，得到用户感兴趣的实例的行为识别结果。

当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，还可以根据这些附图获得其他的实施例。

图1为本发明实施例提供的行为识别方法的一种流程示意图；

图2为本发明实施例提供的行为识别方法的另一种流程示意图；

图3为本发明实施例提供的行为识别方法的另一种流程示意图；

图4为本发明实施例提供的行为识别装置的一种结构示意图；

图5为本发明实施例提供的行为识别设备的一种结构示意图；

图6为本发明实施例提供的电子设备的一种结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员基于本申请所获得的所有其他实施例，都属于本发明保护的范围。

参见图1，图1所示为本发明实施例提供的行为识别方法，可以包括：

S101，对待处理图像进行实例分割，确定待处理图像中各像素点所属实例。

S102，从待处理图像中提取待处理图像中属于目标实例的像素点，得到目标实例的实例图像。

S103，对实例图像进行行为识别，得到目标实例的行为识别结果。

选用该实施例，可以通过实例分割从待处理图像中确定出属于目标实例的像素点，从而获取到目标实例的实例图像，由于目标实例的实例图像是基于目标实例的像素点得到的，因此目标实例的实例图像中不包含或者仅包含较少的属于其他实例的像素点，因此对目标实例的实例图像进行行为识别，得到的行为识别结果可以准确的反映出目标实例的行为，而不会或者仅会较少的受到其他实例的行为的影响，因此可以有针对性的进行行为识别，得到用户感兴趣的实例的行为识别结果。

其中，在S101中，所采用的实例分割方式根据应用场景的不同可以不同，本实施例对此不做任何限制。但是所采用的实例分割方式应当至少具备从图像中分割出目标实例的能力。示例性的，假设目标实例为指定人员，则所采用的实例分割方式应当至少具备从图像中分割出该指定人员的人员图像的能力。

本文中的目标实例可以是指与用户感兴趣的对象对应的实例，例如用户感兴趣的对象为指定人员，并且指定人员与实例人员A对应，则目标实例为实例人员A。

进行实例分割得到的结果可以是以多个掩码值表示的，其中每个掩码值与待处理图像中的一个像素点对应，并且该掩码值用于表示所对应的像素点所属的实例。示例性的，在一种可能的实施例中，掩码值等于0时表示所对应的像素点属于背景，掩码值等于1时表示所对应的像素点属于实例：人员A，掩码值等于2时表示所对应的像素点属于实例：人员B，掩码值等于3时表示所对应的像素点属于实例：猫。

在S102中，可以是提取待处理图像中包络框内的图像，得到目标实例的实例图像。在包络框的确定方式根据应用场景的不同可以不同，但是包络框应当为将所有属于目标实例的像素点包括在内的矩形框。

示例性的，在一种可能的实施例中，该包络框可以基于待处理图像中属于目标实例的像素点确定得到的，例如可以是将所有属于目标实例的像素点包括在内的最小矩形框确定为包络框，也可以是将在该最小矩形框的基础上向外扩展预设个像素得到的矩形框确定为包络框。

获取包络框内的图像可以是指获取待处理图像中包络框所包围的区域内的图像，可以是直接获取待处理图像中包络框所包围的区域内的图像，也可以是在对待处理图像中包络框所包围的区域内的图像进行处理后再获取。

示例性的，在一种可能的实施例中，可以是将位于包络框内且不属于目标实例的像素点的像素值设置为预设像素值，得到目标实例的实例图像。其中，预设像素值可以是根据实际需求或用户经验设置的。

例如，预设像素值可以为纯黑色对应的像素值，即(0,0,0)，在其他可能的实施例中，预设像素值也可以是其他像素值。如绿色对应的像素值、蓝色对应的像素值等。

可以理解的是，将包络框内且不属于目标实例的像素点的像素值设置为预设像素值，可以在后续行为识别的过程中更好的区别属于目标实例的像素点以及不属于目标实例的像素点，避免或降低不属于目标实例的像素点的像素值对行为识别结果产生影响，从而进一步提高行为识别的针对性。

在S103中，对实例图像进行行为识别时，可以是对目标实例的单张实例图像进行行为识别，也可以是对目标实例的多张实例图像共同进行行为识别。

可以理解的是，一个行为的执行过程中，实例的姿态往往会发生变化，例如，在起立这一行为的过程中人员的姿态将逐渐从坐姿变化为站姿，而在两个不同行为的执行过程中的部分时间内，实例可能处于相同的姿态，例如，在起立这一行为的过程中人员在某一时刻可能处于站立的姿态，而在坐下这一行为的过程中人员在某一时刻也可能处于站立的姿态。

因此，如果得到的人员的实例图像中人员处于站立姿态，则难以根据该实例图像区别该人员的行为是起立还是坐下。因此，在一种可能的实施例中，可以是对目标实例的多张实例图像共同进行行为识别，其中，目标实例的多张实例图像是从拍摄于不同时间的待处理图像中分别提取得到的。例如可以是从监控视频中的不同视频帧中提取得到的。

选用该实施例，可以综合不同时间拍摄得到的待处理图像中的信息，共同判断目标实例的行为，以提高行为识别的准确性。

为了对该实施例进行更清楚的说明，下面将进行示例性的说明，可以参见图2，图2所示为本发明实施例提供的行为识别方法的另一种流程示意图，可以包括：

S201，对待处理图像进行实例分割，确定待处理图像中各像素点所属实例。

该步骤与S101相同，可以参见前述S101的相关说明，在此不再赘述。

S202，从待处理图像中提取待处理图像中属于目标实例的像素点，得到目标实例的实例图像。

该步骤与S102相同，可以参见前述S102的相关说明，在此不再赘述。

S203，缓存目标实例的实例图像。

S204，判断已缓存的目标实例的实例图像是否已经达到预设数目阈值，如果达到，则执行S205，如果尚未达到则执行S206。

其中，预设数目阈值可以是根据实际需求和/或用户经验设置的，如7、8、9等。例如，假设预先训练得到的用于进行行为识别的神经网络的输入为8个实例图像，则可以将预设数目阈值设置为8。又例如，假设用户根据经验发现根据9个实例图像共同进行行为识别时，得到的行为识别结果的准确性往往能够满足实际需求，则可以将预设数目阈值设置为9。

S205，对已经缓存的目标实例的所有实例图像共同进行行为识别，得到目标实例的行为实例结果。

共同进行行为识别可以是指：利用任意行为识别方式，将已经缓存的目标实例的所有实例图像统一映射至一个行为识别结果。示例性的，可以是将已经缓存的目标实例的所有实例图像输入至预先经过训练的用于进行行为识别的神经网络，得到该神经网络输出的行为识别结果。

S206，选取新的待处理图像，并返回执行S201。

新的待处理图像的选取方式根据应用场景的不同可以不同，考虑到一个行为持续的时长往往有限，因此所选取的新的待处理图像与原先的待处理图像的拍摄时间之间的间隔应当小于预设时间阈值，如1s、0.5s、2s等。在一种可能的实施例中，新的待处理图像与原先的待处理图像可以是同一监控视频中相邻的两个视频帧。

在一种可能的实施例中，可以对目标实例进行持续的行为识别，示例性的，可以参见图3，图3所示为本发明实施例提供的行为识别方法的另一种流程示意图，可以包括：

S301，对待处理图像进行实例分割，确定待处理图像中各像素点所属实例。

该步骤与S101相同，可以参见前述S101的相关说明，在此不再赘述。

S302，从待处理图像中提取待处理图像中属于目标实例的像素点，得到目标实例的实例图像。

该步骤与S102相同，可以参见前述S102的相关说明，在此不再赘述。

S303，缓存目标实例的实例图像。

S304，判断已缓存的目标实例的实例图像是否已经达到预设数目阈值，如果达到，则执行S305，如果尚未达到则执行S306。

该步骤与前述S204相同，可以参见前述S204的相关说明，在此不再赘述。

S305，对已经缓存的目标实例的所有实例图像共同进行行为识别，得到目标实例的行为实例结果。

该步骤与前述S305相同，可以参见前述S204的相关说明，在此不再赘述。

S306，删除最早的目标实例的实例图像。

S307，选取新的待处理图像，并返回执行S301。

参见图4，图4所示为本发明实施例提供行为识别装置的一种结构示意图，可以包括：

实例确定模块401，用于对待处理图像进行实例分割，确定所述待处理图像中各像素点所属实例；

图像提取模块402，用于从所述待处理图像中提取所述待处理图像中属于目标实例的像素点，得到所述目标实例的实例图像；

行为识别模块403，用于对所述实例图像进行行为识别，得到所述目标实例的行为识别结果。

在一种可能的实施例中，所述图像提取模块402从所述待处理图像中提取所述待处理图像中属于目标实例的像素点，得到所述目标实例的实例图像，包括：

基于所述待处理图像中属于目标实例的像素点，确定包络框，所述包络框为将所有属于所述目标实例的像素点包括在内的矩形框；

获取所述包络框内的图像，得到所述目标实例的实例图像。

在一种可能的实施例中，所述图像提取模块402获取所述包络框内的图像，得到所述目标实例的实例图像，包括：

将位于所述包络框内且不属于所述目标实例的像素点的像素值设置为预设像素值，得到所述目标实例的实例图像。

在一种可能的实施例中，所述装置包括缓存模块，用于缓存所述目标实例的实例图像；

所述实例确定模块401，还用于如果已经缓存的所述目标实例的实例图像尚未达到预设数目阈值，则选取新的待处理图像，并返回执行所述对待处理图像进行实例分割，确定所述待处理图像中各像素点所属实例的步骤；

所述行为识别模块403对所述实例图像进行行为识别，得到所述目标实例的行为识别结果，包括：

如果已经缓存的所述目标实例的实例图像已经达到预设数目阈值，则对已经缓存的所述目标实例的所有实例图像共同进行行为识别，得到所述目标实例的行为识别结果。

在一种可能的实施例中，所述缓存模块，还用于在所述对已经缓存的所述目标实例的所有实例图像共同进行行为识别，得到所述目标实例的行为识别结果之后，删除最早缓存的所述目标实例的实例图像；

所述实例确定模块401，还用于选取新的待处理图像，并返回执行所述对待处理图像进行实例分割，确定所述待处理图像中各像素点所属实例的步骤。

参见图5，图5所示为本发明实施例提供的行为识别设备的一种结构示意图，可以包括：

图像采集单元501，用于采集待处理图像；

第一处理器502，对所述图像采集单元401采集的待处理图像进行实例分割，确定所述待处理图像中各像素点所属实例；从所述待处理图像中提取所述待处理图像中属于目标实例的像素点，得到所述目标实例的实例图像；对所述实例图像进行行为识别，得到所述目标实例的行为识别结果。

其中，图像采集单元501可以为任意具备图像采集能力的电路单元，并且图像采集单元501与第一处理器502之间可以集成于一体的，也可以是分布式的。示例性的，行为识别设备可以是一种摄像机。

处理器502所执行的步骤可以参见前述关于行为识别方法的相关说明，在此不再赘述。

并且发明实施例提供的行为识别设备还可以包括除图像采集单元501、第一处理器502以外的其他电路单元，如通信总线、通信接口、存储器等。

参见图6，图6所示为本发明实施例提供的电子设备的一种结构示意图，可以包括：

存储器601，用于存放计算机程序；

第二处理器602，用于执行存储器上所存放的程序时，实现如下步骤：

对待处理图像进行实例分割，确定所述待处理图像中各像素点所属实例；

从所述待处理图像中提取所述待处理图像中属于目标实例的像素点，得到所述目标实例的实例图像；

对所述实例图像进行行为识别，得到所述目标实例的行为识别结果。

并且发明实施例提供的行为识别设备还可以包括除存储器601、第二处理器602以外的其他电路单元，如通信总线、通信接口、存储器等。

上述行为识别设备以及电子设备提到的通信总线可以是外设部件互连标准(Peripheral Component Interconnect，PCI)总线或扩展工业标准结构(ExtendedIndustry Standard Architecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述行为识别设备与其他设备之间的通信。

存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本发明提供的又一实施例中，还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述任一行为识别方法的步骤。

在本发明提供的又一实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述实施例中任一行为识别方法。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、行为识别设备、电子设备、计算机可读存储介质以及计算机程序产品的实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。