一种基于密集关键点的人体姿态分析方法和系统

技术领域

本发明涉及计算机视觉的技术领域，尤其是一种基于密集关键点的人体姿态分析方法和系统。

背景技术

着科技的进步，视频监控领域已经从传统的预览、回放发展到在视频中智能提取有效目标信息，也就是视频结构化技术。视频结构化技术就是通过智能分析算法，从原始视频文件中自动检测场景中的运动目标例如人、车等，并分析提取该目标的属性信息，如性别，车辆颜色，车牌号等。视频结构化技术融合了机器视觉、图像处理、模式识别、机器学习等最前沿的人工智能技术，随着深度学习技术的发展和硬件设备的提升，深度学习应用已经相对成熟。

目标检测是视频结构化技术中重要的一部分，目标检测过程是从视频中提取前景目标，然后识别出前景目标是否为有效目标。在目标检测过程主要应用到运动目标检测、人脸检测和车辆检测等技术。目标检测与识别，作为计算机视觉领域的基石，也越来越受到重视。在实际生活中应用也越来越广泛，例如目标跟踪，视频监控，信息安全，自动驾驶，图像检索，医学图像分析，网络数据挖掘，无人机导航，遥感图像分析，国防系统等。在各国学者的共同努力下，目标检测与识别技术飞速发展，并使得最好的目标检测与识别算法在公开数据集上有着跨越式的进步，算法性能在不断地接近人类能力。

如今，目标检测与识别的研究方法主要分为两大类：一类是基于传统图像处理和机器学习算法的目标检测与识别方法，一类是基于深度学习的目标检测与识别方法。传统的目标检测与识别方法主要可以表示为：目标特征提取-目标识别-目标定位。这里所用到的特征都是人为设计的，例如SIFT(尺度不变特征变换匹配算法Scale Invariant FeatureTransform)，HOG(方向梯度直方图特征Histogram of Oriented Gradient)，SURF(加速稳健特征Speeded Up Robust Features)等。通过这些特征对目标进行识别，然后再结合相应的策略对目标进行定位。如今，基于深度学习的目标检测与识别成为主流方法，主要可以表示为：图像的深度特征提取-基于深度神经网络的目标识别与定位，其中主要用到深度神经网络模型是卷积神经网络CNN。目前可以将现有的基于深度学习的目标检测与识别算法大致分为一下三大类：一类是基于区域建议的目标检测与识别算法，如R-CNN，Fast-R-CNN，Faster-R-CNN；一类是基于回归的目标检测与识别算法，如YOLO，SSD；还有一类是基于搜索的目标检测与识别算法，如基于视觉注意的AttentionNet，基于强化学习的算法。

Faster R-CNN是一种基于深度学习的经典目标检测算法，该算法能够有效的检测并识别目标，但是对于行人小、类内差异大的情况时，则无法精确的检测，且其存在时间复杂度高，存在冗余窗口等问题。HOG+SVM算法是近年来得到广泛应用的一种传统算法，该算法通过计算方向梯度信息从而获取图像的纹理特征，能有效地识别行人模型，但是对于切割后的物体模型识别效果较差。虽然这种基于计算梯度获取特征的方法对于有明显边缘特征的效果不错，但对于一些边缘特征不明显的物体容易产生误判。

发明内容

为了解决现有技术中对于行人小、类内差异大的情况时，则无法精确的检测，且其存在时间复杂度高，存在冗余窗口、对于切割后的物体模型识别效果较差、对于一些边缘特征不明显的物体容易产生误判的技术问题，本发明提出了一种基于密集关键点的人体姿态分析方法和系统，解决了上述技术问题。

根据本发明的一个方面，提出了一种基于密集关键点的人体姿态分析方法，包括：

S1：将包含人体的图片转换为二维像素坐标和三维颜色的特征向量，基于颜色和距离聚类构建局部区域并输入卷积网络中提取局部特征；

S2：利用多层感知机提取图片的全局特征，融合全局特征和局部特征到全连接网络中获得每个像素的标签并分割出部件，获取各部件的密集关键点；

S3：获取密集关键点周围的最佳辅助关键像素坐标，构建包括密集关键点和最佳辅助关键像素的像素集合，叠加像素集合中的每个点的特征获得关键点的特征，进而获取各部位的关键点特征集；以及

S4：将各部位的关键点特征集输入到全连接网络中回归初人体姿态类别。

在一些具体的实施例中，步骤S1具体包括：均匀分配m个聚类中心{C

在一些具体的实施例中，各部件输入到特征金字塔网络中获得各部件的密集关键点。

在一些具体的实施例中，步骤S3中最佳辅助关键像素坐标的获取方式具体包括：以每个密集关键点为中心原点，计算xy平面上每个点的方位角θ和半径r，构建极坐标系，获取不同部位的部位所占像素的数量与部位关键点数量的比值k，利用最邻近算法获取中心原点周围的k个最佳辅助关键像素坐标。

在一些具体的实施例中，构建包括关键点与最佳辅助关键像素在内的像素集合{x

在一些具体的实施例中，利用线性函数

在一些具体的实施例中，利用核函数

根据本发明的第二方面，提出了一种计算机可读存储介质，其上存储有一或多个计算机程序，该一或多个计算机程序被计算机处理器执行时实施上述任一项的方法。

根据本发明的第三方面，提出了一种基于密集关键点的人体姿态分析系统，系统包括：

特征提取单元：配置用于将包含人体的图片转换为二维像素坐标和三维颜色的特征向量，基于颜色和距离聚类构建局部区域并输入卷积网络中提取局部特征；

密集关键点获取单元：配置用于利用多层感知机提取图片的全局特征，融合全局特征和局部特征到全连接网络中获得每个像素的标签并分割出部件，将每个部件输入到特征金字塔网络中获取各部件的密集关键点；

关键点特征集获取单元：配置用于获取密集关键点周围的最佳辅助关键像素坐标，构建包括密集关键点和最佳辅助关键像素的像素集合，叠加像素集合中的每个点的特征获得关键点的特征，进而获取各部位的关键点特征集；以及

姿态分析单元：配置用于将各部位的关键点特征集输入到全连接网络中回归初人体姿态类别。

在一些具体的实施例中，关键点特征集获取单元具体配置为：以每个密集关键点为中心原点，计算xy平面上每个点的方位角θ和半径r，构建极坐标系，获取不同部位的部位所占像素的数量与部位关键点数量的比值k，利用最邻近算法获取中心原点周围的k个最佳辅助关键像素坐标；构建包括关键点与最佳辅助关键像素在内的像素集合{x

本发明的基于密集关键点的人体姿态分析方法和系统对图像人体的关键部位特征有了很好地提取，可以有效的对每个关键点截取其周围的部分区域弥补了HOG与FasterR-CNN的缺点，可以与HOG与Faster R-CNN算法有很好地结合，同时，本发明很好的保持了物体的细节和几何特征并未出现畸变。

附图说明

包括附图以提供对实施例的进一步理解并且附图被并入本说明书中并且构成本说明书的一部分。附图图示了实施例并且与描述一起用于解释本发明的原理。将容易认识到其它实施例和实施例的很多预期优点，因为通过引用以下详细描述，它们变得被更好地理解。通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：

图1是本申请的一个实施例的基于密集关键点的人体姿态分析方法流程图；

图2是本申请的一个具体的实施例的人体姿态的分析方法流程图；

图3是本申请的一个实施例的基于密集关键点的人体姿态分析系统的框架图；

图4是适于用来实现本申请实施例的电子设备的计算机系统的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关发明，而非对该发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关发明相关的部分。

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

根据本申请的一个实施例的基于密集关键点的人体姿态分析方法，图1示出了根据本申请的实施例的基于密集关键点的人体姿态分析方法流程图。如图1所示，该方法包括：

S101：将包含人体的图片转换为二维像素坐标和三维颜色的特征向量，基于颜色和距离聚类构建局部区域并输入卷积网络中提取局部特征。

在具体的实施例中，均匀分配m个聚类中心{C

S102：利用多层感知机提取图片的全局特征，融合全局特征和局部特征到全连接网络中获得每个像素的标签并分割出部件，获取各部件的密集关键点。

在具体的实施例中，各部件输入到特征金字塔网络中获取各部件的密集关键点。特征金字塔网络(FeaturePyramidNetwork,FPN)是为金字塔概念设计的特征提取器，设计时考虑到了精确性和速度。它代替了FasterR-CNN之类的检测模型的特征提取器，生成多层特征映射(多尺度特征映射)，信息的质量比普通的用于特征检测的特征金字塔更好。

S103：获取密集关键点周围的最佳辅助关键像素坐标，构建包括密集关键点和最佳辅助关键像素的像素集合，叠加像素集合中的每个点的特征获得关键点的特征，进而获取各部位的关键点特征集。

在具体的实施例中，以每个密集关键点为中心原点，计算xy平面上每个点的方位角θ和半径r，构建极坐标系，获取不同部位的部位所占像素的数量与部位关键点数量的比值k，利用最邻近算法获取中心原点周围的k个最佳辅助关键像素坐标。构建包括关键点与最佳辅助关键像素在内的像素集合{x

S104：将各部位的关键点特征集输入到全连接网络中回归初人体姿态类别。

本发明的一种基于密集关键点的人体姿态分析方法的关键点在于根据人体像素分布特点，将笛卡尔坐标系转换为基于关键点的笛卡尔坐标系，构建包括关键点与最佳辅助关键像素在内的像素集合，计算每个辅助关键像素与关键点像素的线性相关性并通过核函数对像素进行特征变换，最终将每个点的特征叠加起来，作为关键点特征，以此类推，构建关键点特征集，进而回归出人体姿态类别。

继续参考图2，图2示出了根据本申请的一个具体的实施例的人体姿态分析流程图，如图2所示，包括：

S201：将输入图像转换为包含二维像素坐标和三维颜色的5维特征向量。

S202：均匀分配m个聚类中心{C

S203：利用聚类结果构建局部区域，输入到卷积网络中提取局部特征F

S204：将整张图片输入到多层感知机层中提取全局特征F

S205：将全局特征与局部特征融合输入到全连接网络中得到每个像素的标签，进而分割出部件。

S206：将每个部件输入到特征金字塔网络中得到每个部件的密集关键点。

S207：以每个密集关键点为中心原点X

S208：由于点密集地集中在以关键点为中心的中间网格像素单元，外围网格像素单元几乎没有人体像素，因此根据每个中心点方位角θ和半径r，构建极坐标系。

S209：根据每个部位所占像素的数量S除以部位关键点数量N，求出k＝S/N，确定K在不同部位的取值。

S210：通过KNN算法查询X

S211：构建包括关键点与最佳辅助关键像素在内的像素集合{x

S212：计算每个辅助关键像素与关键点像素的线性相关性，线性函数为：

S213：用核函数

S214：对于像素集合内每个点，都用步骤113的方法，得出一个新的特征序列。

S215：将每个点的特征叠加起来，作为关键点的特征

S216：对于每个关键点都采取步骤107-115操作，进而得到每个部位的关键点特征集

S217：将出每个部位的关键点特征集输入到全连接网络回归出人体姿态类别。

该人体姿态的估计方法根据人体像素分布特点，将笛卡尔坐标系转换为基于关键点的笛卡尔坐标系，根据每个部位所占像素的数量S除以部位关键点数量N，求出k＝S/N，确定K个最佳辅助关键像素坐标，计算每个辅助关键像素与关键点像素的线性相关性。通过核函数对像素进行特征变换，将像素集合内每个点的特征叠加起来作为关键点特征，有效地利用人体部位属性提高对姿态进行分析的精度。。

继续参考图3，图3示出了根据本申请的一个实施例的基于密集关键点的人体姿态分析系统的框架图。该系统具体包括特征提取单元301、密集关键点获取单元302、关键点特征集获取单元303和姿态分析单元304。

在具体的实施例中，特征提取单元301配置用于将包含人体的图片转换为二维像素坐标和三维颜色的特征向量，基于颜色和距离聚类构建局部区域并输入卷积网络中提取局部特征；密集关键点获取单元302配置用于利用多层感知机提取图片的全局特征，融合全局特征和局部特征到全连接网络中获得每个像素的标签并分割出部件，将每个部件输入到特征金字塔网络中获取各部件的密集关键点；关键点特征集获取单元303配置用于获取密集关键点周围的最佳辅助关键像素坐标，构建包括密集关键点和最佳辅助关键像素的像素集合，叠加像素集合中的每个点的特征获得关键点的特征，进而获取各部位的关键点特征集；姿态分析单元304配置用于将各部位的关键点特征集输入到全连接网络中回归初人体姿态类别。

在具体的实施例中，关键点特征集获取单元303具体配置为：以每个密集关键点为中心原点，计算xy平面上每个点的方位角θ和半径r，构建极坐标系，获取不同部位的部位所占像素的数量与部位关键点数量的比值k，利用最邻近算法获取中心原点周围的k个最佳辅助关键像素坐标；构建包括关键点与最佳辅助关键像素在内的像素集合{x

下面参考图4，其示出了适于用来实现本申请实施例的电子设备的计算机系统400的结构示意图。图4示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图4所示，计算机系统400包括中央处理单元(CPU)401，其可以根据存储在只读存储器(ROM)402中的程序或者从存储部分408加载到随机访问存储器(RAM)403中的程序而执行各种适当的动作和处理。在RAM 403中，还存储有系统400操作所需的各种程序和数据。CPU 401、ROM 402以及RAM 403通过总线404彼此相连。输入/输出(I/O)接口405也连接至总线404。

以下部件连接至I/O接口405：包括键盘、鼠标等的输入部分406；包括诸如液晶显示器(LCD)等以及扬声器等的输出部分407；包括硬盘等的存储部分408；以及包括诸如LAN卡、调制解调器等的网络接口卡的通信部分409。通信部分409经由诸如因特网的网络执行通信处理。驱动器410也根据需要连接至I/O接口405。可拆卸介质411，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器410上，以便于从其上读出的计算机程序根据需要被安装入存储部分408。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读存储介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信部分409从网络上被下载和安装，和/或从可拆卸介质411被安装。在该计算机程序被中央处理单元(CPU)401执行时，执行本申请的方法中限定的上述功能。需要说明的是，本申请的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读存储介质，该计算机可读存储介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本申请的操作的计算机程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。

附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的模块可以通过软件的方式实现，也可以通过硬件的方式来实现。

作为另一方面，本申请还提供了一种计算机可读存储介质，该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。上述计算机可读存储介质承载有一个或者多个程序，当上述一个或者多个程序被该电子设备执行时，使得该电子设备：将包含人体的图片转换为二维像素坐标和三维颜色的特征向量，基于颜色和距离聚类构建局部区域并输入卷积网络中提取局部特征；利用多层感知机提取图片的全局特征，融合全局特征和局部特征到全连接网络中获得每个像素的标签并分割出部件，获取各部件的密集关键点；获取密集关键点周围的最佳辅助关键像素坐标，构建包括密集关键点和最佳辅助关键像素的像素集合，叠加像素集合中的每个点的特征获得关键点的特征，进而获取各部位的关键点特征集；将各部位的关键点特征集输入到全连接网络中回归初人体姿态类别。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解，本申请中所涉及的发明范围，并不限于上述技术特征的特定组合而成的技术方案，同时也应涵盖在不脱离上述发明构思的情况下，由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。