关联模型算法的边界识别辅助方法、装置及电子设备

技术领域

本发明属于图像处理技术领域，具体而言，涉及关联模型算法的边界识别辅助方法、装置及电子设备。

背景技术

在采集的图像画面中，只有一个人物的时候，人物在图像中的位置不协调，人物在图像中的大小不合理，导致图像不清晰；多个人的时候，会出现图像中间的人出境，而旁边的人出境用一部分或者完全看不到，不符合多人会议或者远程协作的需求。

目前的人脸识别算法、人形识别算法、头肩算法、图像采集技术、AI相关技术算法等已经发展成熟，但是多个算法之间缺少关联，而且算法比较固定，没有训练方法改进，一套算法在设备上永久的使用，用户体验差。

发明内容

为了解决上述技术问题，本发明提供关联模型算法的边界识别辅助方法、装置及电子设备。

第一方面，本发明提供了关联模型算法的边界识别辅助方法，包括步骤：

采集包含人脸的图像；

设定所述图像的参数，建立坐标系；

利用人脸识别算法识别所述图像中的人脸特征，确定所述图像中包含人脸的人物图像的位置和数量；

获取所述人物图像的运动状态；

根据所述人物图像的运动状态，结合所述人物图像的位置和数量，利用头肩识别算法进行头肩识别确定人物的头肩位置，利用人形识别算法进行人形识别确定人形位置；

根据所述头肩位置与所述人形位置，确定人物边界；

在所述图像中设定图像边界线；所述图像边界线用于约束所述人物图像的活动轨迹范围；

获取所述人物图像的基准点的坐标，计算所述人物图像的面积，确定所述人物图像的最佳放大面积；

根据所述人物边界与所述图像边界线，建立所述人物图像的活动轨迹范围模型；

根据所述活动轨迹范围模型，将所述图像中各个所述人物图像放大至所述最佳放大面积。

第二方面，本发明提供了关联模型算法的边界识别辅助装置，包括采集单元、第一设定单元、人脸识别单元、获取单元、位置识别单元、第一处理单元、第二设定单元、第二处理单元、模型建立单元与放大处理单元；

所述采集单元，用于采集包含人脸的图像；

所述第一设定单元，用于设定所述图像的参数，建立坐标系；

所述人脸识别单元，用于利用人脸识别算法识别所述图像中的人脸特征，确定所述图像中包含人脸的人物图像的位置和数量；

所述获取单元，用于获取所述人物图像的运动状态；

所述位置识别单元，用于根据所述人物图像的运动状态，结合所述人物图像的位置和数量，利用头肩识别算法进行头肩识别确定人物的头肩位置，利用人形识别算法进行人形识别确定人形位置；

所述第一处理单元，用于根据所述头肩位置与所述人形位置，确定人物边界；

所述第二设定单元，用于在所述图像中设定图像边界线；所述图像边界线用于约束所述人物图像的活动轨迹范围；

所述第二处理单元，用于获取所述人物图像的基准点的坐标，计算所述人物图像的面积，确定所述人物图像的最佳放大面积；

所述模型建立单元，用于根据所述人物边界与所述图像边界线，建立所述人物图像的活动轨迹范围模型；

所述放大处理单元，用于根据所述活动轨迹范围模型，将所述图像中各个所述人物图像放大至所述最佳放大面积。

第三方面，本发明提供了一种电子设备，包括:

处理器和存储器；

所述存储器，用于存储计算机操作指令；

所述处理器，用于通过调用所述计算机操作指令，执行权利要求1至6中任一项所述的方法。

本发明的有益效果是：本发明通过人形识别与头肩识别相结合的方式，能够保证人脸图像在图像中保持最佳放大倍数，避免出现人脸图像偏位或者缺失的问题，实现单个场景和多个复杂环境的人物图像智能化处理。

在上述技术方案的基础上，本发明还可以做如下改进。

进一步，根据所述人物图像的运动状态，结合所述人物图像的位置和数量，利用头肩识别算法进行头肩识别确定人物的头肩位置，利用人形识别算法进行人形识别确定人形位置，包括：

当所述人物图像的数量为一个时，利用头肩识别算法进行头肩识别确定人物的头肩位置，所述人形位置与所述头肩位置相同；

当所述人物图像的数量至少有两个时，若所述人物图像为静止状态，则利用头肩识别算法进行头肩识别确定人物的头肩位置，所述人形位置与所述头肩位置相同；若所述人物图像为运动状态，则利用头肩识别算法进行头肩识别确定所述人物图像的头肩位置，同时利用人形识别算法进行人形识别确定所述人形位置。

进一步，所述图像参数包括图像分辨率与图像放大倍数。

进一步，所述人物图像的基准点包括人物头部中点、人物两侧最远点以及人物下方中点。

进一步，根据所述人物边界与所述图像边界线，建立所述人物图像的活动轨迹范围模型，包括：

在所述图像边界线内，所述人物图像在设定范围内活动，所述人物图像在第一坐标轴方向的移动范围满足第一设定范围，所述人物图像在第二坐标轴方向的移动范围满足第二设定范围。

进一步，建立所述活动轨迹范围模型，还包括：获取头颈肩肘比例；

根据所述头颈肩肘比例设定颈部俯仰范围、手臂活动范围、肩膀活动范围与肩肘活动范围；

当人物头部在所述肩膀活动范围内，或者所述手臂活动范围、所述肩膀活动范围在人所述物图像的中心轴未出现偏移，或者所述颈部活动俯仰范围在人物头长的设定倍数范围，则不对所述人物图像进行移动处理；否则，当人物头部在所述肩膀活动范围内，或者所述手臂活动范围、所述肩膀活动范围在人物图像的中心轴出现偏移，或者所述颈部活动俯仰范围在所述头长的设定倍数范围，则移动所述人物图像，使得人物头部在所述肩膀活动范围内，所述手臂活动范围、所述肩膀活动范围在人物图像的中心轴，所述颈部活动俯仰范围在所述头长的设定倍数范围。

附图说明

图1为本发明实施例1提供的关联模型算法的边界识别辅助方法的流程图；

图2为人形位置示意图；

图3为本发明实施例2提供的关联模型算法的边界识别辅助装置的原理图；

图4为本发明实施例3提供的一种电子设备的原理图。

图中：A-居中人物；B-近景人物；C-远景人物；D1-头部最高居中点；D2-左手的坐标点；D3-右手的坐标；D4-身体下方接触面的坐标。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。

实施例1

作为一个实施例，如附图1所示，为解决上述技术问题，本实施例提供关联模型算法的边界识别辅助方法，包括步骤：

采集包含人脸的图像；

设定图像的参数，建立坐标系；

利用人脸识别算法识别图像中的人脸特征，确定图像中包含人脸的人物图像的位置和数量；

获取人物图像的运动状态；

根据人物图像的运动状态，结合人物图像的位置和数量，利用头肩识别算法进行头肩识别确定人物的头肩位置，利用人形识别算法进行人形识别确定人形位置；

根据头肩位置与人形位置，确定人物边界；

在图像中设定图像边界线；图像边界线用于约束人物图像的活动轨迹范围；

获取人物图像的基准点的坐标，计算人物图像的面积，确定人物图像的最佳放大面积；

根据人物边界与图像边界线，建立人物图像的活动轨迹范围模型；

根据活动轨迹范围模型，将图像中各个人物图像放大至最佳放大面积。

可选的，根据人物图像的运动状态，结合人物图像的位置和数量，利用头肩识别算法进行头肩识别确定人物的头肩位置，利用人形识别算法进行人形识别确定人形位置，包括：

当人物图像的数量为一个时，利用头肩识别算法进行头肩识别确定人物的头肩位置，人形位置与头肩位置相同；

当人物图像的数量至少有两个时，若人物图像为静止状态，则利用头肩识别算法进行头肩识别确定人物的头肩位置，人形位置与头肩位置相同；若人物图像为运动状态，则利用头肩识别算法进行头肩识别确定人物图像的头肩位置，同时利用人形识别算法进行人形识别确定人形位置。

在实际应用过程中，如附图2所示，利用人形识别算法进行人形识别确定人形位置，包括：

假设图像中有位于图像中部的居中人物A、近景人物B和远景人物C，居中人物A、近景人物B和远景人物C根据人物在图像中出现的位置确定，当人物位于图像中部区域，该人物为居中人物A；当人物位于图像底部区域，该人物为近景人物B；当人物位于图像上部区域，该人物为远景人物C。

图像的分辨率设定为1920*1080，设定图像画布的1920边为X轴，1080边为Y轴，建立坐标系；

居中人物A的基准点包括四个点，分别为头部最高居中点D1，坐标为(x960，y(1080*0.618))；左手的坐标点D2为(x480，Y1)；右手的坐标点D3为(x1440,Y2)；身体下方接触面的坐标D4为(x480,0)-(x1440.0)，则A的面积为：x960*y677.44＝A；A为人物放大最佳最大画面，最佳最大画面根据图像大小进行设定，而形成A的过程中人形活动轨迹在以下坐标系(0,878.72)-(1920,878.72)范围内进行移动。

设a为人物移动的X方向的距离，b为人物移动的Y方向的距离，则人形的活动轨迹范围模型为：

X/2≤a＜X+(1920-X/2)；

Y/2≤b＜Y+(1080-Y/2)；

X*Y＝A为人物放大固定值即X＝960,Y＝677.44。

在实际应用过程中，利用头肩识别算法进行头肩识别确定人物图像的头肩位置，包括：

设定图像的分辨率设定为1920*1080，1920边为X轴，1080边为Y轴，建立坐标系，根据大数据获取人的头颈肩肘比例；

头肩模型设定为：头长为a，颈部范围为0-0.5a，手臂活动范围为a，肩膀活动范围为1.5a-2.5a，肩肘活动范围为1-1.5a。

可选的，图像参数包括图像分辨率与图像放大倍数。

可选的，人物图像的基准点包括人物头部中点、人物两侧最远点以及人物下方中点。

可选的，根据人物边界与图像边界线，建立人物图像的活动轨迹范围模型，包括：

在图像边界线内，人物图像在设定范围内活动，人物图像在第一坐标轴方向的移动范围满足第一设定范围，人物图像在第二坐标轴方向的移动范围满足第二设定范围。

可选的，建立活动轨迹范围模型，还包括：获取头颈肩肘比例；

根据头颈肩肘比例设定颈部俯仰范围、手臂活动范围、肩膀活动范围与肩肘活动范围；

当人物头部在肩膀活动范围内，或者手臂活动范围、肩膀活动范围在人物图像的中心轴未出现偏移，或者颈部活动俯仰范围在人物头长的设定倍数范围，则不对人物图像进行移动处理；否则，当人物头部在肩膀活动范围内，或者手臂活动范围、肩膀活动范围在人物图像的中心轴出现偏移，或者颈部活动俯仰范围在头长的设定倍数范围，则移动人物图像，使得人物头部在肩膀活动范围内，手臂活动范围、肩膀活动范围在人物图像的中心轴，颈部活动俯仰范围在头长的设定倍数范围。

头部在肩宽1.5a和2.5a的活动范围内，手臂活动范围与肩膀活动范围在人物图像的中心轴未出现偏移，颈部活动俯仰范围在0-0.5a内，此范围内不对图像进行跟踪处理，即不对采集的画面范围进行跟随移动。

边界定义：不同分辨率按照16:9，如4K为3840*2160,2K为2560*1440，1080P为1920*1080，在不同的分辨率画布上自动缩放图像，边界为图像上最大活动范围的像素点。

本发明利用头肩识别算法进行头肩识别确定人物的头肩位置，利用人形识别算法进行人形识别确定人形位置，将头肩识别算法与人形识别算法关联，能够保证人脸图像在图像中保持最佳放大倍数，避免出现人脸图像偏位或者缺失的问题，实现单个场景和多个复杂环境的人物图像智能化处理。

实施例2

基于与本发明的实施例1中所示的方法相同的原理，本发明的实施例中还提供了关联模型算法的边界识别辅助装置，包括采集单元、第一设定单元、人脸识别单元、获取单元、位置识别单元、第一处理单元、第二设定单元、第二处理单元、模型建立单元与放大处理单元；

采集单元，用于采集包含人脸的图像；

第一设定单元，用于设定图像的参数，建立坐标系；

人脸识别单元，用于利用人脸识别算法识别图像中的人脸特征，确定图像中包含人脸的人物图像的位置和数量；

获取单元，用于获取人物图像的运动状态；

位置识别单元，用于根据人物图像的运动状态，结合人物图像的位置和数量，利用头肩识别算法进行头肩识别确定人物的头肩位置，利用人形识别算法进行人形识别确定人形位置；

第一处理单元，用于根据头肩位置与人形位置，确定人物边界；

第二设定单元，用于在图像中设定图像边界线；图像边界线用于约束人物图像的活动轨迹范围；

第二处理单元，用于获取人物图像的基准点的坐标，计算人物图像的面积，确定人物图像的最佳放大面积；

模型建立单元，用于根据人物边界与图像边界线，建立人物图像的活动轨迹范围模型；

放大处理单元，用于根据活动轨迹范围模型，将图像中各个人物图像放大至最佳放大面积。

可选的，根据人物图像的运动状态，结合人物图像的位置和数量，利用头肩识别算法进行头肩识别确定人物的头肩位置，利用人形识别算法进行人形识别确定人形位置，包括：

当人物图像的数量为一个时，利用头肩识别算法进行头肩识别确定人物的头肩位置，人形位置与头肩位置相同；

当人物图像的数量至少有两个时，若人物图像为静止状态，则利用头肩识别算法进行头肩识别确定人物的头肩位置，人形位置与头肩位置相同；若人物图像为运动状态，则利用头肩识别算法进行头肩识别确定人物图像的头肩位置，同时利用人形识别算法进行人形识别确定人形位置。

可选的，图像参数包括图像分辨率与图像放大倍数。

可选的，人物图像的基准点包括人物头部中点、人物两侧最远点以及人物下方中点。

可选的，根据人物边界与图像边界线，建立人物图像的活动轨迹范围模型，包括：

在图像边界线内，人物图像在设定范围内活动，人物图像在第一坐标轴方向的移动范围满足第一设定范围，人物图像在第二坐标轴方向的移动范围满足第二设定范围。

可选的，建立活动轨迹范围模型，还包括：获取头颈肩肘比例；

根据头颈肩肘比例设定颈部俯仰范围、手臂活动范围、肩膀活动范围与肩肘活动范围；

当人物头部在肩膀活动范围内，或者手臂活动范围、肩膀活动范围在人物图像的中心轴未出现偏移，或者颈部活动俯仰范围在人物头长的设定倍数范围，则不对人物图像进行移动处理；否则，当人物头部在肩膀活动范围内，或者手臂活动范围、肩膀活动范围在人物图像的中心轴出现偏移，或者颈部活动俯仰范围在头长的设定倍数范围，则移动人物图像，使得人物头部在肩膀活动范围内，手臂活动范围、肩膀活动范围在人物图像的中心轴，颈部活动俯仰范围在头长的设定倍数范围。

实施例3

基于与本发明的实施例中所示的方法相同的原理，本发明的实施例中还提供了一种电子设备，如附图4所示，该电子设备可以包括但不限于：处理器和存储器；存储器，用于存储计算机程序；处理器，用于通过调用计算机程序执行本发明任一实施例所示的方法。

在一个可选实施例中提供了一种电子设备，图4所示的电子设备40包括：处理器410和存储器430。其中，处理器410和存储器430相连，如通过总线420相连。

可选地，电子设备40还可以包括收发器440，收发器440可以用于该电子设备与其他电子设备之间的数据交互，如数据的发送和/或数据的接收等。需要说明的是，实际应用中收发器440不限于一个，该电子设备40的结构并不构成对本发明实施例的限定。

处理器410可以是CPU(Central Processing Unit，中央处理器)，通用处理器，DSP(Digital Signal Processor，数据信号处理器)，ASIC(Application SpecificIntegrated Circuit，专用集成电路)，FPGA(Field Programmable Gate Array，现场可编程门阵列)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本发明公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器410也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。

总线420可包括一通路，在上述组件之间传送信息。总线420可以是PCI(Peripheral Component Interconnect，外设部件互连标准)总线或EISA(ExtendedIndustry Standard Architecture，扩展工业标准结构)总线等。总线420可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

存储器430可以是ROM(Read Only Memory，只读存储器)或可存储静态信息和指令的其他类型的静态存储设备，RAM(Random Access Memory，随机存取存储器)或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM(Electrically ErasableProgrammable Read Only Memory，电可擦可编程只读存储器)、CD-ROM(Compact DiscRead Only Memory，只读光盘)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。

存储器430用于存储执行本发明方案的应用程序代码(计算机程序)，并由处理器410来控制执行。处理器410用于执行存储器430中存储的应用程序代码，以实现前述方法实施例所示的内容。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。