基于机器视觉识别作业区域人的方法、系统、设备及介质

技术领域

本发明涉及图像识别技术领域，尤其涉及一种基于机器视觉识别作业区域人的方法、系统、设备及介质。

背景技术

生产车间的危险区域，往往对作业人员带安全帽、作业人员数量（即不得超员或少员）等有严格要求，边界处通常采用画警示线（实体围栏）的形式进行安全警示，因此，危险区域监管的首要任务是判定作业人员进入了危险区域，然后再进行行为分析。

当利用高速摄像头抓取生产现场图像并进行基于机器视觉算法判定作业人员进入危险区域时，由于摄像头抓取图像过程中，实体围栏会出现变形，若仍采用实体围栏作为边界进行人员识别，则会导致误识别率显著增大。为了解决该问题，通常方法是基于作业人员目标检测框的二次判断，但该方法会增加计算量，占用了系统的算力资源与数据传输带宽，影响实时监测效果。

发明内容

有鉴于此，本发明提出了一种基于机器视觉识别作业区域人的方法、系统、设备及介质，大大降低了对生产作业区域内人的误识别率，并且无需对作业人员目标检测框进行二次判断，不会增加计算量，不会多占用系统的算力资源与数据传输带宽，不会影响实时监测效果。

基于上述目的，本发明实施例的一方面提供了一种基于机器视觉识别作业区域人的方法，具体包括如下步骤：

构造三维空间模型；

基于所述三维空间模型计算虚拟电子围栏；

基于所述虚拟电子围栏对生产作业区域内的人进行识别。

在一些实施方式中，构造三维空间模型包括：

基于实体围栏和摄像设备的位置构造所述三维空间模型，所述实体围栏与所述生产作业区域相对应。

在一些实施方式中，基于实体围栏和摄像设备的位置构造所述三维空间模型包括：

将摄像设备作为投影中心，基于所述投影中心的铅垂线垂足建立三维直角坐标系；

提取所述实体围栏的端点；

在所述三维直角坐标系中基于所述摄像设备的高度以及提取的端点构造所述三维空间模型。

在一些实施方式中，基于所述三维空间模型计算虚拟电子围栏包括：

定义虚拟电子围栏；

基于实体围栏信息和作业人员信息计算定义的虚拟电子围栏。

在一些实施方式中，定义虚拟电子围栏包括：

将所述实体围栏和作业人员头部组成的围栏边界定义为虚拟电子围栏。

在一些实施方式中，基于实体围栏信息和作业人员信息计算定义的虚拟电子围栏包括：

基于所述实体围栏信息和作业人员身高并利用比例关系计算所述定义的虚拟电子围栏。

在一些实施方式中，所述作业人员身高为作业人员平均身高；

所述摄像设备的垂直投影位于所述实体围栏的边界上或位于所述实体围栏内部或位于所述实体围栏外部。

本发明实施例的另一方面，还提供了一种基于机器视觉识别作业区域人的系统，包括：

构造模块，所述构造模块配置为构造三维空间模型；

计算模块，所述计算模块配置为基于所述三维空间模型计算虚拟电子围栏；

识别模块，所述识别模块配置为基于所述虚拟电子围栏对生产作业区域内的人进行识别。

本发明实施例的又一方面，还提供了一种电子设备，包括：至少一个处理器；以及存储器，所述存储器存储有可在所述处理器上运行的计算机程序，所述计算机程序由所述处理器执行时实现如上方法的步骤。

本发明实施例的再一方面，还提供了一种存储介质，存储介质存储有被处理器执行时实现如上方法步骤的计算机程序。

本发明至少具有以下有益技术效果：通过本发明的方案，能够在进行人员是否进入生产作业区域的识别时，以虚拟的电子围栏代替原实体围栏，来进行人员识别，有效降低了边界误识别率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。

图1为本发明提供的基于机器视觉识别作业区域人的方法的一实施例的流程图；

图2为实体围栏外扩膨胀现象的示意图；

图3为实体围栏内部人员误识别的示意图；

图4为本发明提供的三维空间模型的一实施例的示意图；

图5为本发明提供的三维空间模型的又一实施例的示意图；

图6为本发明提供的基于机器视觉识别作业区域人的系统的一实施例的示意图；

图7为本发明提供的电子设备的一实施例的结构示意图；

图8为本发明提供的存储介质的一实施例的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明实施例进一步详细说明。

需要说明的是，本发明实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”“第二”仅为了表述的方便，不应理解为对本发明实施例的限定，后续实施例对此不再一一说明。

基于上述目的，本发明实施例的第一个方面，提出了一种基于机器视觉识别作业区域人的方法。在如图1所示的实施例中，该方法包括如下步骤：

S10、构造三维空间模型；

S20、基于所述三维空间模型计算虚拟电子围栏；

S30、基于所述虚拟电子围栏对生产作业区域内的人进行识别。

具体的，提取实体围栏关键端点、投影中心（摄像头）的特征参数，构造实体围栏和摄像设备所组成的三维空间模型。求解通过实体围栏的关键端点和作业人员头部所组成的虚拟的电子围栏。

在摄像设备所抓取的图像中，添加计算出的虚拟的电子围栏，进行模型训练。在进行人员是否进入生产作业区域的识别时，以虚拟的电子围栏代替原实体围栏，来进行人员识别，以此有效降低边界误识别率。

在一些实施方式中，构造三维空间模型包括：

基于实体围栏和摄像设备的位置构造所述三维空间模型，所述实体围栏与所述生产作业区域相对应。

在一些实施方式中，基于实体围栏和摄像设备的位置构造所述三维空间模型包括：

将摄像设备作为投影中心，基于所述投影中心的铅垂线垂足建立三维直角坐标系；

提取所述实体围栏的端点；

在所述三维直角坐标系中基于所述摄像设备的高度以及提取的端点构造所述三维空间模型。

在一些实施方式中，基于所述三维空间模型计算虚拟电子围栏包括：

定义虚拟电子围栏；

基于实体围栏信息和作业人员信息计算定义的虚拟电子围栏。

在一些实施方式中，定义虚拟电子围栏包括：

将所述实体围栏和作业人员头部组成的围栏边界定义为虚拟电子围栏。

在一些实施方式中，基于实体围栏信息和作业人员信息计算定义的虚拟电子围栏包括：

基于所述实体围栏信息和作业人员身高并利用比例关系计算所述定义的虚拟电子围栏。

在一些实施方式中，所述作业人员身高为作业人员平均身高；

所述摄像设备的垂直投影位于所述实体围栏的边界上或位于所述实体围栏内部或位于所述实体围栏外部。

作业人员身高是影响虚拟电子围栏计算的关键因素，使用作业人员的平均身高作为本实施例中的作业人员身高，可以有效降低降低围栏边界的误识别率。更进一步的，作业人员的平均身高可以根据本发明方案的应用场景来选取。

本发明的方案可以应用于摄像设备位于实体围栏边界内的应用场景、摄像设备位于实体围栏边界上的应用场景和实体围栏边界外的应用场景，解决在各自应用场景内遇到的实体围栏变形问题，降低围栏边界的误识别率。

下面通过两个实施例对摄像设备位于实体围栏边界内和外的两个应用场景进行说明，应当理解，此处所描述的实施例仅用于说明和解释本发明，并不用于限定本发明。

实施例1：摄像设备位于实体围栏边界内。

基于机器视觉的摄像设备（例如，摄像头）所拍摄的安全生产作业区域图像指的是以摄像头为投影中心、作业人员为三维投影实体、地面为承影平面的中心投影图。由于中心投影图是二维图像，而作业现场是三维空间，三维空间在二维图像中存在投影变形。因此，当摄像头置于安全生产作业区域上方时，实体围栏会显著外扩膨胀，如图2所示，用于判断人员是否进入安全生产作业区域的边界会由实体边界ABCD扩张到虚拟边界A’B’C’D’，以实体围栏边界端点A处的作业人员AA

对于实体围栏内部的作业人员EE

为了解决实体围栏边界膨胀外扩导致的误识别问题，本发明实施例提出了一种识别安全生产作业区域内人的方法，以作业人员头部进入虚拟电子围栏为判断依据，一方面头部特征明显，易于识别和模型训练，另一方面，头部特征还可用于识别是否佩戴安全帽，减少后续佩戴安全帽的二次图像解析。方法具体包括如下步骤：

（1）构造三维空间模型

提取实体围栏关键端点、投影中心（即摄像设备）的特征参数，构造由实体围栏和摄像设备所组成的三维空间模型。

如图4所示为三维空间模型的示意图。

构造三维空间模型的具体步骤为：以投影中心O的铅垂线垂足O’为坐标中心建立三维直角坐标系；根据摄像设备的高度即OO’的高度

（2）求解虚拟的电子围栏

求解实体围栏ABCD的关键端点A、B、C、D所组成的虚拟的电子围栏A’B’C’D’。即当作业人员在实体围栏ABCD边界处时，将关键端点A、B、C、D和作业人员头部所组成的围栏边界定义为虚拟电子围栏A’B’C’D’。

根据作业人员身高

其中，作业人员身高

如图4所示，在三维直角坐标系中，长方形实体围栏ABCD四个顶点的坐标分别为A

以实体围栏的关键顶点A为例，O’A长度为

则存在：

(1)

(2)

(3)

联立公示(1)、(2)，解得

联立公示(1)、(3)，解得

则虚拟围栏中A’点的坐标为(

（3）基于电子围栏的人员识别

在摄像头所抓取的图像中，添加虚拟的电子围栏A’B’C’D’，进行模型训练。在人员识别时，以电子围栏A’B’C’D’代替原实体围栏ABCD，有效降低边界误识别率。人员识别包括人员是否进入生产作业区域边界，人员进入生产作业区域内，在生产作业区域内的人员是否佩戴安全帽，操作是否违规等，在此处不做限定。

更进一步的，可以采用人的头部特征进行人员行为识别，一方面头部特征明显，易于识别和模型训练；另一方面，头部特征还可用于识别是否佩戴安全帽，减少后续佩戴安全帽的二次图像解析。

如图3所示，当作业人员在实体围栏内，因作业人员头部位于实体围栏边界ABCD外，导致了误识别问题。当作业人员在实体围栏内，且在电子围栏内，头部位于实体围栏边界ABCD外，但尚未超出电子围栏边界A’B’C’D’，不存在误识别问题，由此可见，根据本发明实施例的方法有效解决了实体围栏外扩膨胀导致的误识别问题。

实施例2：摄像设备位于实体围栏边界外。

基于机器视觉的摄像设备（例如，摄像头）所拍摄的安全生产作业区域图像指的是以摄像头为投影中心、作业人员为三维投影实体、地面为承影平面的中心投影图。由于中心投影图是二维图像，而作业现场是三维空间，三维空间在二维图像中存在投影变形。当摄像头置于安全生产作业区域外部时，实体围栏会显著变形，导致基于机器视觉的误识别现象尤为突出。为了解决变形图像与实体围栏边界的适应性问题，降低误识别率，本实施例采用中心投影法构造了虚拟的电子围栏，以作业人员头部进入虚拟电子围栏为判断依据，一方面头部特征明显，易于识别和模型训练，另一方面，头部特征还可用于识别是否佩戴安全帽，减少后续佩戴安全帽的二次图像解析。方法具体包括如下步骤：

（1）构造三维空间模型

提取实体围栏关键端点、投影中心（即摄像设备）的特征参数，构造由实体围栏和摄像设备所组成的三维空间模型。

如图5所示为本实施的三维空间模型的示意图。

构造三维空间模型的具体步骤为：

以投影中心O的铅垂线垂足O’为坐标中心建立三维直角坐标系；根据摄像设备的高度即OO’的高度

（2）求解虚拟的电子围栏

求解实体围栏ABCD的关键端点A、B、C、D所组成的虚拟的电子围栏A’B’C’D’。即当作业人员在实体围栏ABCD边界处时，在关键端点A、B、C、D处，作业人员头部所组成的围栏边界，定义为虚拟电子围栏A’B’C’D’。

根据作业人员身高

其中，作业人员身高

如图5所示，在三维直角坐标系中，长方形实体围栏ABCD四个顶点的坐标分别为A

/>

以实体围栏的关键顶点C为例，O’C长度为

则存在:

(4)

(5)

(6)

联立公示(4)、(5)，解得

联立公示(4)、(6)，解得

则虚拟围栏中C’点的坐标为(

（3）基于电子围栏的人员识别

在摄像头所抓取的图像中，添加虚拟的电子围栏A’B’C’D’，进行模型训练。在人员识别时，以电子围栏A’B’C’D’代替原实体围栏ABCD，有效降低边界误识别率。

当作业人员在实体围栏边界外、尚未进入实体围栏时，因作业人员头部闯入实体围栏边界，导致了误识别问题。当作业人员在电子围栏边界外、头部尚未进入电子围栏时，不存在误识别问题，由此可见，根据本发明实施例的方法有效解决了实体围栏变形导致的误识别问题。

需要说明的是，当摄像头置于安全生产作业区域的边界上时，实体围栏也会出现显著变形，也可以通过构造三维空间模型、求解虚拟的电子围栏、基于电子围栏的人员识别三个步骤进行人的识别，此处不再赘述。

基于同一发明构思，根据本发明的另一个方面，如图6所示，本发明的实施例还提供了一种基于机器视觉识别作业区域人的系统，包括：

构造模块110，所述构造模块110配置为构造三维空间模型；

计算模块120，所述计算模块120配置为基于所述三维空间模型计算虚拟电子围栏；

识别模块130，所述识别模块130配置为基于所述虚拟电子围栏对生产作业区域内的人进行识别。

具体的，构造模块110提取实体围栏关键端点、投影中心（摄像头）的特征参数，构造实体围栏和摄像设备所组成的三维空间模型。计算模块120求解通过实体围栏的关键端点和作业人员头部所组成的虚拟的电子围栏。在人员识别时，识别模块130以虚拟的电子围栏代替原实体围栏，进行人员识别，以此有效降低边界误识别率。

基于同一发明构思，根据本发明的另一个方面，如图7所示，本发明的实施例还提供了一种电子设备30，在该电子设备30中包括处理器310以及存储器320，存储器320存储有可在处理器上运行的计算机程序321，处理器310执行程序时执行如上的方法的步骤。

其中，存储器作为一种非易失性存储介质，可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块，如本申请实施例中的所述基于机器视觉识别作业区域人的方法对应的程序指令/模块。处理器通过运行存储在存储器中的非易失性软件程序、指令以及模块，从而执行系统的各种功能应用以及数据处理，即实现上述方法实施例的基于机器视觉识别作业区域人的方法。

存储器可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据系统的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至本地模块。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

基于同一发明构思，根据本发明的另一个方面，如图8所示，本发明的实施例还提供了一种存储介质40，存储介质40存储有被处理器执行时执行如上方法的计算机程序410。

最后需要说明的是，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关硬件来完成，程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，程序的存储介质可为磁碟、光盘、只读存储记忆体（ROM）或随机存储记忆体（RAM）等。上述计算机程序的实施例，可以达到与之对应的前述任意方法实施例相同或者相类似的效果。

本领域技术人员还将明白的是，结合这里的公开所描述的各种示例性逻辑块、模块、电路和算法步骤可以被实现为电子硬件、计算机软件或两者的组合。为了清楚地说明硬件和软件的这种可互换性，已经就各种示意性组件、方块、模块、电路和步骤的功能对其进行了一般性的描述。这种功能是被实现为软件还是被实现为硬件取决于具体应用以及施加给整个系统的设计约束。本领域技术人员可以针对每种具体应用以各种方式来实现的功能，但是这种实现决定不应被解释为导致脱离本发明实施例公开的范围。

以上是本发明公开的示例性实施例，但是应当注意，在不背离权利要求限定的本发明实施例公开的范围的前提下，可以进行多种改变和修改。根据这里描述的公开实施例的方法权利要求的功能、步骤和/或动作不需以任何特定顺序执行。上述本发明实施例公开实施例序号仅仅为了描述，不代表实施例的优劣。此外，尽管本发明实施例公开的元素可以以个体形式描述或要求，但除非明确限制为单数，也可以理解为多个。

应当理解的是，在本文中使用的，除非上下文清楚地支持例外情况，单数形式“一个”旨在也包括复数形式。还应当理解的是，在本文中使用的“和/或”是指包括一个或者一个以上相关联地列出的项目的任意和所有可能组合。

所属领域的普通技术人员应当理解：以上任何实施例的讨论仅为示例性的，并非旨在暗示本发明实施例公开的范围（包括权利要求）被限于这些例子；在本发明实施例的思路下，以上实施例或者不同实施例中的技术特征之间也可以进行组合，并存在如上的本发明实施例的不同方面的许多其它变化，为了简明它们没有在细节中提供。因此，凡在本发明实施例的精神和原则之内，所做的任何省略、修改、等同替换、改进等，均应包含在本发明实施例的保护范围之内。