一种越线检测的方法、装置、电子设备以及存储介质

技术领域

本发明涉及数据处理技术领域，特别是涉及一种越线检测的方法、装置、电子设备以及存储介质。

背景技术

在生产生活中，人员禁止靠近或出入的禁区是非常常见的，如河边、工地、机房、金库等重点区域。这类区域通常都具有人身、财物、信息等安全风险，一旦出现非法人员入侵，可能会导致高空坠落、溺水、盗窃、数据丢失等各类事故，在某些关键地方甚至会造成不可挽回的损失。

针对禁区通常需要设置人员越线检测方法，越线检测方法中越线算法应用的河道、工地等场景一般都是重要或者高危的场景，误报、漏报一般都会带来严重的后果。误报会导致工作人员大量处理无效告警事件，大大浪费人力，久而忽视或者无视告警事件，算法形同虚设，真的出现问题反而无法及时处置。漏报的存在会使得真实事件无法被发现，轻则产生财产损失，重则造成人员伤亡，所以寻找一种可以降低误报和漏报的人员越线检测方法是非常有必要的。

随着现代科技的快速发展以及图像和视频后去技术的逐步发展与完善，智慧安防视频监控已经广泛用于人们的日常生产生活，而以上提到的问题目前多通过智能视频技术归结为人员越线判定问题来进行预警。即先在画面中预先标定一个区域作为禁止进入区域，通过目标检测算法将画面中的人员框出，判断人员检测框坐标和检测区域是否有重叠，当重叠度大于一定阈值时，便判定为存在人员越线现象。

此类方法逻辑清晰，易于实现，但同时也存在较大的缺点。首先，摄像机画面类似于真实世界在二维世界的投影，当有人员走到摄像机和检测区域中间时，因为摄像机角度问题会使得人员遮挡住检测区域，此时人员即使不在检测区域中也会被判定存在越线现象。其次，此类方法的重叠度阈值难以设定。当阈值比较大的时候，无法检测像头、手等小部分发生越线的情形，而此类问题又有发生高空坠落、碰伤等人身伤害的风险；当阈值比较小的时候，又容易因为检测框是矩形不能完全贴合人形而与检测区域发生重叠造成误报。从而整体导致此类方法误报率、漏报率都比较高。

发明内容

鉴于上述问题，提出了以便提供克服上述问题或者至少部分地解决上述问题的一种越线检测的方法、装置、电子设备以及存储介质，包括：

一种越线检测的方法，所述方法包括：

从针对目标越线区进行目标对象越线检测的多个摄像机中确定第一摄像机和第二摄像机；

在所述第一摄像机和所述第二摄像机构成的三维空间中，确定所述目标越线区构成的三维坐标组；

获取所述第一摄像机采集的第一视频流和所述第二摄像机采集的第二视频流；

根据所述第一视频流、所述第二视频流以及所述三维坐标组，判断所述目标对象在所述三维空间中是否落入所述目标越线区；

当判定所述目标对象在所述三维空间中落入所述目标越线区时，确定所述目标对象越线。

可选地，所述在所述第一摄像机和所述第二摄像机构成的三维空间中，确定所述目标越线区构成的三维坐标组，包括：

确定所述目标越线区域的目标顶点在所述第一摄像机中的第一二维坐标和在所述第二摄像头中的第二二位坐标；

根据所述第一二维坐标与所述第二二维坐标，确定所述目标越线区域各顶点构成的三维坐标组。

可选地，所述根据所述第一视频流、所述第二视频流以及所述三维坐标组，判断所述目标对象在所述三维空间中是否落入所述目标越线区，包括：

在所述第一视频流和所述第二视频流中存在同一目标对象时，确定所述目标对象在所述三维空间中的关键点坐标；

根据所述关键点坐标和所述三维坐标组，判断所述目标对象在所述三维空间中是否落入所述目标越线区。

可选地，所述根据所述关键点坐标和所述三维坐标组，判断所述目标对象在所述三维空间中是否落入所述目标越线区，包括：

确定所述三维坐标组所在三维平面的法向量；

根据所述法向量，确定所述关键点坐标在所述三维平面上的投影坐标；

当所述投影坐标在所述目标越线区内时，判定所述目标对象在所述三维空间中落入所述目标越线区。

可选地，所述确定所述三维坐标组所在三维平台的法向量，包括：

在所述三维坐标组所在三维平面上确定第一向量和第二向量，所述第一向量和所述第二向量为不共线的向量；

根据所述第一向量和所述第二向量确定所述三维平面的三维法向量。

可选地，所述获取所述第一摄像机采集的第一视频流和所述第二摄像机采集的第二视频流，包括：

获取所述第一摄像机采集的第一视频流；

在所述第一视频流中检测到所述目标对象时，获取所述第二摄像机采集的第二视频流。

可选地，所述确定所述第一视频流和所述第二视频流中存在同一目标对象，包括：

在所述第一视频流中针对所述目标对象进行特征提取，得到第一对象特征；

在所述第二视频流中针对所述目标对象进行特征提取，得到第二对象特征；

确定所述第一对象特征和所述第二对象特征的特征距离；

在所述特征距离在预设距离阈值范围内时，确定所述第一视频流和所述第二视频流中存在同一目标对象。

一种越线检测的装置，所述装置包括：

摄像机确定模块，用于从针对目标越线区进行目标对象越线检测的多个摄像机中确定第一摄像机和第二摄像机；

越线区三维坐标确定模块，用于在所述第一摄像机和所述第二摄像机构成的三维空间中，确定所述目标越线区构成的三维坐标组；

视频流获取模块，用于获取所述第一摄像机采集的第一视频流和所述第二摄像机采集的第二视频流；

越线检测模块，用于根据所述第一视频流、所述第二视频流以及所述三维坐标组，判断所述目标对象在所述三维空间中是否落入所述目标越线区；

越线确定模块，用于当判定所述目标对象在所述三维空间中落入所述目标越线区时，确定所述目标对象越线。

一种电子设备包括处理器、存储器及存储在所述存储器上并能够在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述越线检测的方法。

一种计算机可读存储介质，所述计算机可读存储介质上存储计算机程序，所述计算机程序被处理器执行时实现如上所述越线检测的方法。

本发明实施例具有以下优点：

本发明实施例通过从针对目标越线区进行目标对象越线检测的多个摄像机中确定第一摄像机和第二摄像机；在第一摄像机和第二摄像机构成的三维空间中，确定目标越线区构成的三维坐标组；获取第一摄像机采集的第一视频流和第二摄像机采集的第二视频流；根据第一视频流、第二视频流以及三维坐标组，判断目标对象在三维空间中是否落入目标越线区；当判定目标对象在三维空间中落入目标越线区时，确定目标对象越线，实现了在两个摄像机构建的三维空间中进行越线检测，提高了越线检测的准确性，降低误报率、漏报率。

附图说明

为了更清楚地说明本发明的技术方案，下面将对本发明的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例提供的一种越线检测的方法的步骤流程图；

图2是本发明一实施例提供的另一种越线检测的方法的步骤流程图；

图3是本发明一实施例提供的另一种越线检测的方法的步骤流程图；

图4是本发明一实施例提供的一种人员越线检测的流程示意图；

图5是本发明一实施例提供的越线检测的装置的结构示意图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照图1，示出了本发明一实施例提供的一种越线检测的方法的步骤流程图，具体可以包括如下步骤：

步骤101，从针对目标越线区进行目标对象越线检测的多个摄像机中确定第一摄像机和第二摄像机；

在实际应用中，为了实现对目标对象进行越线检测，在待检测的禁止区设置目标越线区，并在附近布控多个摄像机以实现全方位的检测，避免漏检，在多个摄像机中可以根据摄像机的摄像机参数选择其中两个摄像机，两个摄像机用于构建三维空间。

其中，摄像机参数包括摄像机悬挂高度、俯视角度、摄像机正对方向、摄像机参数。在一示例中，所选择的两个摄像机的悬挂高度差在预设高度差范围内、俯视角度与预设角度匹配(如均小于15°且角度尽量接近)，两个摄像机正对方向接近垂直，摄像机功能参数匹配。

其中，目标对象可以是指移动物体，如人、动物等，目标对象还可以是指非移动物体，如停止的车辆等。

在实际应用中，可以先确定第一摄像机，然后遍历除第一摄像机以外的其他摄像机的摄像机参数，并与第一摄像机的摄像机参数进行匹配对比，依照确定符合预设条件的第二摄像机。

需要说明的是预设条件可以根据实际检测需求进行调整，预设条件可以为与摄像机参数相关的预设条件，用于选取适合构建三维空间的第一摄像机和第二摄像机。

步骤102，在第一摄像机和第二摄像机构成的三维空间中，确定目标越线区构成的三维坐标组；

每个摄像机都有其对应的拍摄范围，依照其拍摄范围可以生成拍摄到的界面，第一摄像机对应第一拍摄界面、第二摄像机对应第二拍摄界面，第一拍摄界面和第二拍摄界面存在至少一个共同点，进而可以根据第一拍摄界面和第二拍摄界面确定第一摄像机和第二摄像机构成的三维空间，在三维空间中，目标越线区近似一平面，从而在该三维空间中确定目标越线区域构成的三维坐标组，三维坐标组由目标越线区域中的三维坐标点构成，其中，目标越线区域为多边形形状，三维坐标点可以是多边形的各顶点的三维坐标。

步骤103，获取第一摄像机采集的第一视频流和第二摄像机采集的第二视频流；

在针对目标对象进行越线检测过程中，可以从第一摄像机获取其采集的第一视频流，从第二摄像机获取其采集的第二视频流。第一视频流和第二视频流可以用于检测目标越线区是否存在目标对象。

在本发明一实施例中，步骤103可以包括：

获取第一摄像机采集的第一视频流；在第一视频流中检测到目标对象时，获取第二摄像机采集的第二视频流。

在实际应用中，可以在确定第一摄像机和第二摄像机，确定第一摄像机和第二摄像机检测顺序，其检测顺序为针对目标对象的检测顺序。

当设置第一摄像机先检测，第二摄像机后检测时，可以先获取第一摄像机的第一视频流，基于该第一视频流进行目标对象检测，判断第一视频流中是否存在目标对象，当检测到存在目标对象时，触发启动第二摄像机，并获取第二摄像机的第二视频流，进而基于第二视频进行目标对象检测，判断第一视频流中是否存在目标对象。进而进行目标人员的越线检测。

第一摄像机和/或在第二摄像机在开启后可以持续地采集视频流，并针对采集的视频流进行目标对象检测。

在一示例中，其中，可以预先获取由目标对象构成的训练集图片，将训练图片中的目标对象进行标注，进而针对用于目标对象的检测模型设置初始参数，然后将标注的训练集图片输入到检测模型中进行预测，得到预测结果，根据预测结果和图片的标注信息计算准确率，进而根据准确率反馈调整检测模型的初始参数，经过多次迭代后，可以输出准确率高于预设准确率的检测模型，进而将采集的视频流输入训练好的检测模型中进行目标对象的检测。

需要说明的是，本发明实施例中目标对象检测是为了确定视频流中是否有目标对象，进而在执行目标对象的越线检测，其目标对象的越线检测是指针对检测到的目标对象，判断该目标对象是否越线，即是否在目标越线区内。

在一示例中，在实际应用中第一摄像机和第二摄像机在进行目标对象检测针对获取的视频流进行逐帧检测，在目标对象检测过程中，当第一摄像机和/或第二摄像机中在预设时间内无法获取有效视频流(如每一帧画面均为空)，则可以生成告警消息，并将该告警消息发送至目标用户，以及时排查第一摄像机和/或第二摄像机故障，确保多摄像头越线算法稳定运行。

步骤104，根据第一视频流、第二视频流以及三维坐标组，判断目标对象在三维空间中是否落入目标越线区；

在获取到第一视频流、第二视频流以及确定目标越线区的三维坐标组后，第一视频流和第二视频流中的画面均可以表示为第一摄像机和第二摄像所构建的三维空间中的三维数据，进而通过三维数据，可以从三维空间上分析目标对象是否越线。相比于二维平面检测越线更加准确。

其中，目标对象落入目标越线区可以是指目标对象全部或部分落入目标越线区。

步骤105，当判定目标对象在三维空间中落入目标越线区时，确定目标对象越线。

其中，目标对象越线是指目标对象全部或部分出现在目标越线区。

在一示例中，在确定目标对象越线的情况下，可以生成第二告警消息，并将第二告警消息发送给相关人员，以及时通知相关人员。

在本发明实施例中，通过从针对目标越线区进行目标对象越线检测的多个摄像机中确定第一摄像机和第二摄像机；在第一摄像机和第二摄像机构成的三维空间中，确定目标越线区构成的三维坐标组；获取第一摄像机采集的第一视频流和第二摄像机采集的第二视频流；根据第一视频流、第二视频流以及三维坐标组，判断目标对象在三维空间中是否落入目标越线区；当判定目标对象在三维空间中落入目标越线区时，确定目标对象越线，实现了在两个摄像机构建的三维空间中进行越线检测，提高了越线检测的准确性，降低误报率、漏报率。

参照图2，示出了本发明一实施例提供的另一种越线检测的方法的步骤流程图，具体可以包括如下步骤：

步骤201，从针对目标越线区进行目标对象越线检测的多个摄像机中确定第一摄像机和第二摄像机；

步骤202，确定目标越线区域的目标顶点在第一摄像机中的第一二维坐标和在第二摄像机中的第二二维坐标；

在确定第一摄像机和第二摄像机的情况下，第一摄像机和第二摄像机的摄像机第一拍摄界面和第二拍摄界面均为二维平面，根据第一拍摄界面和第二拍摄界面构建各自的二维坐标系，从而可以将第一拍摄界面上每个点以二维坐标形式表示出来。

在构建二维坐标系过程中，二维坐标系的原点可以选择为摄像机拍摄界面的中心，建立X轴和Y轴，确定第一拍摄界面和/或第二拍摄界面中目标越线区的多个顶点，并确定每个顶点在拍摄界面中标定的目标像素，确定该目标像素按与二维坐标系的坐标轴的水平像素距离和垂直像素距离，将水平像素距离作为该顶点在拍摄界面的横坐标，垂直像素距离作为该顶点在拍摄界面中的纵坐标，从而可以得到目标越线区的每个顶点在第一拍摄界面中的第一二维坐标组以及在第二拍摄界面中的第二二维坐标组。

在实际应用中，可以针对目标越线区中的某一目标顶点确定该目标顶点在第一摄像机的第一拍摄界面上的第一二维坐标以及在第二摄像机的第二拍摄画面中第二二维坐标。第一二维坐标和第二二维坐标为不同二维坐标系中对同一目标顶点的坐标。

步骤203，根据第一二维坐标与第二二维坐标，确定目标越线区域各顶点构成的三维坐标组。

在确定第一二维坐标和第二二维坐标后，可以根据第一二维坐标和第二二维坐标进行二维坐标系转换，将第一二维坐标和第二二维坐标转换为相同的二维坐标系。

例如：第一二维坐标为A

在进行二维坐标系变化后，再继续对齐Y轴坐标，从而可以得到目标顶点的三维坐标，针对越线区的每个顶点均进行上述从二维坐标转换为三维坐标的转换过程，从而可以得到目标越线区的三维坐标组。

例如：B

步骤204，获取第一摄像机采集的第一视频流和第二摄像机采集的第二视频流；

步骤205，根据第一视频流、第二视频流以及三维坐标组，判断目标对象在三维空间中是否落入目标越线区；

步骤206，当判定目标对象在三维空间中落入目标越线区时，确定目标对象越线。

在本发明实施例中，通过从针对目标越线区进行目标对象越线检测的多个摄像机中确定第一摄像机和第二摄像机；确定目标越线区域的目标顶点在第一摄像机中的第一二维坐标和在第二摄像头中的第二二维坐标；根据第一二维坐标与第二二维坐标，确定目标越线区域各顶点构成的三维坐标组；获取第一摄像机采集的第一视频流和第二摄像机采集的第二视频流；根据第一视频流、第二视频流以及三维坐标组，判断目标对象在三维空间中是否落入目标越线区；当判定目标对象在三维空间中落入目标越线区时，确定目标对象越线，实现了在两个摄像机构建的三维空间中进行越线检测，提高了越线检测的准确性，降低误报率、漏报率。

参照图3，示出了本发明一实施例提供的另一种越线检测的方法的步骤流程图，具体可以包括如下步骤：

步骤301，从针对目标越线区进行目标对象越线检测的多个摄像机中确定第一摄像机和第二摄像机；

步骤302，在第一摄像机和第二摄像机构成的三维空间中，确定目标越线区构成的三维坐标组；

步骤303，获取第一摄像机采集的第一视频流和第二摄像机采集的第二视频流；

步骤304，在第一视频流和第二视频流中存在同一目标对象时，确定目标对象在三维空间中的关键点坐标；

在获取第一视频流和第二视频流后可以先检测是否存在目标对象，进而确定二者所检测到的目标对象是否为同一目标对象。针对上述过程，可以采用行人重识别算法进行计算。

例如，第一视频流检测目标对象A，而第二视频流检测到的是目标对象B，虽然第一视频流和第二视频流均检测到了目标对象，但是二者并非同一目标对象。

在确定第一视频流和第二视频流中检测到的目标对象为同一目标对象时，可以在第一视频流和第二视频流中针对检测到的目标对象提取关键点坐标，该关键点坐标可以做按照每个摄像机的三维坐标计算方式确定的三维坐标，其中，关键点坐标所采集的三维坐标计算方法与目标越线区的三维坐标组中每个三维坐标的计算方法相同。

在一示例中，当目标对象为人物对象时，该关键点坐标可以为预设的人体骨骼关键点坐标，例如，人物对象的头、手、脚对象的坐标。在实际应用中可以采用OpenPose等人体关键点提取算法确定关键点坐标。

在本发明一实施例中，步骤304可以包括以下子步骤：

子步骤S11，在第一视频流中针对目标对象进行特征提取，得到第一对象特征；

在实际应用中，在获取第一视频流后，可以判断是否存在目标对象，在存在目标对象的情况下，进一步针对第一视频流中的目标对象进行特征提取，得到一个或多个第一对象特征。

其中，可以根据目标对象的类型预设不同的特征，当目标对象为人物对象时，提取的特征可以是人的整体特征，包括衣着、体态、姿态等。

子步骤S12，在第二视频流中针对目标对象进行特征提取，得到第二对象特征；

在获取第二视频流后，可以判断是否存在目标对象，在存在目标对象的情况下，进一步针对第二视频流中的目标对象进行特征提取，得到一个和多个第二对象特征。

其中，第一视频流、第二视频流在提取特征时预设的特征类型相同，以便计算相同类型特征的特征距离。

子步骤S13，确定第一对象特征和第二对象特征的特征距离；

在确定第一对象特征和第二对象特征后，可以计算特征距离，其特征距离可以用于表示第一对象特征与第二特征对象的匹配程度，特征距离越小，匹配程度越高，第一视频流和第二视频流中检测到的目标对象为同一目标对象的概率高，特征距离越大，匹配程度越低，第一视频流和第二视频流中检测到的目标对象为同一目标对象的概率低。

其中，第一对象特征与第二对象特征的特征距离可以是指所有第一对象特征构成的整体特征与所有的第二对象特征构成的整体特征之间的特征距离。

子步骤S14，在特征距离在预设距离阈值范围内时，确定第一视频流和第二视频流中存在同一目标对象。

在确定特征距离后，判断特征距离是否在预设距离阈值内，当特征距离在预设范围内时，则可以确定第一视频流和第二视频流中存在同一目标对象；当特征距离不在预设范围内时，则可以确定第一视频流和第二视频流中不存在同一目标对象。

需要说明的是，预设距离阈值范围可以根据实际检测场景需求设置。

步骤305，根据关键点坐标和三维坐标组，判断目标对象在三维空间中是否落入目标越线区。

在确定关键点坐标后，关键点坐标用于表示目标对象的各部分，而在先确定的三维坐标组为目标越线区的三维坐标，从而根据关键点坐标和目标越线区三维坐标组判断目标对象是否越线。

通过提取关键点进行越线检测，可以关注到具体目标对象的局部是否越线，以提高越线检测的准确性，降低漏检率和误检率。

在本发明一实施例中，步骤305可以包括：

子步骤S21，确定三维坐标组所在三维平面的法向量；

在实际应用中，在确定目标越线区的所有顶点的三维坐标组后，可以通过三维坐标组确定目标越线区所在三维平面，进而可以根据平面法向量定义，确定三维平面的法向量。

在本发明一实施例中，子步骤S21包括：在三维坐标组所在三维平面上确定第一向量和第二向量，第一向量和第二向量为不共线的向量；根据第一向量和第二向量确定三维平面的法向量。

具体的，法向量的计算过程可以是，在三维平面人随机取两个不共线向量，即第一向量和第二向量，确定分别与第一向量、第二向量乘积为0的向量集，从中取以向量作为三维平面的法向量。

例如：设平面法向量n＝(x，y，z)，在平面内找出两个不共线的向量，记为a＝(a

子步骤S22，根据法向量，确定关键点坐标在三维平面上的投影坐标；

在确定法向量后，可以根据法向量对关键点坐标进行沿法向量方向进行投影，确定关键点坐标在三维平面上的投影坐标。

子步骤S23，当投影坐标在目标越线区内时，判定目标对象在三维空间中落入目标越线区。

当投影坐标为目标越线区内的坐标点时，则可以判定目标对象在三维空间中落入目标越线区，即目标对象越线；当投影坐标不为目标越线区内的坐标点时，则可以判定目标对象在三维空间中不落入目标越线区，即目标对象未越线。

步骤306，当判定目标对象在三维空间中落入目标越线区时，确定目标对象越线。

在本发明实施例中，通过从针对目标越线区进行目标对象越线检测的多个摄像机中确定第一摄像机和第二摄像机；在第一摄像机和第二摄像机构成的三维空间中，确定目标越线区构成的三维坐标组；获取第一摄像机采集的第一视频流和第二摄像机采集的第二视频流；在第一视频流和第二视频流中存在同一目标对象时，确定目标对象在三维空间中的关键点坐标；根据关键点坐标和三维坐标组，判断目标对象在三维空间中是否落入目标越线区；当判定目标对象在三维空间中落入目标越线区时，确定目标对象越线，实现了在两个摄像机构建的三维空间中进行越线检测，提高了越线检测的准确性，降低误报率、漏报率。

以下结合图4以任务对象的越线检测为例对本发明上述实施例进行示例性描述：

(1)当目标越线区附近存在超过两个摄像机时，则在多个摄像机中选择两个摄像机用于越线检测。最优选择为两个摄像机的悬挂高度相近、俯角均小于15°且角度尽量接近，两个摄像机正对方向接近垂直，摄像机功能参数相近。

(2)在两个摄像机画面中进行越线区域标定，越线区域支持标定形状为多边形：

首先，在两个摄像机画面中按多边形顶点顺序形成二维坐标数组A和二维坐标数组B，数组中某一顶点的坐标为A

通过坐标变换得到二维坐标数组B’，B

越线区域在三维空间中可以近似构成一个平面(即三维平面)，计算该平面的法向量D。

(3)摄像头1和摄像头2在部署时已确定检测顺序为摄像机1-摄像机2，该顺序仅作为检测是否有行人的顺序，实际上当行人靠近检测区域时，两个摄像头范围内此时均可检测到行人，其先后顺序不会影响行人越线行为的判断。

两个摄像头连接于同一网络内，在摄像头1获得视频流后，先对获取的图像帧进行行人检测，若未识别到行人则不启动摄像头2，摄像头1继续检测后一帧，直到摄像头1检测到行人后，启动摄像头2进行行人检测。若存在至少一个摄像头在一定时间内无法取得有效视频流(即获得的每一帧画面均为空)，则通过服务器发送告警信息，确保多摄像头越线算法稳定运行。

(4)越线检测算法可以部署于后端服务器，在服务器上同时读取两个摄像机视频流并进行解码，并通过行人重识别算法(ReID)分析两路视频流中是否均有人员出现，若存在，则通过行人重识别算法计算两路视频流中人员对应关系，如不存在，则继续读取视频流进行解码。

对于同一个行人在两个视频流中的两个检测结果，分别通过OpenPose等人体骨骼关键点提取算法各自计算每个视频流内该人员的人体骨骼关键点，并按照三维坐标计算方法计算头、手、脚等人体骨骼关键点三维坐标，并基于空间几何数学计算在多边形目标区域平面上的投影，若存在人体骨骼关键点的坐标落入多边形目标区域，则通过后端服务器判定存在人员越线现象；若不存在人体骨骼关键点的坐标落入多边形目标区域，则通过后端服务器判定不存在人员越线现象，

(5)在判断存在人员越线则生成告警，并发送关联用户；当不存在人员越线则返回步骤(4)。

通过综合多个摄像机画面和越线判定区域对空间进行建模，得到画面中人体关键点和越线判定区域的三维坐标，可以有效解决因为单摄像机画面是二维平面信息而造成的人员越线误报，可以显著降低由于人员路过遮挡检测区域带来的误报率。

通过骨骼模型算法对人体关键点进行提取，通过关键点三维坐标来判定是否进入越线判定区域，可以有效检测出如头、手等造成的越线问题，而且降低因为目标检测算法检测出的人形不够贴合人体而造成的误报。尤其在较为靠近检测区域的场景下，目标检测算法误报率达30％，而使用骨骼模型算法后误报率可降低至10％以下。

需要说明的是，对于方法实施例，为了简单描述，故将其表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

参照图5，示出了本发明一实施例提供的一种越线检测的装置的结构示意图，具体可以包括如下模块：

摄像机确定模块501，用于从针对目标越线区进行目标对象越线检测的多个摄像机中确定第一摄像机和第二摄像机；

越线区三维坐标确定模块502，用于在所述第一摄像机和所述第二摄像机构成的三维空间中，确定所述目标越线区构成的三维坐标组；

视频流获取模块503，用于获取所述第一摄像机采集的第一视频流和所述第二摄像机采集的第二视频流；

越线检测模块504，用于根据所述第一视频流、所述第二视频流以及所述三维坐标组，判断所述目标对象在所述三维空间中是否落入所述目标越线区；

越线确定模块505，用于当判定所述目标对象在所述三维空间中落入所述目标越线区时，确定所述目标对象越线。

在本发明一实施例，所述越线区三维坐标确定模块502包括：

二维坐标确定子模块，用于确定所述目标越线区域的目标顶点在所述第一摄像机中的第一二维坐标和在所述第二摄像头中的第二二维坐标；

三维坐标确定子模块，用于根据所述第一二维坐标与所述第二二维坐标，确定所述目标越线区域各顶点构成的三维坐标组。

在本发明一实施例，所述越线检测模块504包括：

关键点确定子模块，用于在所述第一视频流和所述第二视频流中存在同一目标对象时，确定所述目标对象在所述三维空间中的关键点坐标；

越线检测子模块，用于根据所述关键点坐标和所述三维坐标组，判断所述目标对象在所述三维空间中是否落入所述目标越线区。

在本发明一实施例，所述越线检测子模块包括：

法向量确定单元，用于确定所述三维坐标组所在三维平面的法向量；

关键点投影单元，用于根据所述法向量，确定所述关键点坐标在所述三维平面上的投影坐标；

越线检测单元，用于当所述投影坐标在所述目标越线区内时，判定所述目标对象在所述三维空间中落入所述目标越线区。

在本发明一实施例，所述法向量确定单元可以包括：

向量确定子单元，用于在所述三维坐标组所在三维平面上确定第一向量和第二向量，所述第一向量和所述第二向量为不共线的向量；

法向量确定子单元，用于根据所述第一向量和所述第二向量确定所述三维平面的法向量。

在本发明一实施例，所述视频流获取模块503包括：

第一视频流获取子模块，用于获取所述第一摄像机采集的第一视频流；

第二视频流获取子模块，用于在所述第一视频流中检测到所述目标对象时，获取所述第二摄像机采集的第二视频流。

在本发明一实施例，所述关键点确定子模块还包括：

第一特征提取子单元，用于在所述第一视频流中针对所述目标对象进行特征提取，得到第一对象特征；

第二特征提取子单元，用于在所述第二视频流中针对所述目标对象进行特征提取，得到第二对象特征；

特征距离确定子单元，用于确定所述第一对象特征和所述第二对象特征的特征距离；

同一目标对象确定子单元，用于在所述特征距离在预设距离阈值范围内时，确定所述第一视频流和所述第二视频流中存在同一目标对象。

本发明一实施例还提供了一种电子设备，可以包括处理器、存储器及存储在存储器上并能够在处理器上运行的计算机程序，计算机程序被处理器执行时实现如上越线检测的方法。

本发明一实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储计算机程序，计算机程序被处理器执行时实现如上越线检测的方法。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对所提供的一种越线检测的方法、装置、电子设备以及存储介质，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。