一种环视全景监控方法、装置及系统

技术领域

本发明涉及智能监控技术领域，尤其涉及一种环视全景监控方法、装置、系统及计算机存储介质。

背景技术

视频监控系统被广泛应用于城市安防、交通监控、室内监控、作业现场监控等系统中。近年来，视频监控系统中的摄像机成像核心技术得到了飞速的发展。一方面，摄像机的成像性能得到显著的提高：成像的画质与分辨率都得到了长足的进步，使得监控系统能够获取更高质量的视频图像数据，实现更加精细、准确的监控任务。另一方面，摄像机的价格也显著下降，进一步推动视频监控系统的更加全面的部署。随着技术与监控需求的发展，新一代的安防系统对传感器成像质量提出了更高的要求。

例如，面向新一代的智能交通路侧终端(RSU)是车路协同系统的重要组成部分，与传统的视频监控系统相比，这种RSU系统不仅需要检测出大范围路段上的交通目标，还需要精确计算出目标位置、姿态、轨迹等信息。但是，目前的主流监控摄像机存在着视场角小(典型视场角在40度与60度之间)、监控区域有限等缺点，不能满足大场景特别是全景场景的监控需求。另一方面，基于摄像机的监控系统无法获取场景与目标的三维结构信息，在目标高精度位置计算、轨迹计算等方面存在较大的技术难题。

发明内容

有鉴于此，有必要提供一种环视全景监控方法、装置及系统，用以解决目前监控系统无法实现全景监控、无法获取监控目标的三维结构信息的问题。

本发明提供一种环视全景监控方法，包括以下步骤：

获取监控场景的全景图像以及多维激光点云数据；

采用训练图像集对神经网络进行训练得到图像分类器，通过所述图像分类器对所述全景图像中监控目标进行检测识别，得到第一目标识别结果；

对所述多维激光点云数据中的前景点进行分离，利用聚类算法对所述前景点进行聚类，得到第二目标识别结果；

将所述第二目标识别结果映射到所述全景图像中，并采用DS证据法对所述第一目标识别结果和所述第二目标识别结果进行融合，得到融合目标识别结果。

进一步的，获取监控场景的全景图像，具体为：

获取主摄像机与次摄像机之间的主次标定矩阵；

分别获取所述主摄像机以及所述次摄像机采集的监控场景的图像数据，并根据所述主次标定矩阵对各摄像机采集的图像数据进行拼接得到所述全景图像。

进一步的，采用训练图像集对神经网络进行训练得到图像分类器，通过所述图像分类器对所述全景图像中监控目标进行检测识别，得到第一目标识别结果，具体为：

采集监控场景的图像样本，并对所述图像样本中监控目标进行标注，得到所述训练图像集；

采用所述训练图像集对所述神经网络进行训练，得到所述图像分类器；

将所述全景图像输入所述图像分类器中，得到所述第一目标识别结果。

进一步的，对所述多维激光点云数据中的前景点进行分离，具体为：

利用激光高斯模型对激光雷达每个测量角度进行高斯背景建模，计算多次测量的距离的均值和均方差；

基于所述均值和均方差建立高斯背景模型，并根据所述高斯背景模型设置分离阈值；

计算所述多维激光点云数据中各数据点属于背景的概率；

判断数据点属于背景的概率是否大于所述分离阈值，如果大于，则将对应数据点标记为背景点，否则将对应数据点标记为前景点。

进一步的，利用聚类算法对所述前景点进行聚类，得到第二目标识别结果，具体为：

利用DBSCAN聚类算法对所述前景点的运动目标点进行聚类，得到所述第二目标识别结果。

进一步的，将所述第二目标识别结果映射到所述全景图像中，具体为：

获取主摄像机与激光雷达之间的异构标定矩阵；

基于所述异构标定矩阵将所述第二目标识别结果映射到所述全景图像中。

进一步的，采用DS证据法对所述第一目标识别结果和所述第二目标识别结果进行融合，得到融合目标识别结果，具体为：

基于监控场景内的监控目标种类设置识别框架，基于所述识别框架获取相应的幂集；

采集监控场景的测试图像以及测试点云数据，建立测试图像集以及测试点云数据集；

采用测试图像集对图像分类器进行测试，得到图像分类器针对所述幂集中每一子集的mass函数；

采用点云数据集对点云分类器进行测试，得到点云分类器针对所述幂集中每一子集的mass函数；

根据所述mass函数计算各监控目标的信度函数和似真度函数；

根据Dempster合成规则计算各监控目标的合成mass函数；

基于所述合成mass函数分别计算所述第一目标识别结果和所述第二目标识别结果的基本概率值，选择基本概率值较大的结果作为所述融合目标结果。

本发明还提供一种环视全景监控装置，包括处理器以及存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现所述环视全景监控方法。

本发明还提供一种计算机存储介质，其上存储有计算机程序，所述计算机该程序被处理器执行时，实现所述环视全景监控方法。

本发明还提供一种环视全景监控系统，包括所述环视全景监控装置，还包括主摄像机、次摄像机、激光雷达以及供电电源；

所述主摄像机以及所述次摄像机用于采集所述图像数据，并发送至所述环视全景监控装置；

所述激光雷达用于采集所述三维激光点云数据，并发送至所述环视全景监控装置；

所述供电电源用于为所述主摄像机、所述次摄像机以及所述激光雷达供电。

有益效果：本方法利用多维激光点云数据与全景图像数据相融合，在传统视频监控的基础上进一步扩大监控范围并获取监控目标三维信息。与现有监控技术相比较，本发明改进了传统视频监控过程中的无法获取位置信息的缺陷，可以通过三维激光点云数据获取到监控目标的位置信息，同时，三维激光点云数据与全景图像融合的监控方向可以实现360度环向的全景监控效果，扩大了监控范围、增强监控的准确性。

附图说明

图1为本发明提供的环视全景监控方法第一实施例的方法流程图；

图2为本发明提供的环视全景监控系统第一实施例的系统结构图；

附图标记：

1、激光雷达；2、主摄像机；3、第一次摄像机；4、第二次摄像机；5、供电电源；6、三角支撑架。

具体实施方式

下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。

实施例1

如图1所示，本发明的实施例1提供了环视全景监控方法，包括以下步骤：

S1、获取监控场景的全景图像以及多维激光点云数据；

S2、采用训练图像集对神经网络进行训练得到图像分类器，通过所述图像分类器对所述全景图像中监控目标进行检测识别，得到第一目标识别结果；

S3、对所述多维激光点云数据中的前景点进行分离，利用聚类算法对所述前景点进行聚类，得到第二目标识别结果；

S4、将所述第二目标识别结果映射到所述全景图像中，并采用DS证据法对所述第一目标识别结果和所述第二目标识别结果进行融合，得到融合目标识别结果。

本实施例首先获取了全景图像和多维激光点云数据两种不同类型的数据。然后利用已经训练好的图像分类器对全景图像中的监控目标(本实施例中监控目标为行人与车辆)进行检测与识别；基于激光高斯模型对所采集多维激光点云数据中的前景点进行分离并利用聚类算法对行人与车辆进行检测与识别；最后将两种结果都映射到全景图像中，并基于DS证据法对两种结果进行融合，得到鲁棒的、精确的目标检测与识别结果。且还可以进一步根据三维激光点云数据获取监控目标的位置信息。

本方法利用多维激光点云数据与全景图像数据相融合，在传统视频监控的基础上进一步扩大监控范围并获取监控目标三维信息。与现有监控技术相比较，本发明改进了传统视频监控过程中的无法获取位置信息的缺陷，可以通过三维激光点云数据获取到监控目标的位置信息，同时，三维激光点云数据与全景图像融合的监控方向可以实现360度环向的全景监控效果，扩大了监控范围、增强监控的准确性。

优选的，获取监控场景的全景图像，具体为：

获取主摄像机与次摄像机之间的主次标定矩阵；

分别获取所述主摄像机以及所述次摄像机采集的监控场景的图像数据，并根据所述主次标定矩阵对各摄像机采集的图像数据进行拼接得到所述全景图像。

本实施例采用多个摄像机(三个及以上)获取监控场景的全景图像，多个摄像机中选择一个作为主摄像机，其它作为次摄像机。主摄像机和次摄像机分别从不同角度获取监控场景的图像数据，最终拼接成全景图像。由于需要对各摄像机所拍摄的图像数据进行拼接，因此首先需要对各摄像机进行标定。对主摄像机与各次摄像机之间进行两两标定，获得主摄像机与每一个次摄像机之间的旋转矩阵、平移矩阵，从而得到各摄像机之间的主次标定矩阵。

优选的，获取主摄像机与次摄像机之间的主次标定矩阵，具体为：

采用张正友标定法对所述主摄像机与所述次摄像机进行标定，得到所述主摄像机与所述次摄像机之间的旋转矩阵和平移矩阵；

结合所述主摄像机与所述次摄像机之间的旋转矩阵和平移矩阵，得到所述主次标定矩阵。

具体的，本实施例中次摄像机有两个：

对主摄像机和第一次摄像机进行联合标定，求其外参矩阵：将棋盘格标定板放置在主摄像机与第一次摄像机的视野重合区域，分别拍摄一张图像，通过张正友标定法分别计算主摄像机与标定板之间的旋转矩阵、平移矩阵，以及第一次摄像机与标定板之间的旋转矩阵、平移矩阵：

b＝R

b＝R

其中，b标定板坐标系下的标定点，a为主摄像机坐标系下的标定点，R

那么主摄像机与第一次摄像机之间的旋转矩阵和平移矩阵分别为：

其中，R

同样地，将棋盘格标定板放置在主摄像机与第二次摄像机的视野重合区域，分别拍摄一张图像，通过张正友标定法分别计算主摄像机与标定板之间的旋转矩阵、平移矩阵，以及第二次摄像机与标定板之间的旋转矩阵、平移矩阵：

b＝R

b＝R

其中，b标定板坐标系下的标定点，a为主摄像机坐标系下的标定点，R

那么主摄像机与第二次摄像机之间的旋转矩阵和平移矩阵分别为：

其中，R

优选的，根据所述主次标定矩阵对各摄像机采集的图像数据进行拼接得到全景图像，具体为：

采用张正友标定法对所述主摄像机和所述次摄像机分别进行标定，得到每个摄像机的内参数矩阵和畸变矩阵；

根据各摄像机的内参数矩阵以及畸变矩阵对相应的图像数据进行畸变矫正；

根据所述主次标定矩阵将所述次摄像机对应的图像数据拼接到主摄像机对应的图像数据上，得到所述全景图像。

通过标定得到的每个摄像机的内参数矩阵和畸变系数矩阵，将各摄像机拍摄的图像进行畸变矫正，然后通过图像匹配将两个次摄像机所拍摄的图像拼接到主摄像机拍摄的图像上，形成一张全景图像。具体的，本实施例中摄像机采用鱼眼摄像机，使用多源异构传感器标定方法将3个鱼眼摄像机采集图像数据拼接成视野范围为360度的全景图像。

优选的，采用训练图像集对神经网络进行训练得到图像分类器，通过所述图像分类器对所述全景图像中监控目标进行检测识别，得到第一目标识别结果，具体为：

采集监控场景的图像样本，并对所述图像样本中监控目标进行标注，得到所述训练图像集；

采用所述训练图像集对所述神经网络进行训练，得到所述图像分类器；

将所述全景图像输入所述图像分类器中，得到所述第一目标识别结果。

具体的，本实施例首先采集大量行人与车辆的图像数据，并进行行人与车辆的标注，然后使用Mask-RCNN网络进行训练得到行人与车辆的Mask-RCNN图像分类器。最后使用Mask-RCNN图像分类器提取全景图像中的行人与车辆目标。

优选的，对所述多维激光点云数据中的前景点进行分离，具体为：

利用激光高斯模型对激光雷达每个测量角度进行高斯背景建模，计算多次测量的距离的均值和均方差；

基于所述均值和均方差建立高斯背景模型，并根据所述高斯背景模型设置分离阈值；

计算所述多维激光点云数据中各数据点属于背景的概率；

判断数据点属于背景的概率是否大于所述分离阈值，如果大于，则将对应数据点标记为背景点，否则将对应数据点标记为前景点。

具体的，利用激光雷达测距的工作原理：激光雷达水平视场角为360度，水平角分辨率为0.1-0.4度，垂直视场角根据激光雷达线束的不同而不同，激光雷达测距精度为3cm左右。当激光雷达某一线束在测距范围内扫描到某一物体时将会记录激光雷达远点到该物体的距离。

激光高斯模型对每个测量角度进行高斯背景建模，设某个角度θ对应的N次测量距离为d

其中，μ(θ)为均值，d

利用上述计算得到的均值和均方差可以得到对应的高斯背景模型并根据高斯模型设定对应的阈值ξ；

计算所述多维激光点云数据中各数据点属于背景的概率：

其中，θ为多维激光点云数据中数据点对应的测量角度，d(θ)为测量角度θ对应的测量值，P(d(θ))为多维激光点云数据中数据点属于背景的概率；

在上式中，通过输入一个在测量角度θ的新的测量值d(θ)，即可计算得到该测量角度对应的数据点属于背景点的概率。若P(d(θ))＞ξ，则该数据点被标记为背景目标；若P(d(θ))≤ξ，则该点被标记为前景目标。

优选的，利用聚类算法对所述前景点进行聚类，得到第二目标识别结果，具体为：

利用DBSCAN聚类算法对所述前景点的运动目标点进行聚类，得到所述第二目标识别结果。

通过激光高斯模型可以提取监控场景中的运动目标，并剔除所有的背景目标。但是，提取的运动目标点可能属于不同的运动目标，因此，需要通过聚类算法将这些提取出来的运动目标点进行聚类，获得运动目标更精细化的表征。本实施例采用经典的DBSCAN聚类算法对提取的运动目标点进行聚类，根据激光点云的特征对行人和车辆点云进行提取。

优选的，将所述第二目标识别结果映射到所述全景图像中，具体为：

获取主摄像机与激光雷达之间的异构标定矩阵；

基于所述异构标定矩阵将所述第二目标识别结果映射到所述全景图像中。

要实现基于全景图像和多维激光点云数据这两种不同类型数据所获得的识别结果的融合，需要先对采集全景图像的摄像机与采集多维激光点云数据的激光雷达进行标定。

优选的，获取主摄像机与激光雷达之间的异构标定矩阵，具体为：

采集多张标定板点云数据，同时采集多张标定板图像；

采用张正友标定法获取每张标定板图像中标定板平面的法向量与距离；

计算每张标定板点云数据中标定板平面的法向量与距离；

计算主摄像机与激光雷达之间的旋转矩阵；

计算主摄像机与激光雷达之间的平移矩阵；

结合所述主摄像机与所述激光雷达之间的旋转矩阵和平移矩阵，得到所述异构标定矩阵。

具体的，将标定板放置在激光雷达和主摄像机的视野重合区域，不断地改变标定板位置但保证标定板始终在激光雷达和主摄像机的视野重合区域，采集多张标定板点云数据，同时采集多张标定板图像，采集次数大于3，利用张正友标定法获取每张图像中标定板平面的法向量与距离；提取标定板点云数据中的标定板所在的标定板点云平面，计算每张标定板点云平面的法向量与距离，那么激光雷达到主摄像机的旋转矩阵R

R

R

其中，R

T

其中，A为标定板图像中标定板平面，A＝[m

优选的，并采用DS证据法对所述第一目标识别结果和所述第二目标识别结果进行融合，得到融合目标识别结果，具体为：

基于监控场景内的监控目标种类设置识别框架，基于所述识别框架获取相应的幂集；

采集监控场景的测试图像以及测试点云数据，建立测试图像集以及测试点云数据集；

采用测试图像集对图像分类器进行测试，得到图像分类器针对所述幂集中每一子集的mass函数；

采用点云数据集对点云分类器进行测试，得到点云分类器针对所述幂集中每一子集的mass函数；

根据所述mass函数计算各监控目标的信度函数和似真度函数；

根据Dempster合成规则计算各监控目标的合成mass函数；

基于所述合成mass函数分别计算所述第一目标识别结果和所述第二目标识别结果的基本概率值，选择基本概率值较大的结果作为所述融合目标结果。

优选的，还包括：根据所述融合目标识别结果以及所述多维激光点云数据获取监控目标的位置信息。

采集监控场景的测试图像以及测试点云数据，再通过训练好的Mask-RCNN图像分类器和基于激光高斯模型的运动目标检测算法分别对测试图像以及测试点云数据，进行目标检测与识别，最后根据目标检测与识别结果人为地计算两种分类器针对行人与车辆的进行检测与识别的正确率、错检率和漏检率。

具体的，以X表示行人、Y表示车辆，设识别框架Θ＝{X,Y}，幂集2

2

其中，XY表示真实目标为Y而检测识别目标为X，其它同理可得；Φ表示没有目标或没有识别出目标，φ表示空集，即真实目标为空而检测识别目标也为空。

每个幂集的mass函数可由测试结果获得，其中m(Φ|Φ)＝0，

根据Dempster合成规则计算识别目标为行人的合成mass函数：

其中，

同理可计算识别目标为车辆的合成mass函数

根据最大基本概率赋值决策准则对合成mass函数进行判断，选择可能性最大的结果作为融合结果。

本发明针对监控领域的技术发展趋势，提出了一种基于全景图像和多维激光点云数据融合的全景智能监控方法。本方法提出利用多台广角摄像机实现全景视觉成像，通过激光雷达与摄像机的高精度标定与融合，实现在颜色(即RGB三个颜色通道)和三维结构(即XYZ三个方向的坐标)共六个维度(6D)的全景成像，在此基础上，实现监控目标智能化检测与识别。

实施例2

本发明的实施例2提供了环视全景监控装置，包括处理器以及存储器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现实施例1提供的环视全景监控方法。

本发明实施例提供的环视全景监控装置，用于实现环视全景监控方法，因此，环视全景监控方法所具备的技术效果，环视全景监控装置同样具备，在此不再赘述。

实施例3

本发明的实施例3提供了计算机存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现实施例1提供的环视全景监控方法。

本发明实施例提供的计算机存储介质，用于实现环视全景监控方法，因此，环视全景监控方法所具备的技术效果，计算机存储介质同样具备，在此不再赘述。

实施例4

如图2所示，本发明的实施例4提供了环视全景监控系统，包括所述环视全景监控装置，还包括主摄像机2、次摄像机、激光雷达1以及供电电源5；

所述主摄像机2以及所述次摄像机用于采集所述图像数据，并发送至所述环视全景监控装置；

所述激光雷达1用于采集所述三维激光点云数据，并发送至所述环视全景监控装置；

所述供电电源5用于为所述主摄像机2、所述次摄像机以及所述激光雷达供电。

具体的，本实施例中次摄像机有两个，分别为第一次摄像机3和第二次摄像机4；还包括三角支撑架6，激光雷达1、主摄像机2、第一次摄像机3以及第二次摄像机4均安装于三角支撑架6上，以便实现全景监控。

本实施例包括硬件和软件两个部分：硬件部分由3个180度鱼眼摄像机和一个多线激光雷达组成的全景监控设备，分别用于采集全方位的、360度全景的图像数据与多维激光点云数据；软件部分即实施例1提供的方式，包括基于Mask-RCNN的视觉目标检测与识别算法、基于激光高斯模型与DBSCAN聚类的激光雷达目标检测与识别算法和基于DS证据法的目标识别融合算法，用于处理图像数据和点云数据，得到鲁棒的、精确的目标检测与识别结果。

本发明提出的基于激光雷达和多摄像机融合的智能路侧环视监控系统及方法，以激光雷达和摄像机为基础，首先进行多源异构传感器的标定，其次基于Mask-RCNN进行视觉目标的检测与识别，然后基于激光高斯模型和DBSCAN聚类进行激光雷达目标的检测与识别，最后利用DS证据法对激光和图像的目标识别结果进行融合。与现有监控技术相比较，本发明改进了传统视频监控过程中的无法获取位置信息的缺陷，提出的激光与多摄像机融合的监控方法可以扩大监控范围、增强监控的准确性。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。