一种具有物体位移测量计算功能的智能网络摄像机

技术领域

本发明属于机械领域，尤其涉及一种具有物体位移测量计算功能 的智能网络摄像机。

背景技术

目前的网络相机一般只具备视频拍摄和传输功能，对视频具体的 分析处理应用需要远端的计算机系统完成，这样数据利用的成本比较 高，由于图片数据量较大，进行网络传输时速度受限，数据传输到远 端计算机系统再进行计算应用的稳定性也差。

发明内容

为解决上述问题，本发明提供了一种具有物体位移测量计算功能 的智能网络摄像机。本发明可以实现在摄像机前端集成实际应用的计 算处理，在前端就可以获取所需要的位移数据，然后在打包传输到后 端服务器，并且前端可以根据计算结果确定是否回传视频数据到后端 服务器，这样就可以节约数据传输的成本。

为达到上述技术效果，本发明的技术方案是：

一种具有物体位移测量计算功能的智能网络摄像机，所述摄像机 主体和安装在智能网络摄像机内的前端位移测量设备；摄像机主体与 前端位移测量设备通讯连接；前端位移测量设备通讯连接后端服务器； 所述摄像机主体进行摄像得到视频，前端位移测量设备通过流地址获 取实时视频；前端位移测量设备解码视频中的图片并对图片处理得到 目标物体的位移量；

前端位移测量设备判断目标物体位移量大于预设的最大位移阈值、发 现异常视频数据才发送对应视频到后端服务器，否则不发送视频到到 后端服务器。

进一步的改进，所述前端位移测量设备包括参数预先设置模块、 位移测量计算模块和网络传输模块；

所述参数预先设置模块用于安装前端位移测量设备时，进行摄像机主 体标定以及设置参考图像和目标物体移动区域；

所述位移测量模块用于跟踪实时采集的目标图像中物体相对于参考 图像的位移，通过计算参考图像与目标图像中目标物体移动区域内特 征图像块的相似性获取目标物体的位移量；位移测量模块还用于判断 异常情况；

所述网络传输模块用于传输目标物体位移数据，目标物体位移数据相 对应的异常视频数据。

进一步的改进，所述异常视频数据即位移测量模块检测到异常帧 时，异常帧前后T秒的时间内视频数据即异常视频数据；所述异常帧， 即图片中目标物体的图像出现缺失、模糊、花屏以及前后相邻帧之间 目标物体出现超出预设的阈值的位移变化时图像对应的帧。

进一步的改进，参数预先设置模块具体实现步骤如下：

步骤一：启动前端位移测量设备；

步骤二：现场采集标定图像进行摄像机主体内部参数和外部参数标定， 并保存到相机标定配置文档；

步骤三：现场采集参考图像并保存到指定路径，在参考图像上画出物 体移动的区域，保存到位移测量计算配置文档；

步骤四：通过网络传输模块建立前端位移测量设备与后端服务器之间 的通信。

进一步的改进，所述摄像机主体的内部参数和外部参数标定是通 过张正友相机标定法，对摄像机主体的内部参数与外部参数进行标定， 得到摄像机主体内部参数和畸变参数矩阵，摄像机主体关于目标物体 所在平面的外部参数矩阵。

进一步的改进，所述位移测量模块具体实现步骤如下：

步骤一)：启动前端位移测量设备；

步骤二)：判断相机标定配置文档是否存在，相机标定配置文档存在 执行步骤三)；否则，提示请预先进行相机标定，进入参数预先设置 模块；

步骤三)：判断参考图像是否存在，参考图像存在执行步骤四)；否则， 提示请预先采集参考图像，进入参数预先设置模块；

步骤四)：判断位移测量计算配置文档是否存在，位移测量计算配置 文档存在执行步骤五；否则，提示请预先保存位移测量计算配置文档， 进入参数预先设置模块；

步骤五：将视频流解码成图像；

步骤六：通过计算参考图像与目标图像中目标物体图像的距离变化获 得目标物体的位移量；

步骤七：判断目标物体位移量是否小于最大位移阈值，是则将位移量 发送到后端服务器，否则将位移量和目标图像前后30s的视频发送到 后端服务器。

进一步的改进，所述摄像机主体包括摄像机外壳，摄像机外壳包 括外壳主体，外壳主体顶部赛有外壳上盖；外壳主体和外壳上盖之间 安装有摄像头，摄像头电连接有控制组件；所述控制组件包括控制盒， 控制盒内中部固定有控制板安装隔板，控制板安装隔板上安装有数据 传输模块和计算控制模块；控制盒顶部安装有直流电源模块、散热风 扇和接线端子排。

进一步的改进，所述数据传输模块和计算控制模块处于前端位移 测量设备上；所述前端位移测量设备为计算控制电路板；数据传输模 块为数据交换电路板。

本发明的优点：

本发明可以实现在摄像机前端集成实际应用的计算处理，在前 端就可以获取所需要的位移数据，然后在打包传输到后端服务器显示， 并且前端可以根据计算结果确定是否回传视频数据到后端服务器，这 样就可以节约数据传输的成本。

附图说明

图1为网络摄像机的的整体结构示意图；

图2为控制组件的结构示意图；

图3本发明一种具有物体位移测量计算功能的智能网络摄像机 电气图；

图4本发明一种具有物体位移测量计算功能的智能网络摄像机 实现位移测量计算和传输的框图；

图5本发明一种具有物体位移测量计算功能的智能网络摄像机 中核心控制板实现位移测量计算和传输的框图；

图6是本发明所述参数预先设置模块示意图；

图7是本发明所述前端位移测量设备位移测量计算模块示意图；。

其中，1摄像机外壳，1.1外壳主体，1.2外壳上盖，2控制组件， 2.1.1控制盒，2.1.2控制板安装隔板，2.1.3控制盒底板，2.2摄像 机数据采集板，2.3数据传输模块，2.4计算控制模块，2.5直流电 源模块，2.6散热风扇，2.7接线端子排，3摄像机。

具体实施方式

以下通过具体实施方式并且结合附图对本发明的技术方案作具 体说明。

如图1的一种具有物体位移测量计算功能的智能网络摄像机，摄 像机具有一个有主体和上盖组成的外壳，外壳内设置有控制组件、摄 像机。

工作流程如图3所示：

视觉检测网络相机电气系统主要有网络摄像机、计算控制电路板、 机罩控制板、数据交换电路板、电源模块等核心部件组成。

工作原理：交流电源AC24V作为输入供电，接到6位接线端子排 的1、2脚上，电源AC24V经过接线端子分线到网络相机输入电源端 子、机罩控制板输入电源端子；同时分线到电源模块的输入端，电源 模块将输入AC24V转换成DC5V输出，电源模块输出线接到接线端子 排的3、4脚上，电源DC5V经过接线端子分线到数据交换电路板输入 电源端、计算控制电路板的输入电源端。网络摄像机通过双绞线与机 罩控制板连接，用RS-485通信协议发送数据来控制机罩内的风扇的 开关、补光灯的开关、机罩镜头加热电阻的开关。计算控制电路板作 为采集数据计算中心，通过网络跳线与数据交换电路板连接，而数据 交换电路板通过网络跳线与网络摄像机连接，用以太网通信协议可以 计算控制电路板读取到网络摄像机的采集数据，并将运行数据再次通 过数据交换电路板的以太网接口，发送到用户PC应用端。

装置接线端子说明：

上述具有物体位移测量计算功能的智能网络摄像机是具有视频 采集、所拍摄物体运动位移测量计算、视频数据处理与传输功能的前 端位移测量设备。

如图1和2所示，具体包括主体和上盖组成的外壳，外壳内设置 有控制组件、摄像机。

如图5所示，一种具有物体位移测量计算功能的智能网络摄像机 实现物体位移测量计算的功能模块具体包括参数预先设置模块、视频 采集模块、位移测量计算模块和网络传输模块。

所述参数预先设置模块是首次安装前端位移测量设备时进行相 机标定、参考图像和物体移动区域的设置；

所述视频采集模块是启动摄像头对物体的移动状态进行图像数 据的采集；

所述位移测量模块是跟踪实时采集的目标图像中物体相对于参 考图像的位移，通过计算参考图像与目标图像中物体特征图像块的相 关性获取物体的位移量。

所述网络传输模块是通过通信协议建立前端位移测量设备与后 端服务器的连接，前端位移测量设备发送位移数据和异常视频数据， 后端服务器接收并存储位移数据和异常视频数据。

参数预先设置模块具体实现步骤：

步骤1：启动前端位移测量设备；

步骤2：现场采集标定图像进行相机内部参数和外部参数标定， 并保存到相机标定配置文档；

步骤3：现场采集参考图像并保存到指定路径。在参考图像上画 出物体移动的区域，保存到位移测量计算配置文档；

步骤4：通过网络传输模块建立前端位移测量设备与后端服务器 之间的通信。

所述相机的内部参数和外部参数标定是通过张正友相机标定法， 对相机的内部参数与外部参数进行标定，得到相机内部参数和畸变参 数矩阵，相机关于物体所在平面的外部参数矩阵；

所述位移测量模块具体实现步骤：

步骤1：启动前端位移测量设备；

步骤2：判断相机标定配置文档是否存在，相机标定配置文档存 在执行步骤3；否则，提示请预先进行相机标定，进入参数预先设置 模块；

步骤3：判断参考图像是否存在，参考图像存在执行步骤4；否 则，提示请预先采集参考图像，进入参数预先设置模块；

步骤4：判断位移测量计算配置文档是否存在，位移测量计算配 置文档存在执行步骤5；否则，提示请预先保存位移测量计算配置文 档，进入参数预先设置模块；

步骤5：将视频流解码成目标图像；

步骤6：通过计算参考图像与目标图像中物体特征图像块的相关 性获取物体的位移量；

步骤7：判断物体位移量是否小于最大位移阈值，满足判断条件 将位移量发送到后端服务器，否则将位移量和目标图像前后30s的视 频发送到后端服务器。

如图4所示，包括：

前端位移测量设备，用于物体实时状态的视频采集和位移测量计 算，发送位移数据和异常视频数据；

移动通信网络，传输位移数据和异常视频数据；

后端服务器，存储位移数据和异常视频数据。

前端位移测量设备由工作人员根据被测物体的实际情况安装在 固定位置，物体的移动范围必须包括在摄像机的视野内，调整视角、 焦距和光照情况。首次安装前端位移测量设备需进行参数预先设置， 进行相机标定、参考图像和物体移动区域的设置。PC端远程连接前 端位移测量设备，工作人员在需进行位移测量计算的物体多角度多方 位移动棋盘格标定板，采集内参标定图像。标定板贴合需进行位移测 量计算的物体平面，采集内参标定图像。对采集的内部参数和外部参 数图像进行标定，得到相机内部参数和畸变参数矩阵，外部参数矩阵， 并保存到相机标定配置文档中。采集一张正常情况下的图像作为参考图像并保存到指定路径。在参考图像上画出物体移动的区域，保存到 位移测量计算配置文档；如果需要判断异常情况，还需设置最大位移 阈值和异常情况需存储视频的时间T，保存到位移测量计算配置文档；

前端位移测量设备通过移动网络，如3G网络或4G网络与后端服 务器连接。启动前端位移测量设备后，打开摄像机获取物体实时的位 移状况，位移测量模块会对实时采集的视频进行位移测量计算。首先 判断相机标定配置文档是否存在，相机标定配置文档不存在，提示请 预先进行相机标定，需人工介入进入参数预先设置模块，进行相机标 定；判断参考图像是否存在，参考图像不存在，提示请预先采集参考 图像，需人工介入进入参数预先设置模块，进行参考图像采集，并在 参考图像上画出物体移动的区域，保存到位移测量计算配置文档；判 断位移测量计算配置文档是否存在，位移测量计算配置文档不存在， 提示请预先保存位移测量计算配置文档，需人工介入进入参数预先设 置模块进行位移测量计算配置文档设置；相机标定配置文档、参考图 像和位移测量计算配置文档都存在的情况下，会进行物体位移的测量 计算，通过网络传输模块将位移数据传输到后端服务器。如果设置了 异常情况的判断，判断位移量是否大于最大位移阈值，满足条件，前 端位移测量设备将位移量和异常帧图像前后T秒的视频数据发送给 后端服务器。

本发明在移动前端设备就可以实现视频采集、所拍摄物体运动位 移测量计算、视频数据处理与传输的功能，通过4G网络就能将位移 数据和异常情况的视频数据传输给后端服务器，数据量很小。无需远 端计算机和整个视频数据的传输，大大节约了数据传输的成本。

在野外场景中由于网络摄像头的不稳定性、目标的性质(人为或 结构特征)和光照变化等异常情况的影响导致监测图像与参考图像差 异较大，导致出现异常视频，使得目标物体图像的整像素位移失效。 根据实际情况可将异常情况分为以下几种：1)由于网络或外界因素 影响，视频帧出现花屏、卡顿、监测区域被遮挡的情况，监测图像短 时间内异常，可恢复；2)人为或结构特征的影响导致刚体目标纹理 发生变化，参考图像与监测图像差异太大；3)日夜交替光照变化太 大，参考图像与监测图像差异太大；4)相机发生偏移，导致视场发 生变化，监测对象还在视场内；5)采集设备发生较大偏移，导致视 场发生变化，监测对象不在视场内。

为处理上述异常情况监测异常帧，本发明的处理方法如下：

采用Delaunay三角剖分算法对参考图像中基准区和监测区离散 的POI(兴趣点，图像处理设备自行选取)分别进行Delaunay三角剖 分处理，形成分布较为均匀的三角形网格。对于任意某一POI，当且 仅当只有唯一一个与之相应的二维Delaunay三角剖分，根据唯一性， 以参考图像内生成的各个Delaunay三角边作为约束验证FFT-CC输出 的整像素位移的有效性。校验FFT-CC输出的整像素位移的具体步骤 为：

步骤1、构建参考图像基准区(参考图像)和监测区(目标图像) POI点集的Delaunay三角网，保存构成Delaunay三角形的POI索引 和对应的Delaunay三角边；

步骤2、遍历基准区离散的POI构造的Delaunay三角形所有的 Delaunay三角边，获取Delaunay三角边对应的两个POI索引；

步骤3、通过POI索引查找监测图像中对应的两个POI的坐标，设两个 POI坐标分别为(x

步骤4、若FFT-CC计算的POI的整像素位移为有效值的数目大于阈值min_T， min_T为最小POI的整像素位移有效值数目，则计算步骤3中标记为有效值的 POI的整像素位移均值，并将均值赋值给标记为无效值的POI的整像素位移， 进入IC-GN计算POI的亚像素位移子模块；否则监测图像为无效帧。

上述仅为本发明的一个具体导向实施方式，但本发明的设计构思 并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属 于侵犯本发明的保护范围的行为。