一种用于机房设备监控画面的增强显示系统及方法

技术领域

本发明涉及视频监控技术领域，尤其涉及一种用于机房设备监控画面的增强显示系统及方法。

背景技术

在物业机房内，包括多种电器设备，而每种电器设备又包括各种仪表盘、数码显示窗、液晶显示屏等，在对这些电气设备进行视频监控时，受到监控摄像头的数量、安装位置、观测角度等多种限制，能够通过视频监控获取的实际监测画面形态不一，难以让监测人员获得良好的视觉观感，还有可能造成对同类型多个设备的视觉混淆，从而不能通过视频监控清楚、快速、准确地分辨出不同设备的参数显示。

发明内容

本发明主要解决的技术问题是针对物业机房内的设备进行视频监控，难以对机房内设备的人机接口界面的显示内容进行准确显示和分辨，视频监控的用户体验不好。

为了解决上述技术问题，本发明提供一种用于机房设备监控画面的增强显示系统，包括设置在机房内的摄像头，监控主机和显示屏，所述摄像头对机房内设备的工作界面进行拍摄，获得实景视频传输至所述监控主机；所述监控主机包括视频解码单元、视频处理单元和视频标注单元，所述视频解码单元对所述实景视频解码得到图像序列；所述视频处理单元对所述图像序列进行图像处理，包括对所述设备的工作界面进行目标识别和区域框划分，得到目标识别结果；所述视频标注单元把所述目标识别结果，以图文标注的方式叠加到所述图像序列上，然后将叠加有图文标注信息的视频输出至所述显示屏进行显示。

具体的，所述视频处理单元包括神经网络初始模型，利用所述设备的工作界面的样本数据对所述神经网络初始模型进行训练，得到能够用于识别多种类型设备的工作界面的神经网络应用模型。

具体的，所述视频标注单元的一路接收来自所述视频解码单元的所述图像序列，另一路接收来自所述视频处理单元的目标框信息和识别信息，转换为标注字符，叠加到输入的所述图像序列，然后对叠加有所述标注字符的所述图像序列进行编码处理，得到叠加有字符的视频信号，再通过所述显示屏显示。

具体的，所述监控主机还包括事件识别单元和告警输出单元，

所述视频处理单元对所述设备的工作界面进行识别以后，将目标识别结果输入到所述事件识别单元；所述事件识别单元基于对所述目标识别结果的连续观测，实现事件识别，在识别出危险事件时，由所述告警输出单元进行告警。

具体的，所述监控主机还包括三维场景合成单元，用于构建与所述机房内实物场景对应的三维虚拟场景，并且根据所述视频处理单元输出的目标识别结果，在所述三维虚拟场景中的虚拟设备上实时显示识别信息，保持与所述实景视频显示内容一致。

具体的，所述构建与所述机房内实物场景对应的三维虚拟场景的方法包括：获取第一摄像头

具体的，所述构建与所述机房内实物场景对应的所述三维虚拟场景的方法包括：在机房内设置有n个摄像头

本发明还提供一种用于机房设备监控画面的增强显示方法，包括：在机房内安装摄像头，对机房内设备的显示界面进行拍摄，获得现场实景视频，传输至监控主机；所述监控主机对所述现场实景视频进行图像识别处理，在显示视频监控画面时，对所述现场实景视频增加图文标注显示。

具体的，所述监控主机对所述现场实景视频进行图像识别处理，包括对机房内设备的工作界面进行特征识别，提取界面显示数据；所述图文标注显示的信息包括所述界面显示数据。

具体的，构建与所述机房对应的三维虚拟场景，在显示视频监控画面时，同步可切换显示所述三维虚拟场景，将所述界面显示数据与所述三维虚拟场景融合，所述三维虚拟场景中的虚拟设备同步显示对应的所述界面显示数据。

本发明的有益效果是：本发明公开了一种用于机房设备监控画面的增强显示系统及方法，包括: 在机房内安装摄像头，对机房内设备的显示界面进行拍摄，获得现场实景视频，传输至监控主机；监控主机对现场实景视频进行图像识别处理，在显示视频监控画面时，对现场实景视频增加图文标注显示。以及，构建与机房对应的三维虚拟场景，在显示视频监控画面时，同步可切换显示三维虚拟场景，其中的虚拟设备同步显示对应的界面显示数据。该方法能够对机房设备显示界面进行图像识别，把摄像头在不同角度拍摄的多个设备进行区分，并准确显示各设备界面数据，提供更为友好的视频监控显示效果，增强用户体验。

附图说明

图1是根据本发明用于机房设备监控画面的增强显示系统一实施例的组成示意图；

图2是根据本发明用于机房设备监控画面的增强显示系统一实施例的设备的工作界面组成示意图；

图3是根据本发明用于机房设备监控画面的增强显示系统一实施例对实景视频画面进行图文标注的示意图；

图4是根据本发明用于机房设备监控画面的增强显示系统一实施例中监控主机的组成示意图；

图5是根据本发明用于机房设备监控画面的增强显示系统一实施例中监控主机的视频处理单元的组成示意图；

图6是根据本发明用于机房设备监控画面的增强显示系统一实施例中监控主机的目标识别结果示意图；

图7是根据本发明用于机房设备监控画面的增强显示系统一实施例中单摄像头实景场景与虚拟场景构建原理示意图；

图8是根据本发明用于机房设备监控画面的增强显示系统一实施例中三维虚拟场景示意图；

图9是根据本发明用于机房设备监控画面的增强显示系统一实施例中基于多摄像头构建虚拟场景构建原理示意图。

具体实施方式

为了便于理解本发明，下面结合附图和具体实施例，对本发明进行更详细的说明。附图中给出了本发明的较佳的实施例。但是，本发明可以以许多不同的形式来实现，并不限于本说明书所描述的实施例。相反地，提供这些实施例的目的是使对本发明的公开内容的理解更加透彻全面。

需要说明的是，除非另有定义，本说明书所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。在本发明的说明书中所使用的术语只是为了描述具体的实施例的目的，不是用于限制本发明。本说明书所使用的术语“和/或”包括一个或多个相关的所列项目的任意的和所有的组合。

图1显示了用于机房设备监控画面的增强显示方法一实施例的组成示意图，其中在机房2内安装摄像头21，可以同步对分布在多个不同位置的多个机房进行视频监控，对机房内设备的显示界面进行拍摄，获得各个机房的现场实景视频，传输至监控主机1。其中传输视频信号的通信网络4可以是同轴线缆为主的有线电视网，也可以是接入到计算机网络的有线互联网，也可以是接入到移动通信、卫星通信的无线互联网。机房包括配电机房、空调机房、通信机房等，机房内的设备包括各种配电设备、变压设备、电机设备、冷凝设备、锅炉设备、网络交互设备等。如图2所示，设备的显示界面包括各种指示灯C1、带有指针指示的仪表盘C2、数码显示管、液晶显示屏C3等。

在图1中，所述监控主机1对所述现场实景视频进行图像识别处理，在显示屏3显示视频监控画面时，对所述现场实景视频增加图文标注显示。

具体的，这里的图文显示包括通过附加显示图像、文字、数字的方式，对实景视频中的设备类型、编号进行显示，对设备上的显示界面进行附加图文显示，包括仪表盘的模拟显示画面，属于附加图像显示，用一个虚拟的仪表盘代替视频中实际的仪表盘，但是仪表指针指示的位置二者完全一致。也可以对仪表盘的表针指示的数值进行识别后，通过数值显示的方式来标注仪表盘的表针指示的数值，如图3所示，图文标注显示有仪表盘的“表针值：50”。以及包括对实景视频中数码管显示的数字、各个指示灯的明灭状态、颜色类型进行识别，然后再通过标注图文的方式加以辅助显示，从而克服人眼观测难以识别清楚的问题，例如图3中还对指示灯进行了辅助模拟图像显示，以表示其中的指示灯处于点亮状态和颜色，如图3中显示“黄灯亮”。

具体的，如图4所示，所述监控主机1包括视频解码单元B1、视频处理单元B2、视频标注单元B3。设置在机房内的监控摄像头获取实时的实景视频输入到监控主机1，所述视频解码单元B1对所述实景视频解码得到图像序列，包括对不同类型的实景视频解码后获得统一类型的图像序列。

所述视频处理单元B2对所述图像序列进行图像处理，包括对图像中设备工作界面的目标类别的识别和区域框划分，得到对应的图像特征和目标识别结果。所述视频标注单元B3则需要把目标识别的结果，以图文标注的方式叠加到图像序列上，呈现出前述图3所示实施例的视频显示效果，然后将叠加有图文标注信息的视频输出至显示屏进行显示。

其中，视频处理单元B2对所述现场实景视频中的每一帧图像进行图像识别处理的方法，包括：构建深度学习神经网络初始模型，利用设备的工作界面样本数据对所述神经网络初始模型进行训练，得到能够用于识别多种类型设备的工作界面的神经网络应用模型。

进一步的，如图5给出了神经网络初始模型实施例的组成示意图，其中包括卷积神经网络A1，所述卷积神经网络A1的后一级输出特征图A2，同时还并联连接有区域选择网络A3，所述区域选择网络A3输出候选区域对特征图进行选择区域，经过候选区域匹配处理得到固定尺度特征图A4，然后输出至全连接网络A5，对固定尺寸特征图输出对应的区域框和目标类别，例如表盘所在区域框、显示屏所在区域框、数码管所在区域框、指示灯所在区域框，以及对表盘、显示屏、数码管、指示灯进行目标识别。

对于卷积神经网络A1优选为改进的ResNet网络，把ResNet网络中的特征提取部分ResNet-101的conv3，conv4和conv5阶段中的全部3x3卷积层替换为可变形卷积层，将现有的ROI Pooling层（兴趣区域池化层）替换为可变形ROI Align层（兴趣区域对齐层）。

其中，可变形卷积层和可变形ROI Align层基于在单元中对空间采样位置信息作进一步位移调整，该位移在目标任务中学习得到，不需额外的监督信号。可变形卷积层在标准卷积中向常规采样网络添加了2D偏移，可变形ROI Align层在以前的ROI Align为每个bin添加一个偏移量，从先前的特征图和ROI学习偏移量，使得对具有不同形状的对象进行自适应部分定位。可变形ROI Align层通过标准的ROI Align获取ROI对应的特征，该特征通过一个全连接层得到ROI每个部位的偏移量。用该偏移量作用在可变形ROI Align上，获得不局限于ROI固定网格的特征。

区域选择网络A3（RPN）是对不同尺度的特征图A2进行区域选择，具体的，在候选区域匹配处理中，主要是进一步对候选区域进行池化处理，从而将不同尺度的特征图池化为固定尺度特征图A4。

进一步优选的，在候选区域匹配处理中包括：

第一步，特征图映射，将输入的特征图进行缩小映射，并保留浮点数。例如，特征图A2中有一个候选区域的大小为800*800，映射后的特征图的大小为：800/32=12.5,即12.5*12.5，此时不进行取整操作，而是保留浮点数。

第二步，池化处理，对映射后的特征图进行固定尺度池化处理，得到进一步分区的池化特征图。例如，进行池化的宽度和高度均为7，即pooled_w=7,pooled_h=7,即池化后固定成7*7大小的特征图，这样经过映射得到的12.5*12.5的特征图又被划分成49个同等大小的小区域，即为池化特征图，每个池化特征图的大小为12.5/7=1.78，即1.78*1.78。

第三步，下采样处理，确定下采样值，然后对池化特征图按照下采样值进一步分为均等的采样区，每个采样区取中心点位置，中心点位置的像素采用双线性插值进行计算，得到的像素值，最后取各个采样区对应的像素值中的最大值作为所述池化特征图的像素值。例如，假定采样值4，即表示对于每个1.78*1.78的池化特征图平分为四个采样区，每个采样区取中心点位置，而中心点位置的像素采用双线性插值进行计算，得到四个像素值，最后取四个像素值中最大值作为这个池化特征图（1.78*1.78大小的区域）的像素值，如此类推，映射后的特征图可以获取49个池化特征图的像素值，组成7*7大小的特征图。

然后再通过全连接网络A5对目标框进行修正和目标类型识别。当需要对设备显示目标（表盘、显示屏、数码管、指示灯）进行初步判断时，需要选择分类损失函数

，

表示RPN部分的目标函数，其值为分类和回归损失的和，分类采用Softmax，回归采用稳定的SmoothL1。

表示采用Softmax的分类损失，/>

这里要判断输出的类别属于stuff类别或者thing类别，根据类别的不同，选择不同的loss函数，然后计算输出每层实际值和输出值间的偏差，根据反向传播算法中的链式法则，得到每个隐藏层的误差，根据每层的误差调整各层的参数，完成网络的反向传播过程。不断迭代正向传播和反向传播过程，直至网络收敛，则完成整个网络的训练。根据真实类别

如图6所示，分别对拍摄的设备界面上的表盘、指示灯和显示屏进行了目标类别的识别和区域框的划分。如图6中，识别出目标类别为表盘对应的区域框D1，目标类别为显示屏对应的区域框D2，目标类别为指示灯对应的区域框D3。

在对目标类别进行识别和所在区域框进行划分以后，就可以进行对该区域的目标状态进一步判断识别，包括对表盘指针指示位置和指示数值的识别，对显示屏显示内容的识别，对数码管显示数值的识别，对指示灯的显示颜色（红、黄、绿等）、显示状态（亮、灭或闪烁）进行识别。通过识别后，则将结果通过图3所示的实施例，以图文标注的方式在对应的目标区域进行对应指示。

结合图4所示，视频标注单元B3在接收到来自视频处理单元B2的目标框信息和识别信息，据此对字符在屏幕上显示的颜色、协议、位置等参数进行设置。由此，控制屏幕标注字符叠加的样式和位置，还可以调整字符的行列、大小系数。具体包括的配置参数有屏幕显示前景色、背景颜色、字符显示框所在位置行、字符显示框所在位置列、字符系数、字符内容、日期时间显示位置行、日期时间显示位置列。

其中，屏幕显示前景色用于设置标注字符的颜色，包括白色、红色等选项；背景颜色用于设置字符的显示背景颜色，包括透明、白色、蓝色等选项；字符显示框所在位置行、字符显示框所在位置列这两项是针对视频输出信号中叠加标注字符的位置进行设置，由于会有多个显示目标需要进行字符标注显示，因此会有多个字符显示框需要设置。字符系数用于设置输出字符大小，字符内容对应的是对识别的结果进行不失真显示。日期时间显示位置行、日期时间显示位置列这两项则用于叠加显示对应的视频播放时间。

在视频标注单元B3中，一路接收来自视频解码单元B1的视频解码后的图像序列，另一路接收来自视频处理单元B2的目标框信息和识别信息后，将上述设置的标注字符叠加到输入的图像序列，然后对叠加有字符信号的图像序列进行编码处理，得到叠加有字符的视频信号，再通过屏幕显示。

进一步的，结合对显示内容的识别，则还可以对监控事件进行判断，例如正常工作状态、异常工作状态等进行判断识别，也可以对出现事故之前的征兆进行识别，例如频繁自动断电和上电切换，存在电压不稳的问题。

对应的，在图4中还包括事件识别单元B4和告警输出单元B5，其中视频处理单元B2对设备的工作界面经过识别以后，将目标识别结果输入到事件识别单元B4进行事件识别。基于对设备工作界面上的各个表盘和指示灯的显示内容和显示状态进行识别和连续观测，这里的事件主要是和设备工作状态密切相关，包括故障预测事件、设备故障事件、设备受损事件、人为干预事件等。

其中，故障预测事件是指当偶尔出现表盘指针显示跳动、指示灯短暂闪烁，但是这些异常状态的出现频度逐渐增大，或者出现的间隔时间变短且次数增多时，则通过记录、识别这些征兆事件，来判断预测故障可能发生，及早进行发现和告警，有利于早期排除潜在故障隐患。设备故障事件是指识别出表盘指针显示错误、指示灯熄灭或连续不间断闪烁，则表明设备处于非正常工作状态，需要告警提示；设备受损事件是指识别出设备外形发生明显形变，如倾斜、倾倒、破损、掉漆、表盘发黑等外形变化，表明设备受到外力作用而受损，需要告警提示；人为干预事件是指识别出在设备周边出现人员活动，如开箱检查，并在人员活动之后识别设备出现工作异常，明显与人员活动之前的工作状态不同，需要告警提示。

以上事件识别的方法包括：定时输出对设备显示目标（包括表盘、显示屏、数码管、指示灯）的识别结果，通过比较前后相邻时间间隔的显示内容是否存在差异，来判断是否出现了显示变化；当出现显示变化后，增大定时观测的频度，确定变化的频度和变化的范围；当变化的频度和变化的范围均超过预定的门限后，则进行告警输出，进行人为干预。

具体的，所述事件识别单元B4根据视频处理单元B2的识别结果，根据定义的事件识别规则，形成特征记录，该记录一般包含日期、时间、地点、照片、视频片段等，构成一个完整的证据链。事件识别规则可以用文件也可以用数据库表的形式存放。这样做的优点是将“视频处理”和“事件识别”尽量分开，做到最大的灵活性和可扩展性。

对应的，在图4中还包括三维场景合成单元B6，通过该单元可以构建与所述机房内实物场景对应的三维虚拟场景，并且根据视频处理单元B2输出的识别信息，在三维虚拟场景中的虚拟设备上实时显示识别信息，保持与实时实景视频显示内容的一致。

构建与所述机房内实物场景对应的三维虚拟场景的方法，包括：测量所述机房和内部设备的空间尺寸和空间位置，在计算机中对机房内部空间和内部设备构建对应的三维景物模型；以摄像头的实际空间位置为参考点，确定所述摄像头在不同的拍摄条件下，对应的实际视场画面；以所述实际视场画面为依据，同比例虚拟构建所述三维景物模型，构建多观测条件下的三维虚拟场景。

具体的，参考图7，构建与所述机房内实物场景对应的三维虚拟场景的方法包括：获取第一摄像头

由于三维虚拟场景可以变换到多个观测位置和观测角度进行观看，当由镜头视角对应的虚拟场景切换或转换到其他视角的虚拟场景后，则完全可以利用三维虚拟场景进行仿真呈现，但是对于设备的显示数值，则依然是来源于视频处理单元B2输出的识别信息进行显示。

如图8所示，即为可以在多个观测位置和观测角度对三维虚拟场景进行呈现的示意图，其中的设施均为虚拟仿真实现，但是其中设备显示的数值则是基于视频处理单元B2输出的识别信息而对应显示的，因此兼顾了实时真实性与虚拟观测的有效结合。

如图9所示，对应的，在机房内若有n（n≥2）个摄像头

然后，在同一个三维虚拟场景中，可以对上述n个虚拟场景进行拼接合成，当由镜头视角对应的虚拟场景切换或转换到其他视角的虚拟场景后，则完全可以利用三维虚拟场景进行仿真呈现，如近距离仿真呈现。但是对于设备的显示数值，则依然是来源于视频处理单元B2对各个摄像头拍摄图像进行识别后，对输出的识别信息进行显示。由此可以实现多个摄像头监控条件下，虚拟显示与实景显示的统一。

基于同一发明构思，本申请还提供了一种用于机房设备监控画面的增强显示方法，包括：在机房内安装摄像头，对机房内设备的显示界面进行拍摄，获得现场实景视频，传输至监控主机；所述监控主机对所述现场实景视频进行图像识别处理，在显示视频监控画面时，对所述现场实景视频增加图文标注显示。

具体的，所述监控主机对所述现场实景视频进行图像识别处理，包括对机房内设备的工作界面进行特征识别，提取界面显示数据；所述图文标注显示的信息包括所述界面显示数据。

具体的，构建与所述机房对应的三维虚拟场景，在显示视频监控画面时，同步可切换显示所述三维虚拟场景，将所述界面显示数据与所述三维虚拟场景融合，所述三维虚拟场景中的虚拟设备同步显示对应的所述界面显示数据。

该方法的具体内容可以结合前述对增强显示系统的说明进行理解，这里不再赘述。

由此可见，本发明公开了一种用于机房设备监控画面的增强显示系统及方法，包括: 在机房内安装摄像头，对机房内设备的显示界面进行拍摄，获得现场实景视频，传输至监控主机；监控主机对现场实景视频进行图像识别处理，在显示视频监控画面时，对现场实景视频增加图文标注显示。以及，构建与机房对应的三维虚拟场景，在显示视频监控画面时，同步可切换显示三维虚拟场景，其中的虚拟设备同步显示对应的界面显示数据。该发明能够对机房设备显示界面进行图像识别，把摄像头在不同角度拍摄的多个设备进行区分，并准确显示各设备界面数据，提供更为友好的视频监控显示效果，增强用户体验。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。