结合视觉检测的仓储安全监控方法及系统

技术领域

本发明涉及图像识别技术领域，具体涉及结合视觉检测的仓储安全监控方法及系统。

背景技术

随着社会经济的快速发展，仓储物流行业得到了长足的进步。大量自动化仓储中心应运而生，集货物存储、分拣装运、库存管理等功能于一体。与此同时，仓储中心作为重要的物资集散地，其安全稳定运行直接影响着上下游企业乃至整个社会的正常运转。然而，现有的仓储中心普遍存在管理漏洞，容易出现货物被盗、区域被非法入侵等安全事故，造成经济损失和社会危害。现有的仓储安全防范手段以人工巡逻和简单的视频监控为主，存在监控效率和准确率低下，导致现有仓储安全监控无法对异常情况实时准确识别与响应。

发明内容

本申请通过提供了结合视觉检测的仓储安全监控方法及系统，旨在解决现有仓储安全监控无法对异常情况实时准确识别与响应的技术问题。

鉴于上述问题，本申请提供了结合视觉检测的仓储安全监控方法及系统。

本申请公开的第一个方面，提供了结合视觉检测的仓储安全监控方法，该方法包括：获取目标监控视频，目标监控视频为预设仓库中目标仓储区域的动态监控视频；基于动态图像专家组原理对目标监控视频进行压缩预处理，得到目标压缩视频；通过基于镜头检测技术原理对目标压缩视频进行检测分析得到异常视频段；基于预定锚框对异常视频段中的关键异常图像进行目标检测分析，得到关键异常图像检测结果；根据关键异常图像检测结果判断关键异常图像是否存在异常人员；若是存在，调用预定图像特征分析方案对关键异常图像进行特征分析，得到关键异常图像特征信息；根据关键异常图像特征信息判断异常人员是否为预定人员；若是，调用门禁记录对异常人员进行身份核定得到异常人员身份核定结果；根据异常人员身份核定结果对预设仓库进行安全监控管理。

本申请公开的另一个方面，提供了结合视觉检测的仓储安全监控系统，该系统包括：监控视频获取模块，用于获取目标监控视频，目标监控视频为预设仓库中目标仓储区域的动态监控视频；压缩预处理模块，用于基于动态图像专家组原理对目标监控视频进行压缩预处理，得到目标压缩视频；视频检测分析模块，用于通过基于镜头检测技术原理对目标压缩视频进行检测分析得到异常视频段；目标监测分析模块，用于基于预定锚框对异常视频段中的关键异常图像进行目标检测分析，得到关键异常图像检测结果；异常人员判断模块，用于根据关键异常图像检测结果判断关键异常图像是否存在异常人员；图像特征分析模块，用于若是存在，调用预定图像特征分析方案对关键异常图像进行特征分析，得到关键异常图像特征信息；预定人员判断模块，用于根据关键异常图像特征信息判断异常人员是否为预定人员；人员身份核定模块，用于若是，调用门禁记录对异常人员进行身份核定得到异常人员身份核定结果；仓库安全监管模块，用于根据异常人员身份核定结果对预设仓库进行安全监控管理。

本申请中提供的一个或多个技术方案，至少具有如下技术效果或优点：

由于采用了获取目标监控视频，为实现仓储区域的精确监控提供基础信息；基于动态图像专家组原理对视频进行压缩预处理，得到目标压缩视频，降低后续处理的计算复杂度；对目标压缩视频进行检测分析得到异常视频段，快速定位异常视频段，为后续识别分析定位；基于预定锚框对异常视频段中的关键异常图像进行目标检测分析，得到关键异常图像检测结果，判断异常情况；根据关键异常图像检测结果判断关键异常图像是否存在异常人员，初步判断异常性质为人员相关；调用预定图像特征分析方案对关键异常图像进行特征分析，得到特征信息，获取详细特征数据；根据图像特征信息判断异常人员是否为预定人员，进一步判断异常人员身份；调用门禁记录对异常人员进行身份核定得到核定结果，实现多维度信息进行身份锁定，提高准确性；根据核定结果对仓库进行安全监控管理的技术方案，解决了现有仓储安全监控无法对异常情况实时准确识别与响应的技术问题，达到了通过视觉检测技术实现仓储区域实时、自动化、精确安全监控与防范的技术效果。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了让本申请的上述和其它目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

图1为本申请实施例提供了结合视觉检测的仓储安全监控方法的一种流程示意图；

图2为本申请实施例提供了结合视觉检测的仓储安全监控方法中得到关键异常图像特征信息的一种流程示意图；

图3为本申请实施例提供了结合视觉检测的仓储安全监控系统的一种结构示意图。

附图标记说明：监控视频获取模块11，压缩预处理模块12，视频检测分析模块13，目标监测分析模块14，异常人员判断模块15，图像特征分析模块16，预定人员判断模块17，人员身份核定模块18，仓库安全监管模块19。

具体实施方式

本申请提供的技术方案总体思路如下：

本申请实施例提供了结合视觉检测的仓储安全监控方法及系统，通过获取全面的目标监控视频，利用视频压缩编码算法进行预处理，基于计算机视觉技术快速检测和定位异常视频段，使用目标检测与图像特征分析技术对关键异常图像进行识别判断和特征提取，根据图像内容判断异常人员身份，并辅助多源数据进行身份核定，最终利用识别结果指导安全管理，实现对仓储区域进行全面且精确的监控，快速发现异常情况，全面提升仓储区域的安全监控水平。

在介绍了本申请基本原理后，下面将结合说明书附图来具体介绍本申请的各种非限制性的实施方式。

实施例1

如图1所示，本申请实施例提供了结合视觉检测的仓储安全监控方法，该方法包括：

获取目标监控视频，所述目标监控视频为预设仓库中目标仓储区域的动态监控视频；

进一步的，本步骤包括：

读取预定光特征；

在目标时段下，基于所述预定光特征对所述目标仓储区域进行多维度光特征检测，得到目标光特征参数；

对所述目标光特征参数进行归一化加权计算，得到目标光指数；

若所述目标光指数达到预定光指数阈值，将所述目标时段记作所述第一时段，若所述目标光指数未达到所述预定光指数阈值，将所述目标时段记作所述第二时段。

进一步的，所述预定光特征包括光亮度、光照度和光通量。

进一步的，本步骤还包括：

在第一时段下，激活CCD图像传感器对所述目标仓储区域进行动态监测，得到第一目标监控视频；

在第二时段下，激活激光夜视传感器对所述目标仓储区域进行动态监测，得到第二目标监控视频；

所述第一目标监控视频与所述第二目标监控视频组成所述目标监控视频。

在一种优选的实施方式中下，首先，从存储装置中调用事先设定好的光特征，例如包括光亮度、光照度和光通量。其中，光亮度表示光的强度大小；光照度表示入射到被照面的光通量与被照面积之比；光通量表示单位时间内通过某横截面全部光线的总光能。通过读取以上预定光特征，为对目标仓储区域进行多维度光特征检测奠定基础。然后，在需要对仓储区域进行视频监控的特定时间段内，即目标时段下，基于读取的预定光特征，即光亮度、光照度和光通量，使用光学传感器对目标仓储区域的光学条件进行检测。光学传感器组通过采集目标仓储区域内的光学信息，经光电转换后输出相应的电信号，对电信号进行放大、滤波、模数转换等处理，得到表示目标仓储区域光亮度、光照度和光通量的数字量，即目标光特征参数。然后，通过最小-最大值归一化方法对获得的表示光亮度、光照度和光通量的目标光特征参数进行归一化处理，将不同参数的量纲影响消除，将数值映射到同一数量级范围内。随后，根据不同光特征对光强度判断的重要性对归一化处理后的目标光特征参数给予不同的权重系数，然后进行加权计算，加权计算的结果即为目标光指数，综合反映目标仓储区域的光线强度情况，目标光指数值越大表示光线越亮。之后，提取通过大量历史数据统计分析确定的预定光指数阈值，当目标仓储区域内的目标光指数高于该阈值时，表示光线充足；当目标光指数低于该阈值时，表示光线不足。接着，取得目标光指数与预定光指数阈值的差值，若差值大于0，则判定目标光指数达到预定光指数阈值，则将当前的目标时段确定为第一时段，表示当前光照条件良好，属于光亮时段；反之，若目标光指数未达到预定光指数阈值，则将当前目标时段确定为第二时段，表示光线不足，属于低照度时段，为后续选择使用不同的图像传感器采集视频提供依据。

在第一时段下，对CCD图像传感器供电并发送采集指令，激活CCD图像传感器的工作状态。其中，CCD图像传感器是采用电荷耦合器件的图像采集模块，由光电转换单元、电荷传输单元、输出检测放大单元等组成。CCD图像传感器工作时，光电转换单元将入射光转换为电荷并存储，然后电荷在电荷传输单元中传输，最后由输出检测放大单元转换为图像视频信号输出。通过CCD图像传感器对包括目标仓储区域的整个场景范围进行持续动态监测，并输出对应监控场景的图像视频数据流，作为第一目标监控视频，记录了目标仓储区域在光照正常的第一时段下的状况。在第二时段下，对激光夜视传感器的激光发射部供电发光，同时供电激活激光夜视传感器的受光摄像头，从而激活激光夜视传感器的工作状态。其中，激光夜视传感器利用激光二极管发出的近红外激光进行夜视成像。当激光扫描目标仓储区域时，会反射部分激光光线进入受光摄像头，最终激光夜视传感器输出对应的二维图像视频信息，作为第二目标监控视频，记录了目标仓储区域在低照度条件下的状态。然后，通过图像视频采集卡或视频编码器等硬件设备，将第一目标监控视频和第二目标监控视频在时间轴上顺序拼接，形成时间跨度更长的完整目标监控视频，包括光照正常时段下的目标仓储区域状态，同时也包括低照度夜间的目标仓储区域状态，覆盖不同光照条件下的监控信息，全面地反映目标仓储区域在监控时段内的整体状况。

基于动态图像专家组原理对所述目标监控视频进行压缩预处理，得到目标压缩视频；

在本申请实施例中，动态图像专家组是用于视频压缩的算法框架，通过对视频输入图像进行分块处理，对各图像块提取表示其空间信息和时间信息的特征，进而实现视频压缩的视频压缩方法。

首先，将目标监控视频按照分成多个小的视频块，每个视频块包含连续的几帧图像。然后，对每个视频块分析提取表示空间信息和时间信息的特征，如运动向量、残差信息等。随后，根据视频块之间或帧之间具有的冗余进而性，使用熵编码等方法去除冗余信息压缩目标监控视频的数据量。在压缩过程中保留部分关键帧的完整图像信息，用于解码和重建视频图像。经过上述压缩编码处理后，输出压缩后的目标监控视频即目标压缩视频，从而减少处理数据量。

通过基于镜头检测技术原理对所述目标压缩视频进行检测分析得到异常视频段；

在本申请实施例中，镜头检测技术原理是指使用内容感知的视频分析方法，通过判断相邻帧之间的内容相似性变化，实现镜头切换的检测。

首先，按时间顺序依次读取目标压缩视频中的相邻帧图像，这两个相邻帧图像之前的视频为一个压缩单元。然后，提取两帧图像的关键特征，比如颜色直方图等，计算这些特征之间的相似度，作为两帧图像的匹配度。随后，将匹配度与基于检测要求设置的匹配阈值比较，如果匹配度显著低于匹配阈值，则判定可能发生了镜头切换。接着，将包含镜头切换的相邻帧之间的视频片段添加到异常视频段中，通过对目标压缩视频遍历进行上述处理，得到异常视频段，其中包含多个压缩单元。

基于预定锚框对所述异常视频段中的关键异常图像进行目标检测分析，得到关键异常图像检测结果；

进一步的，本步骤包括：

所述异常视频段包括多个压缩单元，并随机获取所述多个压缩单元中的第一压缩单元；

将所述第一压缩单元中的第一真实图像帧作为第一关键异常图像；

基于所述第一关键异常图像组成所述关键异常图像。

在一种可行实施例中，预定锚框是指通过统计分析获取的一组不同形状和尺寸的人形模板框。

首先，遍历异常视频段中的多个压缩单元，每次提取一个压缩单元，作为第一压缩单元。然后，提取第一压缩单元中的真实图像帧，得到第一真实图像帧，作为第一关键异常图像，指目标压缩视频对应的原始帧，反映实际场景内容，作为后续分析的图像。随后，以选择的第一关键异常图像为基础，考虑周围相邻帧，构建包含多个连续帧的关键异常图像，用于异常识别和分析。之后，在得到的关键异常图像上，使用预定锚框扫描，计算锚框内容与图像的匹配度，对匹配度结果进行非最大值抑制，确定每幅图像上匹配度最高的锚框。接着，沿着最优匹配锚框切割关键异常图像，形成关键异常图像检测结果，包含位置坐标、尺寸、置信度评分等信息。

根据所述关键异常图像检测结果判断所述关键异常图像是否存在异常人员；

在本申请实施例中，获取关键异常图像检测结果后，若关键异常图像检测结果中置信度评分高于或等于基于检测要求预设的评分阈值，则确定关键异常图像中存在异常人员目标；若关键异常图像检测结果中置信度评分低于预设评分阈值，则确定关键异常图像中不包含显著的异常人员目标。

若是存在，调用预定图像特征分析方案对所述关键异常图像进行特征分析，得到关键异常图像特征信息；

进一步的，如图2所示，本步骤包括：

将所述关键异常图像划分为多个区块，并提取所述多个区块中的第一区块；

根据所述预定图像特征分析方案对所述第一区块进行离散余弦变换处理，得到第一离散余弦系数；

加权所述第一离散余弦系数中的第一离散余弦直流系数得到所述第一区块的第一色调特征；

加和所述第一色调特征得到所述关键异常图像特征信息。

在一种可行的实施方式中，当判断关键异常图像检测结果标识关键异常图像中存在异常人员时，首先，通过采用图像分割算法，例如基于边缘检测、区块分析等方式，将关键异常图像划分为多个区块。然后，遍历多个区块，以此提取一个图像区块，作为第一区块。随后，调取预定图像特征分析方案，该预定图像特征分析方案是指通过分析图像色调特征来表达图像内容的方案。接着，根据预定图像特征分析方案，对提取的第一区块执行离散余弦变换处理，将第一区块的图像从像素域转换到频域，得到表示第一区块图像频域特征的一组系数，即第一离散余弦系数，反映第一区块内容在不同方向波动变化的频率成分，作为区块目标的色调特征。之后，依次提取第一离散余弦系数中的直流分量，作为第一离散余弦直流系数，根据第一离散余弦直流系数在表征色调中的特点，给予其对应的权重系数，进行加权计算，得到表示第一区块色调特征的第一色调特征。然后，将第一区块对应的第一色调特征添加到关键异常图像特征信息中。通过对多个区块进行上述处理，得到关键异常图像特征信息。

根据所述关键异常图像特征信息判断所述异常人员是否为预定人员；

在本申请实施例中，预定人员是指仓储区域的工作人员，穿着特定样式和颜色的工装，如荧光橙色工服。关键异常图像特征信息是通过对关键异常图像的局部区域块进行颜色特征提取得到，反映异常人员的整体色调信息。

将关键异常图像特征信息与预定人员的工装颜色特征进行匹配比较。如果匹配度大于预设阈值，则确定异常人员身穿特定工服，则判定异常人员为预定人员；如果匹配度小于或等于阈值，则判定异常人员不是预定人员。

通过利用颜色特征识别异常人员的身份类别，判定其是否为仓储区域的预定人员，实现异常人员识别。

若是，调用门禁记录对所述异常人员进行身份核定得到异常人员身份核定结果；

进一步的，本步骤包括：

根据所述门禁记录得到门禁识别人员信息；

在门禁报备列表中遍历所述门禁识别人员信息的报备信息，得到遍历结果；

根据所述遍历结果判断所述异常人员是否进行门禁报备；

若是未进行门禁报备，向所述异常人员发出违规警示信息。

在一种优选的实施方式中，如果判定关键异常图像特征信息中的异常人员为预定人员，首先，调取预设仓库的门禁记录，该门禁记录是指仓库入口处设置的门禁考勤系统中存储的刷卡签到日志与考勤数据。然后，提取门禁记录中包含的人员身份信息，得到进行过门禁识别的人员的身份信息，构成门禁识别人员信息。随后，提取门禁报备列表，该门禁报备列表是指仓库管理部门保存的有权限进入仓储区域的人员报备信息表单，包括人员姓名、单位、进入事由等信息。接着，将得到的门禁识别人员信息与门禁报备列表逐一进行比对，判断门禁识别人员信息中的每位人员是否在门禁报备列表中，如果存在于门禁报备列表，则记录该人员的遍历结果为“已报备”，否则遍历结果标记为“未报备”，从而得到遍历结果。之后，在遍历结果中查找判断出的确定为预定人员的异常人员的报备信息，如果对应的遍历结果标记为“已报备”，则确定其进行过门禁报备；如果遍历结果显示为“未报备”，则可判断该异常人员未进行门禁报备，实现对确定为预定人员的身份核定，得到异常人员身份核定结果。当未进行门禁报备时，确定异常人员的实时具体位置，同时通过现场广播、监控屏幕弹窗提示等方式，向未报备的异常人员发送警示性的提示信息，要求其解释情况、提供报备证明并配合核查。

如果判定关键异常图像特征信息中的异常人员不是预定人员，即确定异常人员为外来人员时，立即触发仓储安全监控系统的入侵告警，启动应急预案。首先，结合视频监控和检测结果，定位外来人员在仓库区域的具体位置；然后，控制云台摄像机，锁定并跟踪外来人员的当前活动区域。同时，通过仓库区域的语音广播系统，警告外来人员立即停止活动，并通知现场安保人员到相关区域对外来人员实施拦截。

根据所述异常人员身份核定结果对所述预设仓库进行安全监控管理。

在本申请实施例中，通过图像分析判定、门禁记录校验等方式确定了异常人员身份核定结果，明确其是否为已报备的预定人员。基于此结果，针对预设仓库中目标仓储区域实施不同的安全监控管理。如果异常人员身份核定结果判定异常人员是已报备的预定人员，则允许其在仓库区域活动，并继续视频监控。如果确定是未报备的预定人员或外来人员，则启动防范应对预案，进行入侵警告，并由现场安保人员处理，从而实现精确、全面的仓储安全管理，提高仓库区域的监控水平。

综上所述，本申请实施例所提供的结合视觉检测的仓储安全监控方法具有如下技术效果：

获取目标监控视频，为后续实现精准的仓储安全监控提供数据基础。基于动态图像专家组原理对目标监控视频进行压缩预处理，得到目标压缩视频，降低数据量级提高处理效率。通过基于镜头检测技术原理对目标压缩视频进行检测分析得到异常视频段，为异常识别提供素材。基于预定锚框对异常视频段中的关键异常图像进行目标检测分析，得到关键异常图像检测结果，初步得到异常内容。根据关键异常图像检测结果判断关键异常图像是否存在异常人员，判断异常情况是否与人员相关，进行初步筛选；若是存在，调用预定图像特征分析方案对关键异常图像进行特征分析，得到关键异常图像特征信息，为进一步判断异常人员提供信息；根据关键异常图像特征信息判断异常人员是否为预定人员，判定异常人员的具体身份信息。若是，调用门禁记录对异常人员进行身份核定得到异常人员身份核定结果，提高身份判断的准确性。根据异常人员身份核定结果对预设仓库进行安全监控管理，实现仓储区域实时、自动化、精确安全监控与防范的。

实施例2

基于与前述实施例中结合视觉检测的仓储安全监控方法相同的发明构思，如图3所示，本申请实施例提供了结合视觉检测的仓储安全监控系统，该系统包括：

监控视频获取模块11，用于获取目标监控视频，所述目标监控视频为预设仓库中目标仓储区域的动态监控视频；

压缩预处理模块12，用于基于动态图像专家组原理对所述目标监控视频进行压缩预处理，得到目标压缩视频；

视频检测分析模块13，用于通过基于镜头检测技术原理对所述目标压缩视频进行检测分析得到异常视频段；

目标监测分析模块14，用于基于预定锚框对所述异常视频段中的关键异常图像进行目标检测分析，得到关键异常图像检测结果；

异常人员判断模块15，用于根据所述关键异常图像检测结果判断所述关键异常图像是否存在异常人员；

图像特征分析模块16，用于若是存在，调用预定图像特征分析方案对所述关键异常图像进行特征分析，得到关键异常图像特征信息；

预定人员判断模块17，用于根据所述关键异常图像特征信息判断所述异常人员是否为预定人员；

人员身份核定模块18，用于若是，调用门禁记录对所述异常人员进行身份核定得到异常人员身份核定结果；

仓库安全监管模块19，用于根据所述异常人员身份核定结果对所述预设仓库进行安全监控管理。

进一步的，监控视频获取模块11包括以下执行步骤：

在第一时段下，激活CCD图像传感器对所述目标仓储区域进行动态监测，得到第一目标监控视频；

在第二时段下，激活激光夜视传感器对所述目标仓储区域进行动态监测，得到第二目标监控视频；

所述第一目标监控视频与所述第二目标监控视频组成所述目标监控视频。

进一步的，监控视频获取模块11还包括以下执行步骤：

读取预定光特征；

在目标时段下，基于所述预定光特征对所述目标仓储区域进行多维度光特征检测，得到目标光特征参数；

对所述目标光特征参数进行归一化加权计算，得到目标光指数；

若所述目标光指数达到预定光指数阈值，将所述目标时段记作所述第一时段，若所述目标光指数未达到所述预定光指数阈值，将所述目标时段记作所述第二时段。

进一步的，监控视频获取模块11还包括以下执行步骤：

所述预定光特征包括光亮度、光照度和光通量。

进一步的，异常人员判断模块15包括以下执行步骤：

所述异常视频段包括多个压缩单元，并随机获取所述多个压缩单元中的第一压缩单元；

将所述第一压缩单元中的第一真实图像帧作为第一关键异常图像；

基于所述第一关键异常图像组成所述关键异常图像。

进一步的，异常人员判断模块15还包括以下执行步骤：

将所述关键异常图像划分为多个区块，并提取所述多个区块中的第一区块；

根据所述预定图像特征分析方案对所述第一区块进行离散余弦变换处理，得到第一离散余弦系数；

加权所述第一离散余弦系数中的第一离散余弦直流系数得到所述第一区块的第一色调特征；

加和所述第一色调特征得到所述关键异常图像特征信息。

进一步的，人员身份核定模块18包括以下执行步骤：

根据所述门禁记录得到门禁识别人员信息；

在门禁报备列表中遍历所述门禁识别人员信息的报备信息，得到遍历结果；

根据所述遍历结果判断所述异常人员是否进行门禁报备；

若是未进行门禁报备，向所述异常人员发出违规警示信息。

综上所述的方法的任意步骤都可作为计算机指令或者程序存储在不设限制的计算机存储器中，并可以被不设限制的计算机处理器调用识别用以实现本申请实施例中的任一项方法，在此不做多余限制。

进一步的，综上所述的第一或第二可能不止代表次序关系，也可能代表某项特指概念，和/或指的是多个元素之间可单独或全部选择。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的范围。这样，倘若本申请的这些修改和变型属于本申请及其等同技术的范围之内，则本申请意图包括这些改动和变型在内。