一种基于机器学习识别图像的预警方法及系统

技术领域

本发明涉及视频识别处理领域，尤其涉及一种基于机器学习识别图像的预警方法及系统。

背景技术

目前，传统的码头在不断往自动化码头的方向发展，在整个自动化码头运行的体系中涵盖四个操作环节，包括桥吊(轮船与岸边的运输作业)，内部集卡(岸边与堆场之间的作业)，塔吊(堆场与外部集卡之间的作业)以及外部集卡(集装箱向外运输)。由于大型码头需要在短时间内完成大量的操作流程，所以在码头运行过程中的四个环节需要尽量将事故率降到极低，否则一起事故或者延迟将造成大量的经济损失。

现有技术中，监控座舱内的行为无法获得实时的监控视频的安全预警，通常使用传统的人工检测方式同时对上百个设备采集的实时监控视频进行检测，但是人工检测监控视频带来极大的成本，并且非常容易出错，安全预警的质量无法得到保证。此外，人工检测监控视频的方式给码头安监工作带来非常大的难度，由于监控视频数据量巨大，目前只能做到对监控视频数据抽样检测后进行事后追责，或者在发生事故之后再进行监控视频的回看，无法做到监控视频的实时预警，也无法做到对所有监控视频的全面检查，给自动化码头的运行带来安全隐患。

因此有必要提供一种基于机器学习识别的预警系统及方法，可以对监控视频进行实时预警。

发明内容

本发明所要解决的技术问题是提供一种基于机器学习识别图像的预警方法及系统，通过机器学习识别图像，自动筛选并实时直观地展示违规行为尤其是严重违规行为的视频，提高了视频数据处理的效率。

本发明为解决上述技术问题而采用的技术方案是提供一种基于机器学习识别图像的预警方法，包括以下步骤：

神经网络视频检测模块从多个检测服务器获取原始视频数据，通过机器学习视觉识别算法对所述原始视频数据进行检测，得到检测后的视频数据片段；

根据影响工作效率的等级，将所述检测后的视频数据片段进行处理以增加行为标签，所述行为标签包括违规行为标签以及安全行为标签，所述违规行为标签包括第一类违规行为标签、第二类违规行为标签、第三类违规行为标签；

预警排序算法模块按照原始视频数据的生成时间顺序在显示模块播放包括违规行为标签的检测后的视频数据片段，所述显示模块包括第一屏幕区域和第二屏幕区域；

当同一检测后的视频数据片段出现所述第一类违规行为标签、第二类违规行为标签、第三类违规行为标签中的两个违规行为标签时，将所述检测后的视频数据片段在所述第一屏幕区域播放。

优选地，当多个检测后的视频数据片段出现所述第一类违规行为标签、第二类违规行为标签、第三类违规行为标签中的两个违规行为标签时，将持续时间最长的所述检测后的视频数据片段在所述第一屏幕区域播放。

优选地，当所述检测后的视频数据片段同时出现所述第一类违规行为标签、第二类违规行为标签、第三类违规行为标签时，将所述检测后的视频数据片段在所述第一屏幕区域播放并且进行语音警告和声光警告。

优选地，当所述原始视频数据的生成时间相同并且包括违规行为标签的检测后的视频数据片段时，按照产生原始视频数据的摄像头的设备编号进行排序以在第一屏幕区域和第二屏幕区域播放包括违规行为标签的检测后的视频数据片段。

优选地，所述违规行为包括吸烟行为、操作电子设备行为、未佩戴腰带行为，所述安全行为包括工作行为。

优选地，所述检测后的视频数据片段存储在视频流缓存池中，按照原始视频数据的生成时间顺序进行先入先出，最先进入所述视频流缓存池中的所述检测后的视频数据片段最先在所述第一屏幕区域进行播放。

优选地，所述在第一屏幕区域和所述第二屏幕区域播放的包括违规行为标签的检测后的视频数据片段在进行解决处理后不再进行播放。

优选地，当所述在第一屏幕区域和所述第二屏幕区域播放的包括违规行为标签的检测后的视频数据片段存在违规行为标签错误的情况时，将所述包括违规行为标签的检测后的视频数据片段存储，并更新所述神经网络视频检测模块。

优选地，所述第二屏幕区域包括多个子屏幕区域，所述多个子屏幕区域用于按照原始视频数据的生成时间顺序播放包括违规行为标签的检测后的视频数据片段。

本发明为解决上述技术问题还采用的技术方案是提供一种使用上述基于机器学习识别的预警方法的基于机器学习识别的预警系统。

本发明对比现有技术有如下的有益效果：本发明提供的基于机器学习识别图像的预警方法及系统，通过机器学习视觉识别算法对所述原始视频数据进行检测，得到检测后的视频数据片段，根据影响工作效率的等级，将检测后的视频数据片段进行处理以增加行为标签，所述行为标签包括违规行为标签以及安全行为标签，所述违规行为标签包括第一类违规行为标签、第二类违规行为标签、第三类违规行为标签；预警排序算法模块按照原始视频数据的生成时间顺序在显示模块播放包括违规行为标签的检测后的视频数据片段，所述显示模块包括第一屏幕区域和第二屏幕区域；当同一检测后的视频数据片段出现所述第一类违规行为标签、第二类违规行为标签、第三类违规行为标签中的两个违规行为标签时，将所述检测后的视频数据片段在所述第一屏幕区域播放，通过自动筛选并实时直观地在显示模块的第一屏幕区域和第二屏幕区域展示违规行为，尤其是在第一屏幕区域播放严重违规行为的视频，能够清晰地有重点地看到严重违规行为，提高了视频数据处理的效率；

进一步地，当多个检测后的视频数据片段出现所述第一类违规行为标签、第二类违规行为标签、第三类违规行为标签中的两个违规行为标签时，将持续时间最长的所述检测后的视频数据片段在所述第一屏幕区域播放，持续时间最长的检测后的视频数据片段表示持续长时间的进行违规行为，为严重违规行为，需要在第一屏幕区域进行播放，以达到提醒的目的；

进一步地，当所述检测后的视频数据片段同时出现所述第一类违规行为标签、第二类违规行为标签、第三类违规行为标签时，将所述检测后的视频数据片段在所述第一屏幕区域播放并且进行语音警告和声光警告，同时出现三类违规行为时，为非常严重的违规行为，需要在第一屏幕区域进行播放的同时，进行语音警告和声光警告，以达到提醒和警告的目的。

附图说明

图1为本发明实施例中基于机器学习识别图像的预警方法的流程图；

图2为本发明实施例中基于机器学习识别图像的预警方法的模块图；

图3为本发明实施例中基于机器学习识别图像的预警方法的显示模块的示意图；

图4为本发明实施例中基于机器学习识别图像的预警方法的显示模块的又一示意图；

图5为本发明实施例中基于机器学习识别图像的预警方法的显示模块的另一示意图；

图6为本发明实施例中基于机器学习识别图像的预警方法的统计模块的示意图；

图7为本发明实施例中基于机器学习识别图像的预警系统的模块图。

具体实施方式

下面结合附图和实施例对本发明作进一步的描述。

在以下描述中，为了提供本发明的透彻理解，阐述了很多具体的细节。然而，本发明可以在没有这些具体的细节的情况下实践，这对本领域普通该技术人员来说将是显而易见的。因此，具体的细节阐述仅仅是示例性的，具体的细节可以由奔放的精神和范围而变化并且仍被认为是在本发明的精神和范围内。

现在参看图1，本发明实施例中基于机器学习识别图像的预警方法的流程图。一种基于机器学习识别图像的预警方法，包括以下步骤：

步骤101：神经网络视频检测模块从多个检测服务器获取原始视频数据，通过机器学习视觉识别算法对所述原始视频数据进行检测，得到检测后的视频数据片段；

步骤102：根据影响工作效率的等级，将所述检测后的视频数据片段进行处理以增加行为标签，所述行为标签包括违规行为标签以及安全行为标签，所述违规行为标签包括第一类违规行为标签、第二类违规行为标签、第三类违规行为标签；

步骤103：预警排序算法模块按照原始视频数据的生成时间顺序在显示模块播放包括违规行为标签的检测后的视频数据片段，所述显示模块包括第一屏幕区域和第二屏幕区域；

步骤104：当同一检测后的视频数据片段出现所述第一类违规行为标签、第二类违规行为标签、第三类违规行为标签中的两个违规行为标签时，将所述检测后的视频数据片段在所述第一屏幕区域播放。

在具体实施中，通过机器学习视觉识别算法对所述原始视频数据进行检测，包括将原始视频数据中的图像划分为9*9的小格，将划分为9*9小格的图像传递给卷积神经网络(CNN，Convolutional Neural Networks)，从而对每个网格应用图像分类和定位处理，获得违规行为对象的边框以及对应的类概率，输出的格式为y＝[pc，bx，by，bh，bw，c1，c2，c3],pc为对象存在于网格中的概率，bx，by，bh，bw是边界框而c1，c2，c3是被监测到的类别。

当多个检测后的视频数据片段出现所述第一类违规行为标签、第二类违规行为标签、第三类违规行为标签中的两个违规行为标签时，将持续时间最长的所述检测后的视频数据片段在所述第一屏幕区域播放。第一类违规行为标签可以是吸烟行为标签，第二类违规行为标签可以是操作电子设备行为，第三类违规行为标签可以是未佩戴腰带行为标签。

当所述检测后的视频数据片段同时出现所述第一类违规行为标签、第二类违规行为标签、第三类违规行为标签时，将所述检测后的视频数据片段在所述第一屏幕区域播放并且进行语音警告和声光警告。

当所述原始视频数据的生成时间相同并且包括违规行为标签的检测后的视频数据片段时，按照产生原始视频数据的摄像头的设备编号进行排序以在第一屏幕区域和第二屏幕区域播放包括违规行为标签的检测后的视频数据片段。

所述违规行为包括吸烟行为、操作电子设备行为、未佩戴腰带行为，所述安全行为包括工作行为。

现在参看图2，图2是本发明实施例中基于机器学习识别图像的预警方法的模块图。多个检测服务器12和多个摄像头11连接，多个摄像头11用于拍摄原始视频数据，多个检测服务器12和显示器13连接，显示器13包括显示模块14。显示模块14和数据存储模块15连接，数据存储模块用于存储检测后的视频数据片段。

现在参看图3，图3是本发明实施例中基于机器学习识别图像的预警方法的显示模块的示意图。显示模块14包括第一屏幕区域21第二屏幕区域22，第一屏幕区域21即主屏幕，用于播放严重违规视频数据片段。第二屏幕区域22包括多个子屏幕区域，所述多个子屏幕区域用于按照原始视频数据的生成时间顺序播放包括违规行为标签的检测后的视频数据片段，第二屏幕区域22包括副屏幕0、副屏幕1、副屏幕2、副屏幕3、副屏幕4、副屏幕5。第二屏幕区域22用于播放按照原始视频数据的生成时间顺序播放包括违规行为标签的检测后的视频数据片段。现在参看图4，图4为本发明实施例中基于机器学习识别图像的预警方法的显示模块的又一示意图。严重违规区可以包括当多个检测后的视频数据片段出现所述第一类违规行为标签、第二类违规行为标签、第三类违规行为标签中的两个或三个违规行为标签时，例如抽烟行为和操作电子设备行为。轻违规区可以包括当多个检测后的视频数据片段出现所述第一类违规行为标签、第二类违规行为标签、第三类违规行为标签中的一个或两个违规行为标签时，例如操作电子设备行为和未佩戴腰带行为。安全行为区包括安全行为即工作行为。现在参看图5，图5为本发明实施例中基于机器学习识别图像的预警方法的显示模块的另一示意图。主屏幕、副屏幕0、副屏幕1、副屏幕2、副屏幕3、副屏幕4、副屏幕5按顺序排列，用于依次播放严重违规行为1、严重违规行为2、严重违规行为3、轻违规行为1、轻违规行为2、轻违规行为3、安全行为1、安全行为2、安全行为3。

在具体实施中，显示模块14还包括触控按键区域23，触控按键区域23包括通知按键、转发按键、已解决按键和报错按键。通知按键用于将包括违规行为标签的检测后的视频数据片段转至驾驶舱内的扬声器进行播放警示语音。转发按键用于选择相应的责任组进行通知。已解决按键用于将当时的警告信息清空且1分钟内不进入队列，这个按键操作是为了留有处理行为的时间，且同时防止过于密集的提醒。报错按键用于在弹出报错提示时，将视频证据存留在本地所述在第一屏幕区域21和所述第二屏幕区域22播放的包括违规行为标签的检测后的视频数据片段在进行解决处理后不再进行播放。当所述在第一屏幕区域21和所述第二屏幕区域22播放的包括违规行为标签的检测后的视频数据片段存在违规行为标签错误的情况时，将所述包括违规行为标签的检测后的视频数据片段存储，并更新所述神经网络视频检测模块。

在具体实施中，显示模块14还包括统计模块24，统计模块24用于统计工作行为的视频数据片段数量、违规行为1即第一类违规行为的视频数据片段数量、违规行为2即第二类违规行为的视频数据片段数量、违规行为3即第三类违规行为的视频数据片段数量。现在参看图6，图6为本发明实施例中基于机器学习识别图像的预警方法的统计模块的示意图，其中，工作行为的视频数据片段数量是12、违规行为1即第一类违规行为的视频数据片段数量是13、违规行为2即第二类违规行为的视频数据片段数量是1、违规行为3即第三类违规行为的视频数据片段数量是4。

现在参看图7，图7是本发明实施例中基于机器学习识别图像的预警系统的模块图。神经网络视频检测模块69从多个摄像头包括集装箱卡车1摄像头61、桥吊1摄像头62、桥吊15摄像头63、塔吊2摄像头64、集装箱卡车121摄像头64以及桥吊34摄像头66获取原始视频数据，预警排序算法模块68按照原始视频数据的生成时间顺序在显示模块播放包括违规行为标签的检测后的视频数据片段，所述显示模块包括第一屏幕区域和第二屏幕区域。所述检测后的视频数据片段存储在视频流缓存池67中，按照原始视频数据的生成时间顺序进行先入先出，最先进入所述视频流缓存池67中的所述检测后的视频数据片段最先在所述第一屏幕区域进行播放。第一屏幕区域即主屏幕，第二屏幕区域包括副屏幕0、副屏幕1、副屏幕2、副屏幕3、副屏幕4、副屏幕5。视频流缓存池67中包括严重违规行为视频、轻违规行为视频以及安全行为视频。

本发明为解决上述技术问题还采用的技术方案是提供一种使用上述基于机器学习识别的预警方法的基于机器学习识别的预警系统。

综上，本实施例提供的基于机器学习识别图像的预警方法及系统，通过机器学习视觉识别算法对所述原始视频数据进行检测，得到检测后的视频数据片段，根据影响工作效率的等级，将检测后的视频数据片段进行处理以增加行为标签，所述行为标签包括违规行为标签以及安全行为标签，所述违规行为标签包括第一类违规行为标签、第二类违规行为标签、第三类违规行为标签；预警排序算法模块按照原始视频数据的生成时间顺序在显示模块播放包括违规行为标签的检测后的视频数据片段，所述显示模块包括第一屏幕区域和第二屏幕区域；当同一检测后的视频数据片段出现所述第一类违规行为标签、第二类违规行为标签、第三类违规行为标签中的两个违规行为标签时，将所述检测后的视频数据片段在所述第一屏幕区域播放，通过自动筛选并实时直观地在显示模块的第一屏幕区域和第二屏幕区域展示违规行为，尤其是在第一屏幕区域播放严重违规行为的视频，能够清晰地有重点地看到严重违规行为，提高了视频数据处理的效率；

进一步地，当多个检测后的视频数据片段出现所述第一类违规行为标签、第二类违规行为标签、第三类违规行为标签中的两个违规行为标签时，将持续时间最长的所述检测后的视频数据片段在所述第一屏幕区域播放，持续时间最长的检测后的视频数据片段表示持续长时间的进行违规行为，为严重违规行为，需要在第一屏幕区域进行播放，以达到提醒的目的；

进一步地，当所述检测后的视频数据片段同时出现所述第一类违规行为标签、第二类违规行为标签、第三类违规行为标签时，将所述检测后的视频数据片段在所述第一屏幕区域播放并且进行语音警告和声光警告，同时出现三类违规行为时，为非常严重的违规行为，需要在第一屏幕区域进行播放的同时，进行语音警告和声光警告，以达到提醒和警告的目的。

虽然本发明已以较佳实施例揭示如上，然其并非用以限定本发明，任何本领域技术人员，在不脱离本发明的精神和范围内，当可作些许的修改和完善，因此本发明的保护范围当以权利要求书所界定的为准。