智能监控系统

技术领域

本申请涉及智能摄像头技术领域，特别是涉及一种智能监控系统。

背景技术

近年来，随着新能源汽车产业的高速发展，汽车制造工业在社会经济发展中占比也随之增加，那么对于汽车制造工业环境中生产安全、产品质量等重要指标的监控也会被社会重点关注。在对汽车制造工业环境的要求中，类似明火检测、产品瑕疵检测、人员行为分析等都很重要。现有的智能监控方法将摄像头采集的图像发送到终端，在终端对图像进行处理，以达到预期的目的，例如实现人脸识别、目标检测等。但是现有的智能监控方法中终端只存储有一种识别算法，只能完成一种监控任务，对于多种算法同时能够使用的情况并不是简单的叠加就可以保证智能监控检测的及时。

发明内容

基于此，有必要针对上述技术问题，提供一种能够多功能、快捷操作的智能监控系统。所述系统包括：远程监控终端、图像采集模块和图像处理装置；所述图像采集模块包括摄像头，所述图像处理装置包括图像处理器；

远程监控终端，用于生成可执行文件，并将可执行文件下发至图像处理装置；摄像头，用于拍摄目标应用场景下的原始图像，并将原始图像传输至图像处理装置；

图像处理器，用于执行可执行文件，通过可执行文件对原始图像作视觉处理，得到原始图像中目标检测对象的检测框，并作为第一检测结果；图像处理装置，用于将第一检测结果返回至远程监控终端；

远程监控终端，用于对第一检测结果进行显示。

在其中一个实施例中，远程监控终端，用于在已进入工程项目开发环境且已获取到工程项目创建指令的情况下，获取已调用视觉处理接口的待编译代码，对待编译代码进行编译，得到可执行文件。

在其中一个实施例中，远程监控终端中包括图像数据共享模块；图像数据共享模块预先配置有网络安全协议；远程监控终端与图像处理装置之间通过网络安全协议建立网络安全通道，且处于同一局域网环境；

图像数据共享模块，用于通过网络安全通道向图像处理装置发送可执行文件和运行指令；图像处理装置，用于根据运行指令运行可执行文件。

在其中一个实施例中，图像数据共享模块，用于通过网络安全通道向图像处理装置发送删除指令；图像处理装置，用于根据删除指令删除可执行文件。

在其中一个实施例中，图像数据共享模块，用于通过网络安全通道向图像处理装置发送关闭指令，关闭指令用于指示对图像处理装置进行断电。

在其中一个实施例中，图像处理装置，还用于得到管理结果，并将管理结果返回至远程监控终端；

管理结果包括运行结果、删除结果及关闭结果，运行结果包括可执行文件运行正常或可执行文件运行异常；删除结果包括可执行文件删除正常和可执行文件删除异常；关闭结果包括图像处理装置关闭正常和图像处理装置关闭异常；

远程监控终端，用于对管理结果进行显示。

在其中一个实施例中，远程监控终端与图像处理装置之间通过无线网络连接，且处于同一局域网环境；图像数据共享模块和图像处理装置均预先配置有无线调试环境；

图像数据共享模块，用于向图像处理装置发送调试指令；图像处理装置，用于在无线调试环境下执行可执行文件，得到执行结果，并向图像数据共享模块发送执行结果；

远程监控终端，用于根据执行结果生成新的可执行文件，并将新的可执行文件下发至图像处理装置。

在其中一个实施例中，远程监控终端，还用于向图像处理装置发送命令行脚本文件；图像处理装置，用于在处于上电启动状态的情况下，基于命令行脚本文件自动执行可执行文件。

在其中一个实施例中，图像处理装置还包括启动模块；启动模块，用于在检测到图像处理装置接收到可执行文件的情况下，向摄像头发送启动指令，启动指令用于指示摄像头进行拍摄。

在其中一个实施例中，摄像头为双目摄像头，原始图像包括第一图像和第二图像；图像处理装置还包括计算模块；

计算模块，用于计算第一图像和第二图像中每一像素的深度值，根据深度值确定第一图像对应的深度图像和第二图像对应的深度图像；

图像处理器，用于执行可执行文件，通过可执行文件对深度图像作视觉处理，得到在目标应用场景下深度图像中目标检测对象与双目摄像头之间的距离，并作为第二检测结果；图像处理装置，用于将第二检测结果返回至远程监控终端；

远程监控终端，用于对第二检测结果进行显示。

上述智能监控系统，包括远程监控终端、图像采集模块和图像处理装置；图像采集模块包括摄像头，图像处理装置包括图像处理器；远程监控终端，用于生成可执行文件，并将可执行文件下发至图像处理装置；摄像头，用于拍摄目标应用场景下的原始图像，并将原始图像传输至图像处理装置；图像处理器，用于执行可执行文件，通过可执行文件对原始图像作视觉处理，得到原始图像中目标检测对象的检测框，并作为第一检测结果；图像处理装置，用于将第一检测结果返回至远程监控终端；远程监控终端，用于对第一检测结果进行显示。通过终端上的集成开发软件，集成ARM交叉编译技术、Secure Shell安全网络协议和实时消息传输协议技术，实现无线远距离嵌入式交互，保障可以在远程终端对摄像头和图像处理装置进行控制；提供多种集成双目视觉处理算法库，给集成开发软件调用，使得智能监控系统能够适用于多种应用场景。

附图说明

图1为一个实施例中远程监控系统结构框图；

图2为一个实施例中远程监控系统处理流程示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

近年来，随着新能源汽车产业的高速发展，汽车制造工业在社会经济发展中占比也随之增加，那么对于汽车制造工业环境中生产安全、产品质量等重要指标的监控也会被社会重点关注。在对汽车制造工业环境的要求中，类似明火检测、产品瑕疵检测、人员行为分析等都很重要。现有的智能监控方法将摄像头采集的图像发送到终端，在终端对图像进行处理，以达到预期的目的，例如实现人脸识别、目标检测等。但是现有的智能监控方法中终端只存储有一种识别算法，只能完成一种监控任务，对于多种算法同时能够使用的情况并不是简单的叠加就可以保证智能监控检测的及时。

在一个实施例中，参见图1，本申请实施例提供的智能监控系统，包括远程监控终端101、图像处理装置102和图像采集模块103和；图像采集模块包括摄像头，图像处理装置102包括图像处理器1021；

远程监控终端101，用于生成可执行文件，并将可执行文件下发至图像处理装置；摄像头，用于拍摄目标应用场景下的原始图像，并将原始图像传输至图像处理装置；

图像处理器1021，用于执行可执行文件，通过可执行文件对原始图像作视觉处理，得到原始图像中目标检测对象的检测框，并作为第一检测结果；图像处理装置102，用于将第一检测结果返回至远程监控终端；

远程监控终端101，用于对第一检测结果进行显示。

其中，可执行文件是指的是可以由操作系统进行加载执行的文件，也即可以直接运行的程序，文件名后缀为.exe、.com、.bat等，在本智能监控系统中，可以由远程监控终端上的集成开发环境下无线远距离嵌入式交互软件开发模块生成。

图像采集模块使用采用RGB+IR的双目摄像头方式来增强暗光、炫光等环境下的采集图像数据的能力，采集图像数据精度高。将采集到的原始图像作为图像采集装置的处理对象。图像采集装置在远程监控终端的控制下对原始图像进行处理，得到在目标应用场景下满足条件的目标对象的检测框，根据具体应用场景不同，目标对象可以是人，也可以是物，还可以是一些场景，例如火情、烟雾等。故可以理解的是，第一检测结果必定包括所检测到的每一目标的目标框所在的位置和大小。

具体地，在集成开发环境下无线远距离嵌入式交互软件开发模块内嵌了诸如人脸识别、人员行为分析、明火检测、硬件产品瑕疵缝隙检测等多种双目视觉图像处理算法库，可根据具体的视觉算法处理方案实施需求，利用支持可编程的集成开发软件，创建工程项目，并编写调用相关双目视觉处理算法库的软件代码。例如需要实现监控图像中的人物检测，则用户可以在远程监控终端的集成开发软件的输入端输入代码，调用视觉处理算法库中的行人目标检测算法对应的软件代码，然后将行人目标检测算法对应的软件代码编译成图像处理器能够直接执行的可执行文件。在图像处理器根据可执行文件对原始图像进行行人目标检测后，会得到每一行人目标对应的目标框的位置和大小，一般会用数组(x，y，w，h)表示，其中，其中x和y是目标框左上角点在图像坐标系中的坐标，w和h分别表示目标框的像素宽度和高度。最后，图像处理器利用实时消息传输协议技术将原始图像的数据和检测结果包括的数据，包括每一目标框对应的表示位置和大小的数组，发送给远程监控终端，在远程监控终端上进行显示或存储，用户可以直接或间接的查看实时的监控情况。

上述实施例提供的系统，包括远程监控终端、图像采集模块和图像处理装置；图像采集模块包括摄像头，图像处理装置包括图像处理器；远程监控终端，用于生成可执行文件，并将可执行文件下发至图像处理装置；摄像头，用于拍摄目标应用场景下的原始图像，并将原始图像传输至图像处理装置；图像处理器，用于执行可执行文件，通过可执行文件对原始图像作视觉处理，得到原始图像中目标检测对象的检测框，并作为第一检测结果；图像处理装置，用于将第一检测结果返回至远程监控终端；远程监控终端，用于对第一检测结果进行显示。通过终端上的集成开发软件，集成ARM交叉编译技术、Secure Shell安全网络协议和实时消息传输协议技术，实现无线远距离嵌入式交互，保障可以在远程终端对摄像头和图像处理装置进行控制；提供多种集成双目视觉处理算法库，给集成开发软件调用，使得智能监控系统能够适用于多种应用场景。

在其中一个实施例中，远程监控终端，用于在已进入工程项目开发环境且已获取到工程项目创建指令的情况下，获取已调用视觉处理接口的待编译代码，对待编译代码进行编译，得到可执行文件。

其中，远程监控终端主要包括配置有编译环境的图像数据共享模块和可编程模块，则工程软件开发环境是指在可编程模块的环境中，能够通过输入代码调用代码、编译代码的软件环境。工程项目创建指令是用户认为输入到可编程模块的代码，用于创建工程项目。在此需要说明的是，一个工程项目满足一种应用需求，例如行人检测、人脸识别、火灾检测，在可编程模块中，由于不同的应用需求需要不同的视觉处理算法，故用工程项目的方式便于管理，一种应用需求的所有操作对应的代码均保存在一个工程项目中。

具体地，以图像处理装置采用ARM芯片为例，在远程监控终端安装有ARM编译器，在远程监控终端调用到待编译的代码后，利用ARM编译器将带编译的代码编译成可执行文件。另外在编译过程中，如果代码写的某些地方出现语法问题的话，就会在编译的过程中进行报错。

上述实施例提供的系统中，远程监控终端，用于在已进入工程项目开发环境且已获取到工程项目创建指令的情况下，获取已调用视觉处理接口的待编译代码，对待编译代码进行编译，得到可执行文件。利用图像处理器所用芯片对应的编译器在终端对代码进行编译，使得图像处理器可以直接运行可执行文件，而不需要任何处理过程，减轻了图像处理器的工作负担，提高了图像处理器的工作效率，并且能够将编译过程在终端实现可视化，便于后续对代码进行管理。

在其中一个实施例中，远程监控终端中包括图像数据共享模块；图像数据共享模块预先配置有网络安全协议；远程监控终端与图像处理装置之间通过网络安全协议建立网络安全通道，且处于同一局域网环境；

图像数据共享模块，用于通过网络安全通道向图像处理装置发送可执行文件和运行指令；图像处理装置，用于根据运行指令运行可执行文件。

以Secure Shell安全网络协议为例，在工程项目运行方面，图像数据共享模块需要安装Secure Shell安全网络协议，同时需要与图像处理装置在同一局域网环境下，并在远程监控终端的集成开发软件中集成该安全网络协议，一旦触发运行功能，那么集成开发软件会调用该安全网络协议将远程监控终端中生成的可执行文件无线远距离传输到图像处理装置，并在图像处理器运行该文件，同时在集成开发软件终端执行窗口中实时显示文件传输和文件执行的情况。

上述实施例提供的系统中，远程监控终端中包括图像数据共享模块；图像数据共享模块预先配置有网络安全协议；远程监控终端与图像处理装置之间通过网络安全协议建立网络安全通道，且处于同一局域网环境；图像数据共享模块，用于通过网络安全通道向图像处理装置发送可执行文件和运行指令；图像处理装置，用于根据运行指令运行可执行文件。通过在远程监控终端上安装网络安全协议，通过无线交互技术与实时消息传输协议协同作用，实现远距离管理和控制图像处理装置，能够实时给图像处理装置发送指令并接收图像处理装置反馈的结果。

在一个其中实施例中，图像数据共享模块，用于通过网络安全通道向图像处理装置发送删除指令；图像处理装置，用于根据删除指令删除可执行文件。

以Secure Shell安全网络协议为例，在工程项目运行方面，图像数据共享模块需要安装Secure Shell安全网络协议，同时需要与图像处理装置在同一局域网环境下，并在远程监控终端的集成开发软件中集成该安全网络协议，一旦触发删除功能，那么集成开发软件会调用该安全网络协议将图像处理器中的可执行文件删除掉，同时在集成开发软件终端执行窗口中实时显示文件删除情况。

上述实施例提供的系统中，图像数据共享模块，用于通过网络安全通道向图像处理装置发送删除指令；图像处理装置，用于根据删除指令删除可执行文件。通过在远程监控终端上安装网络安全协议，通过无线交互技术与实时消息传输协议协同作用，实现远距离管理和控制图像处理装置，能够实时给图像处理装置发送指令并接收图像处理装置反馈的结果。

在其中一个实施例中，图像数据共享模块，用于通过网络安全通道向图像处理装置发送关闭指令，关闭指令用于指示对图像处理装置进行断电。

以Secure Shell安全网络协议为例，在工程项目运行方面，图像数据共享模块需要安装Secure Shell安全网络协议，同时需要与图像处理装置在同一局域网环境下，并在远程监控终端的集成开发软件中集成该安全网络协议，一旦触发关闭功能，那么集成开发软件会调用该安全网络协议向图像处理装置发送关闭指令，图像处理装置根据关闭指令将图像处理器直接关闭，例如通过断电的方式是的图像处理器无法工作。

上述实施例提供的系统中，图像数据共享模块，用于通过网络安全通道向图像处理装置发送关闭指令，关闭指令用于指示对图像处理装置进行断电。通过在远程监控终端上安装网络安全协议，通过无线交互技术与实时消息传输协议协同作用，实现远距离管理和控制图像处理装置，能够实时给图像处理装置发送指令并接收图像处理装置反馈的结果。

在其中一个实施例中，图像处理装置，还用于得到管理结果，并将管理结果返回至远程监控终端；

管理结果包括运行结果、删除结果及关闭结果，运行结果包括可执行文件运行正常或可执行文件运行异常；删除结果包括可执行文件删除正常和可执行文件删除异常；关闭结果包括图像处理装置关闭正常和图像处理装置关闭异常；

远程监控终端，用于对管理结果进行显示。

在其中一个实施例中，远程监控终端与图像处理装置之间通过无线网络连接，且处于同一局域网环境；图像数据共享模块和图像处理装置均预先配置有无线调试环境；

图像数据共享模块，用于向图像处理装置发送调试指令；图像处理装置，用于在无线调试环境下执行可执行文件，得到执行结果，并向图像数据共享模块发送执行结果；

远程监控终端，用于根据执行结果生成新的可执行文件，并将新的可执行文件下发至图像处理装置。

可以理解的是，远程监控终端对图像处理装置进行调试的前提是，远程监控终端和图像处理装置均需要安装统一执行、调试代码的环境，以图像处理装置采用ARM芯片为例，此环境为ARM调试环境，由此由远程监控终端编译的代码才能够在ARM芯片的计算单元中正常运行。

具体地，以ARM芯片为例，远程监控终端和ARM开发板上安装ARM调试环境，在远程监控终端上触发调试功能后，远程监控终端通过配置ARM计算单元的IP地址，确定需要调试的对象，然后将调试命令通过远程传输到ARM计算单元，通过ARM环境下的GDB功能调试可执行文件中的代码，将调试的结果发送并显示在远程监控终端执行窗口中，用户通过分析调试结果或终端自动分析调试结果后，重新生成可执行文件发送给图像处理器(ARM计算单元)。需要说明的是，若调试结果没有问题的情况下，可以不更新可执行文件。

上述实施例提供的系统中，远程监控终端与图像处理装置之间通过无线网络连接，且处于同一局域网环境；图像数据共享模块和图像处理装置均预先配置有无线调试环境；图像数据共享模块，用于向图像处理装置发送调试指令；图像处理装置，用于在无线调试环境下执行可执行文件，得到执行结果，并向图像数据共享模块发送执行结果；远程监控终端，用于根据执行结果生成新的可执行文件，并将新的可执行文件下发至图像处理装置。通过在远程监控终端上安装网络安全协议，通过无线交互技术与实时消息传输协议协同作用，实现远距离管理和控制图像处理装置，在可执行文件需要调试或改进的时候，可以不必在应用场景的现场，直接在远程监控终端对图像处理装置进行调试，提高管理效率。

在其中一个实施例中，远程监控终端，还用于向图像处理装置发送命令行脚本文件；图像处理装置，用于在处于上电启动状态的情况下，基于命令行脚本文件自动执行可执行文件。

远程监控终端通过在图像处理装置中生成shell脚本文件的方式，使得图像处理装置在上电启动后，无需再接收远程监控终端重新发送的可执行文件，直接运行存储的之气那接收的可执行文件即可，通过此种方法，能够提高图像处理装置的工作效率，无需每次远程监控的时候都重新创建工程项目，直接运行即可。

在其中一个实施例中，图像处理装置还包括启动模块；启动模块，用于在检测到图像处理装置接收到可执行文件的情况下，向摄像头发送启动指令，启动指令用于指示摄像头进行拍摄。

需要说明的是，触发摄像头工作是图像处理装置中接收到的编译完成的可执行文件触发的，以处理芯片为ARM芯片为例，可执行文件发送至ARM开发板中，由ARM开发板触发摄像头工作，参见图2。此时，摄像头根据启动指令开始获取视频图像或视频流发送至图像处理器进行视觉处理。

上述实施例提供的方法中，图像处理装置还包括启动模块；启动模块，用于在检测到图像处理装置接收到可执行文件的情况下，向摄像头发送启动指令，启动指令用于指示摄像头进行拍摄。根据可执行文件触发摄像头，无需在应用场景现场启动摄像头，可直接远程实现对摄像头的操控，且可以实现在需要的时候实时打开摄像头，灵活性较高。

在其中一个实施例中，摄像头为双目摄像头，原始图像包括第一图像和第二图像；图像处理装置还包括计算模块；

计算模块，用于计算第一图像和第二图像中每一像素的深度值，根据深度值确定第一图像对应的深度图像和第二图像对应的深度图像；

图像处理器，用于执行可执行文件，通过可执行文件对深度图像作视觉处理，得到在目标应用场景下深度图像中目标检测对象与双目摄像头之间的距离，并作为第二检测结果；图像处理装置，用于将第二检测结果返回至远程监控终端；

远程监控终端，用于对第二检测结果进行显示。

在其中一个应用例中，摄像头采用RGB+IR双目摄像头，采用FPGA芯片设计、CPU+GPU芯片协同加速，可适应暗光、炫光等环境，可视距离达200m，可输出高质量RGB图像和深度图像，采用GPU+CPU协同加速的FPGA设计模式，具有高运算能力，可适用于各种双目视觉处理算法。

图像处理器部分采用ARM计算单元，则在双目摄像头获取两张RGB图像后，在摄像头内部包括的计算单元中，直接计算出深度图像并输出，然后再由ARM计算单元对原始图像(两张RGB图像)和深度图像进行视觉处理。其中，深度图像的计算方法再次不做具体解释，参见常用深度图像计算方法。

上述实施例提供的方法中，摄像头为双目摄像头，原始图像包括第一图像和第二图像；图像处理装置还包括计算模块；计算模块，用于计算第一图像和第二图像中每一像素的深度值，根据深度值确定第一图像对应的深度图像和第二图像对应的深度图像；图像处理器，用于执行可执行文件，通过可执行文件对深度图像作视觉处理，得到在目标应用场景下深度图像中目标检测对象与双目摄像头之间的距离，并作为第二检测结果；图像处理装置，用于将第二检测结果返回至远程监控终端；远程监控终端，用于对第二检测结果进行显示。通过对原始图像两次处理，并将两次处理任务分配给摄像头和处理器分开完成，提高图像视觉处理的效率，且采用双目摄像头可以可适应暗光、炫光等环境，可视距离达200m，可输出高质量RGB图像和深度图像。