多模态成像装置和多模态致灾因子监测系统及其实现方法

技术领域

本发明涉及多模态成像公共安全监测技术，尤其涉及一种多模态成像装置和多模态致灾因子监测系统及其实现方法。

背景技术

常见的公共安全监控系统中，为了实现现场视频监控、人员高热患病和核辐射致灾因子的有效检测的不同目的，需要分别部署可见光摄像头、红外热像测温仪和核辐射监测或伽玛相机，各自分别组成现场视频监控系统、红测温系统和核辐射成像系统，以此来实现各自的功能。

上述现有的技术方案中，针对每个监控对象均需要一套复杂的系统，如现场视频监控系统，需要可见光摄像头、通信线缆、视频服务器、显示屏、视频软件来构成。红外测温系统，需要由红外热像仪、通信线缆、计算机、显示屏、红外测温软件来构成；其中，红外热像仪可集成可见光摄像头。核辐射成像系统，需要由伽玛相机、通信线缆、服务器、辐射成像软件、显示屏等部件来构成，其中伽玛相机也可集成可见光摄像头。

现有技术的实现方案中，上述的单独系统一般由不同厂家提供，这种分立式单系统组成的公共安全监控系统，无论在设计还是在安装方面涉及因素多均很复杂，而且在投入使用后的维护成本也很很高。此外，该公共安全监控系统，还有占用的空间大、而且使用时需要监控多个画面，就得配备多个显示器/显示屏、同时查看多个系统的多个监控画面，而不同的监控系统产生的告警及类型又有不同，因此也给现场监控人员带来极大的不便。

发明内容

有鉴于此，本发明的主要目的在于提供一种多模态成像装置和多模态致灾因子监测系统，通过硬件进行信号处理使单台成像装置同时具备视频监控、红外热像测温、辐射成像监测功能，从而实现单台设备能够同时进行多模态致灾因子监测，极大的降低安全监控系统复杂度。

为达到上述目的，本发明的技术方案如下：

一种多模态成像装置，包括光学成像模块和红外光电成像模块，还包括辐射探测模块和前处理模块以及数据处理模块；其中：所述光学成像模块、红外光电成像模块和辐射探测模块分别与所述前处理模块电连接，所述前处理模块再与所述数据处理模块相连；

所述前处理模块，用于对从所述光学成像模块获得的光学影像数据进行去噪、自动增益控制、白平衡以及图像校正处理；还用于对从所述红外光电成像模块获得的红外热成像数据进行去噪、校正处理；以及基于帧同步信号获取对应的时间点的光学影像数据与红外热成像影像数据，并与从所述辐射探测模块获得的当前辐射图像数据进行并行处理，以获得同步融合影像数据；

所述数据处理模块，用于对所述同步融合影像数据进行再处理，以获得处理后的同步融合影像，并同步给出声光告警和提示信息。

其中：所述数据处理模块对所述同步融合影像数据进行再处理，具体包括：对被监测目标的形状、轮廓和标定区域处温度的计算、显示和校正，根据设定的报警阈值，对辐射值大小、高低温值进行比较和告警判断。

其中：所述光学成像模块，对被监测目标进行可见光波段范围的影像记录，将生成的影像数据传输至所述前处理模块中。

其中：所述红外光电成像模块，对被监测目标进行红外热成像，并将生成的红外热成像影像数据传输至所述前处理模块中。

较佳地，还包括能够产生恒定温度的黑体，用于对所述红外光电成像模块在红外测温过程中进行测量温度的实时校正及实时温度标定。

进一步地，还包括用于对所述多模态成像装置的机箱内部进行风冷散热的散热模块。

一种多模态致灾因子监测系统，包含所述的多模态成像装置，还包括第一图像显示模块，用于对经过数据处理模块再处理后的同步融合影像数据进行显示。

一种多模态致灾因子监测系统，包含所述的多模态成像装置，还包括：对经过数据处理模块再处理后的同步融合影像数据进行音视频压缩编码处理的数据编码压缩模块，和以有线或无线通信方式接收所述经压缩编码处理后的同步融合影像数据进行解码并显示的图像工作站。

一种所述多模态致灾因子监测系统的实现方法，包括如下步骤：

将多模态成像装置的数据处理模块的视频数据输出端与所述第一图像显示模块数据连接，通过所述第一图像显示模块显示同步融合影像数据；

一种所述多模态致灾因子监测系统的实现方法，包括如下步骤：

将经所述数据编码压缩模块压缩编码处理后的同步融合影像数据，通过第一通信模块以有线或无线通信方式发送到所述图像工作站的第二通信模块；

通过第二通信模块以有线或无线通信方式接收所述经压缩编码处理后的同步融合影像数据，然后将所述经压缩编码处理后的同步融合影像数据通过第二图像显示模块进行解码并显示。

本发明的多模态成像装置和多模态致灾因子监测系统，具有如下有益效果：

1)以单个设备实现三个设备的功能，现场设备安装数量大幅减少，计算设备、显示屏、部署空间等大幅减少，有效节约资源。

2)多种监控显示画面融合为1个监控画面显示，现场人员更容易监控。

3)数据综合处理判断，实现多种致灾因子数据的综合处理，无需人员单独判断每种致灾因子报警情况，减少现场人员工作量。

4)实现设备的精准标校，提高图像融合精度。

附图说明

图1为本发明实施例的多模态成像装置和多模态致灾因子监测系统的功能框图；

图2为本发明实施例的多模态成像装置组成结构示意图。

【主要部件/组件符号说明】

1：多模态成像装置

11：光学成像模块；12：红外光电成像模块13：辐射探测模块

14：前处理模块15：数据处理模块16：数据编码压缩模块

17：第一通信模块18：散热模块

2：图像工作站

21：第二通信模块22：第二图像显示模块

3：第一图像显示模块

4：黑体。

具体实施方式

下面结合附图及本发明的实施例对本发明作进一步详细的说明。

为更清晰的说明和描述本发明的实施例，需参考一幅或多幅附图，但用于描述附图的附加细节或示例并非是对本申请的发明创造、目前所描述的实施例或优选方式中任何一者的范围的限制。除非另有定义，本发明的说明书所使用的所有技术术语或科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本发明的说明书中所使用的术语仅为描述具体的实施例之用，而非在于限制本发明。

图1为本发明实施例的多模态成像装置和多模态致灾因子监测系统的功能框图。

如图1所示，该多模态成像装置1和图像工作站2构成多模态致灾因子监测系统。

所述多模态成像装置1，包括光学成像模块11、红外光电成像模块12、辐射探测模块13、前处理模块14、数据处理模块15、数据编码压缩模块16、第一通信模块17以及散热模块18。其中：

所述光学成像模块11，对被监测目标进行影像记录，并将生成的影像数据传输至前处理模块14中。光学成像模块11工作在可见光波段内，即波长范围在0.38μm～0.76μm(微米)之间。

所述红外光电成像模块12，对被监测目标进行红外热成像，并将生成的红外热成像影像数据传输至前处理模块14中。红外光电成像模块12工作在红外光波段内，即波长范围在0.76μm～1000μm之间。较佳地，可配套设置黑体4，即辐射体，能够产生恒定温度(对外发射红外电磁波)，用于对红外光电成像模块12在红外测温过程中进行测量温度的实时校正及实时温度标定，以提高测温精度，测温误差可降低到±0.3℃～±0.1℃之间。

所述辐射探测模块13，对被监测目标进行电离辐射探测，通过辐射成像探测器累积伽玛光子，定期将累积数据重建为辐射图像，以辐射图像累积周期作为基本参考，并生成帧同步信号，将生成的辐射图像及帧同步信号传输至前处理模块14。辐射探测模块13工作在γ射线波段内，即波长范围小于0.001nm(纳米)。

所述前处理模块14，又称为预处理模块14，用于对从光学成像模块11获得的可见光范围成像的光学影像数据进行去噪、自动增益控制、白平衡以及图像校正(如伽玛校正)；还用于对从红外光电成像模块12获得的红外热成像数据进行去噪、校正；基于帧同步信号获取对应的时间点的光学影像数据与红外热成像影像数据，并与从辐射探测模块13获得的当前辐射图像数据进行并行处理，以获得同步融合影像数据。

所述数据处理模块15，用于对所述同步融合影像数据进行再处理，包括被监测目标的形状、轮廓和标定区域处温度的计算、显示和校正，并根据设定的报警阈值，对辐射大小、高低温进行告警判断，以获得处理后的同步融合影像，并同步给出声光告警和提示信息。例如，若被监测目标是人，利用数据处理模块15对同步融合影像数据进行处理时，进行人脸识别、对标定区域(如额头)处的温度进行计算、校正，经判断对超出一定电离辐射单位(如mR/h)数值的被监测目标给予告警，或/和对超过一定温度数值(如大于37.2℃)的目标进行告警，并可通过显示装置，如直接传输到第一图像显示模块3进行同步融合影像显示。

较佳地，所述数据处理模块15，还能够通过将所述经过处理后的同步融合影像数据传输至数据编码压缩模块16，由所述数据编码压缩模块16对所述同步融合影像数据进行数字压缩编码处理，如采用H.261或H.264/H.265音视频压缩编码标准进行压缩编码处理后，得到不同码率的数字音视频信号，再通过第一通信模块17以有线或无线传输的方式，将所述压缩编码的数字视频信号通过第二通信模块21接收并传输至图像工作站2的第二图像显示模块22中进行视频解压和显示所述同步融合影像。

这里，所述不同码率的数字视频信号，可以是128kbps、1.5～2Mbps、4～8Mbps或高清20～25Mbps，最高支持100Mbps，可以根据不同的网络传输条件或使用场景进行选择。根据不同的使用需求，所述第一通信模块17可以有多个，所述第二通信模块21也可以有多个，也可以一发多收的方式组成1：N广播视频传输网络。

所述前处理模块14中的多模态融合画面中，背景画面为可见光波段范围的视频影像(包括视频和图像)，显示时辐射图斑部分像素覆盖原可见光的画面像素，对于红外成像视频影像，可选择只在标定区域处(如人脸范围)显示温度信息，可不做像素覆盖。

例如，一个具体的处理过程如下：取光学成像模块1的图像作为基准图像，对于红外光电成像模块2与辐射探测模块3的每个像素，用周围几个标校点偏差均值校正其像素位置，得到修正后的红外图像/辐射图像。将可见光图像中与辐射图像重合部分的像素用辐射图像像素取代。根据修正的红外图像，获得额头处最高温度处像素位置，在可见光画面同样像素位置处显示温度数据。从而实现同一画面下显示多模态影像，具体如下：

将多模态成像装置1数据连接第一图像显示模块3，实现本地多模态成像设备的图像融合显示功能，即对被监测目标同时进行光学影像显示、红外温度感测和辐射源感测，并将融合的感测效果同步、同时显示在一个显示界面中，实现“三合一”的融合效果展示。

本发明的所述多模态致灾因子监测系统，可以有多种配置/组合实现方式，例如，既可以由多模态成像装置1和第一图像显示模块3构成，较佳地，还可以包括黑体4；也可以由多模态成像装置1和图像工作站2构成，较佳地还可以包括黑体4。其中，图像工作站2，包括第二通信模块21和第二图像显示模块22。

较佳地，所述多模态成像装置1还包括散热模块18，包括贴合于芯片的金属均热板、带鳍片金属散热片，以及由均热板、铜管、鳍片和风扇组成的散热器，用于对所述多模态成像装置机箱内部进行风冷散热。

图2为本发明实施例的多模态成像装置组成结构示意图。

如图2所示，该多模态成像装置中，包括光学成像模块11、红外光电成像模块12、辐射探测模块13和前处理模块14和数据处理模块15。还包括数据编码压缩模块及第一通信模块。

图2中所示前处理模块14、数据处理模块15和数据编码压缩模块(图未示出)以及第一通信模块(图未示出)均设置在一块电路板上，该电路板上设有与所述数据处理模块15相连接的本地视频通信接口，以及还设有与所述第一通信模块的相连的远程通信接口。第一图像显示模块通过与本地视频通信接口连接，用于本地显示多模态融合图像。通过远程通信接口相连的第二图像显示模块，用于异地显示多模态融合图像。

在本发明的实施例中，所述前处理模块14中可采用图像信号处理器(ImageSignal Processor，ISP)类芯片来实现相应的功能，如OV490芯片等；所述数据处理模块15中可采用高性能微处理器(Micro Processor Unit，MPU)芯片来实现相应的功能，如IntelCyclone V系列芯片等；所述数据编码压缩模块中可采用海思HI3516AV200等芯片来实现音视频编码的相应功能。

本发明将现有光学成像模块、红外光电成像模块、辐射探测模块三个独立的设备通过与前处理模块14数据相连，实现基于帧同步信号获取对应的时间点的光学影像数据、红外热成像数据和(从辐射探测模块13获得的)当前辐射图像数据进行并行处理，以获得同步融合影像数据，实现了由一台多模态成像装置替代过去三个设备的功能的效果，从而使现场设备安装数量大幅减少，计算设备、显示屏、部署空间等大幅减少，有效的节约了资源。

并且，通过将多种监控显示界面融合到一个监控界面下显示，更有利于提高现场人员的监控效率，使现场人员更容易监控。

此外，通过数据处理模块对数据综合处理判断，能够实现多种致灾因子数据的综合处理，无需单独判断每种致灾因子的告警情况，有利于减少现场工作人员数量。

本发明还采用了能够产生恒定温度的黑体，在红外光电成像模块对监测目标红外测温过程中进行实时温度校准和实时温度标定，实现了对多模态致灾因子监测系统的精准标校准，进一步提高了图像融合的精度。

以上所述，仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。