基于多模态AI大模型的电网监控火灾预警系统及方法

技术领域

本发明涉及电网环境中的火灾预警技术领域，尤其涉及一种基于多模态AI大模型的电网监控火灾预警系统及方法。

背景技术

电网是国家基础设施的重要组成部分，其安全运行对社会经济活动至关重要，由于电网环境的复杂性和易燃性材料的普遍存在，火灾风险一直是电网安全管理中的一个主要问题。传统的火灾预警系统依赖于简单的传感器和人工监控，这在处理复杂的环境和迅速变化的情况时，常常显示出反应迟缓和识别不准确的问题，此外，传统系统在分析大规模视频数据时面临着巨大的挑战，包括数据处理效率低下和误报率高等。在这种背景下，AI大模型的应用提供了明显的优势，这些模型利用先进的机器学习算法，能够从复杂的视频数据中提取关键信息，并进行高效的实时分析。

因此，本发明利用大模态AI大模型的综合能力，克服传统火灾预警系统的局限性，为电网环境提供一个更智能、更可靠的火灾预警解决方案。

发明内容

本发明针对现有技术的不足，研制一种基于多模态AI大模型的电网监控火灾预警系统及方法，主要目的在于实现电网环境中利用视频监控对火灾风险进行智能预警。

本发明解决技术问题的技术方案为：一方面，本发明提供了一种基于多模态AI大模型的电网监控火灾预警方法，其包括以下步骤：

S1.采集电网运行状态下的环境视频，按照一定频率进行抽帧，结合图像增强技术提升弱光条件下的图像质量，并将其按照标准参数进行封装，保存为统一的格式；

S2.将处理好的图像使用视觉大模型进行智能分析，得到对图像内容的文字化描述；

S3. 将得到的图像内容的文字化描述作为输入，使用文本大模型对其进行进行语义分析，研判火灾风险；

S4.当存在火灾风险时，使用音频大模型生成预警语音，以告警的形式传播给相关职能人员，实现电网环境下的火灾智能预警。

上述基于多模态AI大模型的电网监控火灾预警方法优选方案，S1具体包括以下步骤：

S1.1视频采集与抽帧：视频通过可见光摄像机实时采集，按照预定的频率从视频中抽取关键帧，在满足实时性预警的前提下减少数据量和处理需求:

，

其中，

S1.2图像质量增强：

（1）自适应直方图均衡化：

a. 分割图像:通过将图像分割成多个小的、重叠的区块，来保证区块覆盖整个图像，以及每个像素都在某个区块的中心；

b. 计算局部直方图: 在每个区块中通过统计该区块内每个亮度级

，

其中，

c. 计算累积分布函数：对于每个小区块的直方图，计算其累积分布函数：

，

其中，

d. 应用均衡化：通过每个区块的累积分布函数

,

其中，L表图像中亮度级别的数量，

e. 应用均衡化:通过在每个小区块上应用上述均衡化过程，并将所有区块的结果进行组合来重建整个图像，通过取平均值决定最终像素值；

（2）非局部均值去噪：

a. 定义邻域和搜索窗口：对于图像中的每个像素

b. 计算权重：计算像素

该权重反映了

,

其中，

c. 计算去噪后的像素值：搜索窗口

,

其中，

d. 重建图像：将上述步骤应用于图像中的每个像素，通过计算每个像素的去噪值来重建整个去噪后的图像；

S1.3图像封装：完成图像质量增强和去噪处理后，将处理后的图像

上述基于多模态AI大模型的电网监控火灾预警方法优选方案，S2具体如下：使用视觉大模型

，

其中，

上述基于多模态AI大模型的电网监控火灾预警方法优选方案，S3具体如下：将视觉模型生成的文字描述

,

其中，

上述基于多模态AI大模型的电网监控火灾预警方法优选方案，S4具体如下：使用文本大模型

,

,

其中，

另一方面，本发明的实施例提供了一种基于多模态AI大模型的电网监控火灾预警系统，其包括监控视频采集与处理模块、多模态AI大型智能分析模块和火灾风险预警模块；

监控视频采集与处理模块通过可见光摄像头获取实时的监控视频，得到电网运行状态下的环境视频数据，并对这些视频数据进行初步处理，对获取的视频数据进行抽帧，并通过自适应直方图均衡化和非局部均值去噪进行图像质量增强；

智能分析模块采用视觉大模型进行智能分析，得到对图像内容的文字化描述，将其作为输入使用文本大模型进行语义分析，研判火灾风险；

火灾风险预警模块用于基于智能分析模块的分析结果，结合文本大模型和音频大模型，生成并发出语音预警信号。

发明内容中提供的效果仅仅是实施例的效果，而不是发明所有的全部效果，上述技术方案具有如下优点或有益效果：

本发明提供了一种基于多模态AI大模型的电网监控火灾预警系统及方法，通过自适应直方图均衡化和非局部均值去噪技术，实现对电网环境下可见光摄像机采集到的图像质量进行增强；利用多模态AI大模型技术，包括视觉大模型、文本大模型，对增强后的电网监控图像进行分析、研判，并实现智能告警。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。

图1为本发明的方法流程示意图。

图2为本发明的系统结构示意图。

具体实施方式

为了能清楚说明本方案的技术特点，下面通过具体实施方式，并结合其附图，对本发明进行详细阐述。下文的公开提供了许多不同的实施例或例子用来实现本发明的不同结构。为了简化本发明的公开，下文中对特定例子的部件和设置进行描述。

实施例1 如图1所示，一种基于多模态AI大模型的电网监控火灾预警方法，其包括以下步骤：

S1.采集电网运行状态下的环境视频，按照一定频率进行抽帧，结合图像增强技术提升弱光条件下的图像质量，并将其按照标准参数进行封装，保存为统一的格式；

S2.将处理好的图像使用视觉大模型进行智能分析，得到对图像内容的文字化描述；

S3. 将得到的图像内容的文字化描述作为输入，使用文本大模型对其进行进行语义分析，研判火灾风险；

S4.当存在火灾风险时，使用音频大模型生成预警语音，以告警的形式传播给相关职能人员，实现电网环境下的火灾智能预警。

上述基于多模态AI大模型的电网监控火灾预警方法优选方案，S1具体包括以下步骤：

S1.1视频采集与抽帧：视频通过可见光摄像机实时采集，按照预定的频率从视频中抽取关键帧，在满足实时性预警的前提下减少数据量和处理需求:

，

其中，

S1.2图像质量增强：

（1）自适应直方图均衡化：

a. 分割图像:通过将图像分割成多个小的、重叠的区块，来保证区块覆盖整个图像，以及每个像素都在某个区块的中心；

b. 计算局部直方图: 在每个区块中通过统计该区块内每个亮度级

,

其中，

c. 计算累积分布函数：对于每个小区块的直方图，计算其累积分布函数：

,

其中，

d. 应用均衡化：通过每个区块的累积分布函数

,

其中，L表图像中亮度级别的数量，

e. 应用均衡化:通过在每个小区块上应用上述均衡化过程，并将所有区块的结果进行组合来重建整个图像，通过取平均值决定最终像素值；

（2）非局部均值去噪：

a. 定义邻域和搜索窗口：对于图像中的每个像素

b. 计算权重：计算像素

，

其中，

c. 计算去噪后的像素值：搜索窗口

，

其中，

d. 重建图像：将上述步骤应用于图像中的每个像素，通过计算每个像素的去噪值来重建整个去噪后的图像；

S1.3图像封装：完成图像质量增强和去噪处理后，将处理后的图像

上述基于多模态AI大模型的电网监控火灾预警方法优选方案，S2具体如下：使用视觉大模型

，

其中，

上述基于多模态AI大模型的电网监控火灾预警方法优选方案，S3具体如下：将视觉模型生成的文字描述

，

其中，

上述基于多模态AI大模型的电网监控火灾预警方法优选方案，S4具体如下：使用文本大模型

，

，

其中，

实施例2 如图2所示，本实施例中，提供了一种基于多模态AI大模型的电网监控火灾预警系统，其包括监控视频采集与处理模块、多模态AI大型智能分析模块和火灾风险预警模块；

监控视频采集与处理模块通过可见光摄像头获取实时的监控视频，得到电网运行状态下的环境视频数据，并对这些视频数据进行初步处理，对获取的视频数据进行抽帧，并通过自适应直方图均衡化和非局部均值去噪进行图像质量增强；

智能分析模块采用视觉大模型进行智能分析，得到对图像内容的文字化描述，将其作为输入使用文本大模型进行语义分析，研判火灾风险；

火灾风险预警模块用于基于智能分析模块的分析结果，结合文本大模型和音频大模型，生成并发出语音预警信号。

实施例3 如表1所示，本研究利用KMU Fire & Smoke火灾视频数据集，分别使用现有基于特征的对象识别单一模型的视频分析技术和本发明提出的基于多模态AI大模型的电网火灾监控技术进行火灾风险检测，结果显示，相较现有技术，本发明所提出的技术具有更高的准确率和适应性。

表1 本发明中的方法与其他方法的对比结果

上述虽然结合附图对发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。