一种对摄像头异常状况的检测方法及装置

技术领域

本发明涉及图像检测技术领域，具体而言，涉及一种对摄像头异常状况的检测方法及装置。

背景技术

自动驾驶对象如车辆及机器人在行动前和行动过程中，其设置的摄像头出现挂水、污渍、过曝以及黑暗等异常状况的情况下，自动驾驶对象的感知系统基于该类摄像头所采集的图像所感知出的感知结果，会与实际结果出现较大偏差，从而影响感知系统的可靠性。

为了保证感知系统感知结果的准确性，需要首先对自动驾驶对象的摄像头的状况进行检测，目前对摄像头的异常状况的检测方式，一般为：在自动驾驶对象的驾驶过程中，通过其摄像头采集连续帧图像，将其中一帧图像作为检测帧，对该检测帧进行区域划分并在检测周期内，利用图像跟踪算法，对从该检测帧中所检测出的各目标进行跟踪，提取各目标的运动特征，根据所提取的各目标的运动特征，确定摄像头是否存在异常状态。

可见，上述过程中，实现对自动驾驶对象的摄像头状况的检测，仅能基于自动驾驶对象处于驾驶状态下其摄像头所采集的图像，而若其摄像头处于异常状况，这对自动驾驶对象存在安全隐患。

发明内容

本发明提供了一种对摄像头异常状况的检测方法及装置，以实现对摄像头检测场景的扩充，能够在自动驾驶对象在驾驶前实现对其摄像头情况的准确检测。具体的技术方案如下：

第一方面，本发明实施例提供了一种对摄像头异常状况的检测方法，所述方法包括：

获得处于静止状态下的待检测摄像头所拍摄的图像，作为待检测图像；

利用当前的异常状况检测模型以及所述待检测图像，确定所述待检测摄像头对应的状况检测结果，其中，所述状况检测结果包括：所述待检测摄像头是否存在异常状况的结果和/或所存在异常状况的类型，所述当前的异常状况检测模型为：基于表征所对应摄像头不存在异常状况的正样本图像和表征所对应摄像头存在异常状况的负样本图像训练所得模型。

可选的，所述异常状况类型包括如下类型中的至少一种：沾水、污渍、黑屏以及过曝。

可选的，所述当前的异常状况检测模型包括单帧检测子模型和多帧判断子模型；所述待检测图像为连续帧图像；

所述利用当前的异常状况检测模型以及所述待检测图像，确定所述待检测摄像头对应的状况检测结果的步骤，包括：

针对每一待检测图像，将该待检测图像输入所述单帧检测子模型，确定该待检测图像对应的检测信息，其中，所述检测信息包括：表征待检测摄像头存在各异常状况类型对应的概率值，和表征待检测摄像头不存在异常状况对应的概率值；

将每一待检测图像对应的检测信息输入所述多帧判断子模型，统计所对应检测信息为表征待检测摄像头存在异常状况的待检测图像的数量，作为第一数量；基于所述第一数量确定所述待检测摄像头是否存在异常状况，并在确定所述待检测摄像头存在异常状况的情况下，基于各表征待检测摄像头存在异常状况的检测信息中各异常状况类型对应的概率值，确定所述待检测摄像头对应的目标异常状况类型，以得到所述待检测摄像头对应的状况检测结果。

可选的，在所述利用当前的异常状况检测模型以及所述待检测图像，确定所述待检测摄像头对应的状况检测结果的步骤之前，所述方法还包括：

获得正样本图像及其对应的标签信息以及负样本图像及其标签信息，其中，所述正样本图像为表征所对应摄像头不存在异常状况的图像，所述负样本图像为表征所对应摄像头存在异常状况的图像；

利用预设数据增强算法以及所述正样本图像和/或所述负样本图像，确定目标负样本图像，其中，所述目标负样本图像包括：所述负样本图像及对所述负样本图像进行变形后的图像，和/或，所述目标负样本图像包括：所述负样本图像及每一正样本图像进行风格转换后的图像；

获得每一组预设超参数对应的初始的异常状况检测模型；

针对每一组预设超参数，利用作为训练集的第一正样本图像及其标签信息、第一目标负样本图像及其标签信息，训练该初始的异常状况检测模型，直至该初始的异常状况检测模型达到预设收敛条件，确定该组预设超参数对应的中间异常状况检测模型，其中，所述第一正样本图像为所述正样本图像中的部分图像，所述第一目标负样本图像为所述目标负样本图像中的部分图像；

利用作为评测集的第二正样本图像及其标签信息、第二目标负样本图像及其标签信息，从所有中间异常状况检测模型中，确定出检测结果最优的中间异常状况检测模型，确定为当前的异常状况检测模型，其中，所述第二正样本图像为所述正样本图像中的部分图像，所述第二目标负样本图像为所述目标负样本图像中的部分图像。

可选的，所述预设数据增强算法为预先建立的数据增强模型，所述预先建立的数据增强模型为：基于已标注的指定正样本图像和指定负样本图像训练所得的网络模型，所述预先建立的数据增强模型用于对所输入图像进行数据增强；

所述利用预设数据增强算法以及所述正样本图像和/或所述负样本图像，确定目标负样本图像的步骤，包括：

将每一正样本图像输入所述预先建立的数据增强模型，得到每一正样本图像对应的新增样本图像；

将所述负样本图像以及每一正样本图像对应的新增样本图像，确定为目标负样本图像。

可选的，所述方法还包括：

在确定所述待检测摄像头出现异常状况的情况下，输出异常报警信息。

可选的，所述方法还包括：

在确定所述待检测摄像头对应的状况检测结果准确的情况下，基于所述待检测图像及其对应的状况检测结果，更新所述当前的异常状况检测模型。

第二方面，本发明实施例提供了一种对摄像头异常状况的检测装置，所述装置包括：

第一获得模块，被配置为获得处于静止状态下的待检测摄像头所拍摄的图像，作为待检测图像；

第一确定模块，被配置为利用当前的异常状况检测模型以及所述待检测图像，确定所述待检测摄像头对应的状况检测结果，其中，所述状况检测结果包括：所述待检测摄像头是否存在异常状况的结果和/或所存在异常状况的类型，所述当前的异常状况检测模型为：基于表征所对应摄像头不存在异常状况的正样本图像和表征所对应摄像头存在异常状况的负样本图像训练所得模型。

可选的，所述异常状况类型包括如下类型中的至少一种：沾水、污渍、黑屏以及过曝。

可选的，所述当前的异常状况检测模型包括单帧检测子模型和多帧判断子模型；所述待检测图像为连续帧图像；

所述第一确定模块，被具体配置为针对每一待检测图像，将该待检测图像输入所述单帧检测子模型，确定该待检测图像对应的检测信息，其中，所述检测信息包括：表征待检测摄像头存在各异常状况类型对应的概率值，和表征待检测摄像头不存在异常状况对应的概率值；

将每一待检测图像对应的检测信息输入所述多帧判断子模型，统计所对应检测信息为表征待检测摄像头存在异常状况的待检测图像的数量，作为第一数量；基于所述第一数量确定所述待检测摄像头是否存在异常状况，并在确定所述待检测摄像头存在异常状况的情况下，基于各表征待检测摄像头存在异常状况的检测信息中各异常状况类型对应的概率值，确定所述待检测摄像头对应的目标异常状况类型，以得到所述待检测摄像头对应的状况检测结果。

可选的，所述装置还包括：

第二获得模块，被配置为在所述利用当前的异常状况检测模型以及所述待检测图像，确定所述待检测摄像头对应的状况检测结果之前，获得正样本图像及其对应的标签信息以及负样本图像及其标签信息，其中，所述正样本图像为表征所对应摄像头不存在异常状况的图像，所述负样本图像为表征所对应摄像头存在异常状况的图像；

第二确定模块，被配置为利用预设数据增强算法以及所述正样本图像和/或所述负样本图像，确定目标负样本图像，其中，所述目标负样本图像包括：所述负样本图像及对所述负样本图像进行变形后的图像，和/或，所述目标负样本图像包括：所述负样本图像及每一正样本图像进行风格转换后的图像；

第三获得模块，被配置为获得每一组预设超参数对应的初始的异常状况检测模型；

训练模块，被配置为针对每一组预设超参数，利用作为训练集的第一正样本图像及其标签信息、第一目标负样本图像及其标签信息，训练该初始的异常状况检测模型，直至该初始的异常状况检测模型达到预设收敛条件，确定该组预设超参数对应的中间异常状况检测模型，其中，所述第一正样本图像为所述正样本图像中的部分图像，所述第一目标负样本图像为所述目标负样本图像中的部分图像；

第三确定模块，被配置为利用作为评测集的第二正样本图像及其标签信息、第二目标负样本图像及其标签信息，从所有中间异常状况检测模型中，确定出检测结果最优的中间异常状况检测模型，确定为当前的异常状况检测模型，其中，所述第二正样本图像为所述正样本图像中的部分图像，所述第二目标负样本图像为所述目标负样本图像中的部分图像。

可选的，所述预设数据增强算法为预先建立的数据增强模型，所述预先建立的数据增强模型为：基于已标注的指定正样本图像和指定负样本图像训练所得的网络模型，所述预先建立的数据增强模型用于对所输入图像进行数据增强；

所述第二确定模块，被具体配置为将每一正样本图像输入所述预先建立的数据增强模型，得到每一正样本图像对应的新增样本图像；

将所述负样本图像以及每一正样本图像对应的新增样本图像，确定为目标负样本图像。

可选的，所述装置还包括：

输出模块，被配置为在确定所述待检测摄像头出现异常状况的情况下，输出异常报警信息。

可选的，所述装置还包括：

更新模块，被配置为在确定所述待检测摄像头对应的状况检测结果准确的情况下，基于所述待检测图像及其对应的状况检测结果，更新所述当前的异常状况检测模型。

由上述内容可知，本发明实施例提供的一种对摄像头异常状况的检测方法及装置，获得处于静止状态下的待检测摄像头所拍摄的图像，作为待检测图像；利用当前的异常状况检测模型以及待检测图像，确定待检测摄像头对应的状况检测结果，其中，状况检测结果包括：待检测摄像头是否存在异常状况的结果和/或所存在异常状况的类型，当前的异常状况检测模型为：基于表征所对应摄像头不存在异常状况的正样本图像和表征所对应摄像头存在异常状况的负样本图像训练所得模型。

应用本发明实施例，可以直接利用当前的异常状况检测模型以及待检测图像确定出待检测摄像头对应的状况检测结果，可实现直接利用待检测摄像头处于静止状态时所采集的待检测图像，确定出待检测摄像头对应的状况检测结果，在一定程度上扩充了对待检测摄像头的异常状况的检测场景。并且可在待检测摄像头静止状态下对其进行异常状况检测，符合自动驾驶车辆或机器人行前检测的用户体验逻辑，且有利于提升待检测摄像头所在对象的行驶安全性。并且，模型利于部署，易于扩展到多个异常场景。当然，实施本发明的任一产品或方法并不一定需要同时达到以上所述的所有优点。

本发明实施例的创新点包括：

1、可以直接利用当前的异常状况检测模型以及待检测图像确定出待检测摄像头对应的状况检测结果，可实现直接利用待检测摄像头处于静止状态时所采集的待检测图像，确定出待检测摄像头对应的状况检测结果，在一定程度上扩充了对待检测摄像头的异常状况的检测场景。并且可在待检测摄像头静止状态下对其进行异常状况检测，符合自动驾驶车辆或机器人行前检测的用户体验逻辑，且有利于提升待检测摄像头所在对象的行驶安全性。并且，模型利于部署，易于扩展到多个异常场景。

2、首先检测每一帧待检测图像对应的待检测摄像头的检测信息，进而利用所有待检测图像对应的待检测摄像头的检测信息，确定待检测摄像头在采集待检测图像期间的状况，以在一定程度上提高检测结果的准确性。

3、对负样本图像进行数据增强，以增多负样本图像的数据量，得到数量更多的目标负样本图像，以保证训练所得的异常状况检测模型的检测能力更好，对异常状况的摄像头的检测能力更高；并通过验证的方式，选择出准确性更高的当前的异常状况检测模型，以保证后续实际检测过程的准确性。

4、利用预先建立的数据增强模型，得到扩充效果更优的新增样本图像，以保证后续的所训练当前的异常状况检测模型的检测结果的准确性。

5、在确定待检测摄像头出现异常状况的情况下，进行提前预警，提高安全性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍。显而易见地，下面描述中的附图仅仅是本发明的一些实施例。对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的对摄像头异常状况的检测方法的一种流程示意图；

图2为本发明实施例提供的模型训练过程的一种流程示意图；

图3为本发明实施例提供的对摄像头异常状况的检测装置的一种结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们的任何变形，意图在于覆盖不排他的包含。例如包含的一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。

本发明提供了一种对摄像头异常状况的检测方法及装置，以实现。下面对本发明实施例进行详细说明。

图1为本发明实施例提供的对摄像头异常状况的检测方法的一种流程示意图。该方法可以包括如下步骤：

S101：获得处于静止状态下的待检测摄像头所拍摄的图像，作为待检测图像。

本发明实施例所提供的对摄像头异常状况的检测方法，可以应用于任一具有计算能力的电子设备，该电子设备可以为终端或者服务器。在一种实现中，实现该方法的功能软件可以以单独的客户端软件的形式存在，也可以以目前相关的客户端软件的插件的形式存在，这都是可以的。

待检测摄像头的类型可以为鱼眼摄像头以及普通摄像头等，这都是可以的。

该待检测摄像头可以是：设置于自动驾驶车辆上的摄像头，也可以是设置于机器人上的摄像头，以及其他依赖于其所采集的图像执行相应任务的对象上的摄像头。该相应任务可以包括但不限于：定位、感知环境、导航以及决策等任务。

电子设备与待检测摄像头连接，可以获得待检测摄像头所采集的图像，作为待检测图像，其中，该待检测图像可以为一帧或多帧图像。在一种情况中，待检测摄像头的帧率为f，可以获得待检测摄像头的t时间段内所采集的连续帧图像，作为待检测图像。

在一种实现中，待检测图像可以是待检测摄像头处于静止状态所采集的图像。在另一种情况中，待检测图像也可以是待检测摄像头处于运动状态所采集的图像，这都是可以的。

S102：利用当前的异常状况检测模型以及待检测图像，确定待检测摄像头对应的状况检测结果。

其中，状况检测结果包括：待检测摄像头是否存在异常状况的结果和/或所存在异常状况的类型，当前的异常状况检测模型为：基于表征所对应摄像头不存在异常状况的正样本图像和表征所对应摄像头存在异常状况的负样本图像训练所得模型。

本步骤中，电子设备可以预先存储有当前的异常状况检测模型，该当前的异常状况检测模型用于：对摄像头所采集的图像进行检测，以确定图像是否表征其所对应的摄像头存在异常状况，以及图像表征其所对应的摄像头存在异常状况时，该摄像头所存在异常状况的具体类型。

在一种实施方式中，该异常状况类型可以包括如下类型中的至少一种：沾水、污渍、黑屏以及过曝。

电子设备获得待检测图像之后，将待检测图像输入当前的异常状况检测模型中，以通过当前的异常状况检测模型确定待检测摄像头对应的状况检测结果。其中，该状况检测结果包括：待检测摄像头是否存在异常状况的结果和/或所存在异常状况的类型。

应用本发明实施例，可以直接利用当前的异常状况检测模型以及待检测图像确定出待检测摄像头对应的状况检测结果，可实现直接利用待检测摄像头处于静止状态时所采集的待检测图像，确定出待检测摄像头对应的状况检测结果，在一定程度上扩充了对待检测摄像头的异常状况的检测场景。并且可在待检测摄像头静止状态下对其进行异常状况检测，符合自动驾驶车辆或机器人行前检测的用户体验逻辑，且有利于提升待检测摄像头所在对象的行驶安全性。并且，模型利于部署，易于扩展到多个异常场景。

在本发明的另一实施例中，当前的异常状况检测模型包括：单帧检测子模型和多帧判断子模型；待检测图像为连续帧图像；

所述S102，可以包括如下步骤011-012：

011：针对每一待检测图像，将该待检测图像输入所述单帧检测子模型，确定该待检测图像对应的检测信息.

其中，检测信息包括：表征待检测摄像头存在各异常状况类型对应的概率值，和表征待检测摄像头不存在异常状况对应的概率值。

012：将每一待检测图像对应的检测信息输入多帧判断子模型，统计所对应检测信息为表征待检测摄像头存在异常状况的待检测图像的数量，作为第一数量；基于第一数量确定待检测摄像头是否存在异常状况，并在确定待检测摄像头存在异常状况的情况下，基于各表征待检测摄像头存在异常状况的检测信息中各异常状况类型对应的概率值，确定待检测摄像头对应的目标异常状况类型，以得到待检测摄像头对应的状况检测结果。

本实现方式中，当前的异常状况检测模型可以包括：单帧检测子模型和多帧判断子模型。其中，单帧检测子模型可以为卷积神经网络模型，其模型参数可以通过训练得到。多帧判断子模型包括预设判断逻辑，预设判断逻辑用于基于单帧检测子模型的输出结果及预设数量阈值确定待检测摄像头是否存在异常状况，及待检测摄像头存在异常状况的情况下，待检测摄像头的异常状况的类型。

相应的，电子设备针对每一待检测图像，将该待检测图像输入单帧检测子模型中，获得该待检测图像对应的检测信息；进而，将各待检测图像对应的检测信息输入多帧判断子模型；通过多帧判断子模型的预设判断逻辑，统计所对应检测信息为表征待检测摄像头存在异常状况的待检测图像的数量，作为第一数量；并基于第一数量确定待检测摄像头是否存在异常状况，进而在确定待检测摄像头存在异常状况的情况下，基于各表征待检测摄像头存在异常状况的检测信息中各异常状况类型对应的概率值，确定待检测摄像头对应的目标异常状况类型。

一种情况，上述基于第一数量确定待检测摄像头是否存在异常状况的过程，可以是：判断第一数量以及预设数量阈值的大小，若第一数量不小于预设数量阈值，则确定待检测摄像头存在异常状况；若第一数量小于预设数量阈值，则确定待检测摄像头不存在异常状况。

检测信息包括表征待检测摄像头存在各异常状况类型对应的概率值，和表征待检测摄像头不存在异常状况对应的概率值。一种情况，若表征待检测摄像头不存在异常状况对应的概率值小于预设概率阈值，则检测信息表征待检测摄像头存在异常状况；反之，若表征待检测摄像头不存在异常状况对应的概率值不小于预设概率阈值，则检测信息表征待检测摄像头不存在异常状况。

另一种情况，若表征待检测摄像头不存在异常状况对应的概率值，大于各表征待检测摄像头存在各异常状况类型对应的概率值，则检测信息表征待检测摄像头不存在异常状况；反之，若各表征待检测摄像头存在各异常状况类型对应的概率值中存在至少一个概率值，不小于表征待检测摄像头不存在异常状况对应的概率值，则检测信息表征待检测摄像头存在异常状况。

上述基于各表征待检测摄像头存在异常状况的检测信息中各异常状况类型对应的概率值，确定待检测摄像头对应的目标异常状况类型的过程，可以是：基于各表征待检测摄像头存在异常状况的检测信息中各异常状况类型对应的概率值，确定各待检测图像所表征的待检测摄像头存在的异常状况类型，例如：将所对应检测信息中概率值对应的异常状况类型，确定为待检测图像所表征的待检测摄像头存在的异常状况类型。进而，基于各待检测图像所表征待检测摄像头存在的异常状况类型，统计各异常状况类型对应的待检测图像的个数，将所对应待检测图像个数最多的异常状况类型，确定为待检测摄像头对应的目标异常状况类型。

在本发明的另一实施例中，如图2所示，所述方法还可以包括如下步骤S201-S205：

S201：获得正样本图像及其对应的标签信息以及负样本图像及其标签信息。

其中，正样本图像为表征所对应摄像头不存在异常状况的图像，负样本图像为表征所对应摄像头存在异常状况的图像。一种情况中，正样本图像以及负样本图像均可以是其所对应摄像头处于静止状态下所采集到的图像。另一种情况中，正样本图像以及负样本图像也可以是其所对应摄像头处于运动状态下所采集到的图像。

S202：利用预设数据增强算法以及正样本图像和/或负样本图像，确定目标负样本图像。

其中，目标负样本图像包括：负样本图像及对负样本图像进行变形后的图像，和/或，目标负样本图像包括：负样本图像及每一正样本图像进行风格转换或的图像。

S203：获得每一组预设超参数对应的初始的异常状况检测模型。

S204：针对每一组预设超参数，利用作为训练集的第一正样本图像及其标签信息、第一目标负样本图像及其标签信息，训练该初始的异常状况检测模型，直至该初始的异常状况检测模型达到预设收敛条件，确定该组预设超参数对应的中间异常状况检测模型。

其中，第一正样本图像为正样本图像中的部分图像，第一目标负样本图像为所述目标负样本图像中的部分图像。

S205：利用作为评测集的第二正样本图像及其标签信息、第二目标负样本图像及其标签信息，从所有中间异常状况检测模型中，确定出检测结果最优的中间异常状况检测模型，确定为当前的异常状况检测模型。

其中，第二正样本图像为正样本图像中的部分图像，第二目标负样本图像为目标负样本图像中的部分图像。

为了保证对摄像头异常状况检测结果的准确性，本发明实施例还提供了当前的异常状况检测模型的训练过程，具体的，电子设备可以首先获得正样本图像及其对应的标签信息以及负样本图像及其标签信息，其中，正样本图像或负样本图像对应的标签信息可以人工标定的，也可以是特征程序标定的。

电子设备获得正样本图像和负样本图像的过程，可以是：获得至少一个样本摄像头所采集的至少一组连续帧图像，并针对每一组连续帧图像，对该组连续帧图像中的每一图像进行标定，确定每一图像为正样本图像还是负样本图像，及其各自对应的标签信息。

至少一组连续帧图像可以包括：同一样本摄像头在不同时间段所采集的连续帧图像，也可以包括不同样本摄像头在同一时间段所采集的连续帧图像，这都是可以的。

利用预设数据增强算法对负样本图像和/或正样本图像进行数据增强，以增多负样本图像的数量，进而结合原始的负样本图像，确定目标负样本图像。一种情况中，该预设数据增强算法可以是相关技术中任一可以变换图像的风格，以增多负样本图像数量的算法。

一种情况，该预设数据增强算法可以是对负样本图像进行预设处理的算法，以通过负样本图像得到新的相关的负样本图像，预设处理可以包括但不限于：复制、色彩增强、尺度变换、随机图像插值、旋转平移以及噪声等。

另一种情况，预设数据增强算法可以是对正样本图像进行风格转换的模型，以通过对正样本图像的风格转换，得到负样本风格的新增样本图像。

后续的，电子设备获得初始的异常状况检测模型，该初始的异常状况检测模型包括单帧检测子模型和多帧判断子模型，其中，单帧检测子模型为卷积神经网络模型，多帧判断子模型包括预设判断逻辑，用于基于单帧检测子模型的输出，确定所对应摄像头是否存在异常状况。

其中，单帧检测子模型可以包括特征提取层以及特征分类层，一种情况中，特征提取层包括多个卷积块（block）可以对输入的图像进行卷积操作、池化操作以及降采样操作，以提取输入图像的图像特征，进而，将特征提取层所提取的输入图像的图像特征输入特征分类层，以通过特征分类层基于输入图像的图像特征，确定输入图像的检测结果，即表征所对应摄像头存在各异常状况类型对应的概率值，和表征所对应摄像头不存在异常状况对应的概率值。

在一种情况中，特征提取层的输入是448*448的三通道图像，即样本图像和待检测图像为尺寸为448*448的三通道图像，且可以特征提取层的输入可以是鱼眼摄像头拍出来的柱面图也可以是正常针眼摄像头拍出的正常图像。

将该448*448的三通道图像输入特征提取层后，首先利用为7*7的卷积核对三通道图像进行卷积操作，得到卷积结果，将卷积结果输入多个卷积块，其中，每个block内的操作包括：首先对输入内容进行卷积运算增加通道数，然后进行池化即降采样，得到该block的输出结果，即该block的下一个block的输入内容。经过多个卷积块的操作后获得128*7*7的特征数据；利用7*7的卷积核对该128*7*7的特征数据进行降采样，使该128*7*7的特征数据的维度降到1*N，其中，N表示异常状况类型的个数，得到特征提取层的输出结果，将该特征提取层的输出结果输入特征分类层，即后全连接层，得到该三通道图像的检测信息。

训练以及评测异常状况检测模型所需的训练数据即正样本图像和负样本图像的数量级可以是百万级别，在一定程度上，利用数据量越多的训练数据，训练所得的摄像头的异常状况检测模型的检测结果越准确。

预设超参数可以包括但不限于：学习率、 epoch以及批大小等参数。不同组预设超参数中，至少一个预设超参数对应的具体数值存在不同，即不同组预设超参数对应的初始的异常状况检测模型中至少一个预设超参数对应的具体数值存在不同，模型结构相同。一种情况中，学习率、epoch以及批大小均可以根据经验设置，例如：学习率可以设置为0.01、epoch可以设置为10、15或者20，批大小可以设置为100、150或者200等。

为了训练出检测结果更准确的异常状况检测模型，可以设置不同组预设超参数，其中，各组预设超参数对应一初始的异常状况检测模型。该初始的异常状况检测模型包括初始的单帧检测子模型和多帧判断子模型。预设超参数为初始的单帧检测子模型的超参数，在训练过程中，训练调整初始的单帧检测子模型的模型参数，以使得调整参数后的单帧检测子模型的检测结果更加准确，进而保证相应的异常状况检测结果的准确性。

电子设备可以首先针对正样本图像和目标负样本图像，进行划分，划分出作为训练集的正样本图像和目标负样本图像，和作为评测集的正样本图像和目标负样本图像，一种情况，还可以多划分出作为测试集的正样本图像和目标负样本图像。其中，同一组连续帧图像被分为同一数据集中，其中，数据集包括上述的训练集、测试集以及评测集。

针对每一组预设超参数，将作为训练集的第一正样本图像及其标签信息、第一目标负样本图像及其标签信息，以各组连续帧图像为单位，随机输入该组预设超参数对应的初始的单帧检测子模型，利用初始的单帧检测子模型的特征提取层，针对训练集中的每一样本图像进行特征提取，得到训练集中的每一样本图像的图像特征；并利用初始的单帧检测子模型的特征分类层，以及训练集中的每一样本图像的图像特征，确定训练集中的每一样本图像对应的第一检测信息。

针对训练集中每一组连续帧图像，将训练集中该组连续帧图像中各图像对应的当前检测信息，输入多帧判断子模型，利用多帧判断子模型，统计所对应当前检测信息为表征所对应摄像头存在异常状况的图像数量，作为第二数量；并基于第二数据确定所对应摄像头是否存在异常状况，得到训练集中该组连续帧图像的第二检测信息。

针对每一组预设超参数，利用训练集中的批大小数量对应的多组连续帧图像对应的第一检测信息和第二检测信息及其标签信息，使用交叉熵损失函数计算得到模型的当前损失值：利用计算后的当前损失值，调整该组预设超参数对应的初始的单帧检测子模型的特征提取层和特征分类层的模型参数，再返回将作为训练集的第一正样本图像及其标签信息、第一目标负样本图像及其标签信息，以各组连续帧图像为单位，随机输入该组预设超参数对应的初始的单帧检测子模型的步骤，不断迭代；以通过不断的迭代，使得后续计算的当前损失值越来越小；直至初始的异常状况检测模型达到预设收敛条件，确定该组预设超参数对应的中间异常状况检测模型。

一种情况，上述达到预设收敛条件可以是：迭代次数达到epoch对应的次数；若存在测试集，上述达到预设收敛条件可以是：迭代次数达到epoch对应的次数；且通过作为测试集的正样本图像和目标负样本图像，确定该训练得到的异常状况检测模型的准确性达到要求，即所计算的当前损失值小于预设阈值。

得到每一组预设超参数对应的中间异常状况检测模型之后，利用作为评测集的第二正样本图像及其标签信息、第二目标负样本图像及其标签信息，对各组预设超参数对应的中间异常状况检测模型进行评测；即针对每一中间异常状况检测模型，将作为评测集的第二正样本图像及其标签信息、第二目标负样本图像及其标签信息，以各组连续帧图像为单位，输入该中间异常状况检测模型，得到作为评测集的各样本图像对应的第三检测信息，并得到作为评测集的各组连续帧图像对应的第四检测信息，其中作为评测集的各组连续帧图像对应的第四检测信息是：基于该组连续帧图像中各样本图像对应的第三检测信息确定的。作为评测集的样本图像包括：第二正样本图像和第二目标负样本图像。

针对每一中间异常状况检测模型，基于该中间异常状况检测模型对应的作为评测集的各组连续帧图像对应的第三检测信息和第四检测信息，以及各组连续帧图像对应的标签信息，确定该中间异常状况检测模型的准确率和召回率；并绘制相应的pr（precision-recall，准确率-召回率）曲线。

基于各中间异常状况检测模型对应的pr曲线，确定出检测结果最优的中间异常状况检测模型，确定为当前的异常状况检测模型。一种情况为，基于各中间异常状况检测模型对应的pr曲线，确定对应相同召回率的情况下，所对应准确性高的中间异常状况检测模型为检测结果最优的中间异常状况检测模型。

其中，各组连续帧图像对应的第三检测信息包括：该组连续帧图像中各图像对应的第三检测信息，各组连续帧图像对应的标签信息包括该组连续帧图像中各图像对应的标签信息。

第一检测信息和第三检测信息包括：所对应图像是否表征其对应的摄像头存在异常状况的信息，即摄像头采集该图像时是否存在异常状况的信息；第二检测信息和第四检测信息包括：各组连续帧图像所对应摄像头在采集该组连续帧图像的时间段内是否存在异常状况的信息。

各样本图像对应的标签信息包括：标定的该样本图像是否表征其对应的摄像头存在异常状况的信息，以及该样本图像所属连续帧图像组所对应摄像头在采集该连续帧图像组的时间段内是否存在异常状况的信息，以及该样本图像表征其对应的摄像头存在异常状况的情况下，所对应摄像头的异常状态类型。该样本图像包括正样本图像以及负样本图像。

作为训练集的样本图像可以包含不同于作为评测集的样本图像的图像。

在本发明的另一实施例中，该预设数据增强算法为预先建立的数据增强模型，预先建立的数据增强模型为：基于已标注的指定正样本图像和指定负样本图像训练所得的网络模型，预先建立的数据增强模型用于对所输入图像进行数据增强；

所述S202，可以包括如下步骤：

将每一正样本图像输入预先建立的数据增强模型，得到每一正样本图像对应的新增样本图像。

将负样本图像以及每一正样本图像对应的新增样本图像，确定为目标负样本图像。

本实现方式中，指定正样本图像和指定负样本图像对应的采集场景，与正样本图像和负样本图像对应的采集场景相似，例如：正样本图像和负样本图像对应的采集场景为雨天场景，正样本图像为在雨天处于未挂水状态的摄像头采集的图像，负样本图像为在雨天处于挂水状态的摄像头采集的图像；相应的，指定正样本图像和指定负样本图像对应的采集场景为雨天，指定正样本图像在雨天处于未挂水状态的摄像头采集的图像，指定负样本图像为在雨天处于挂水状态的摄像头采集的图像。

又例如：正样本图像和负样本图像对应的采集场景为晴天，正样本图像为在雨天处于未挂水状态的摄像头采集的图像，负样本图像为在雨天处于挂水状态的摄像头采集的图像；相应的，指定正样本图像和指定负样本图像对应的采集场景为雨天，指定正样本图像在晴天无污渍的摄像头采集的图像，指定负样本图像为在晴天有污渍的摄像头采集的图像。等等。

一种情况中，该预先建立的数据增强模型为CycleGAN（循环-生成对抗网络）模型，其包括第一生成器、第一判别器、第二生成器及第二判别器；在训练预先建立的数据增强模型的过程中，首先获得初始的数据增强模型；将指定正样本图像及其对应的标定信息，随机输入初始的数据增强模型的第一生成器，得到负样本风格的假负样本图像；利用第二判别器确定假负样本图像是否为所学习的负样本风格，并输出相应的真假分数；将指定负样本图像及其对应的标定信息，随机输入初始的数据增强模型的第二生成器，得到正样本风格的假正样本图像；利用第一判别器确定假正样本图像是否为所学习的正样本风格，并输出相应的真假分数。

利用指定正样本图像及其对应的标定信息和假负样本图像对应的真假分数，以及负样本图像及其对应的标定信息和假正样本图像对应的真假分数，确定该初始的数据增强模型的当前损失值；利用该当前损失值，调整第一生成器、第一判别器、第二生成器以及第二判别器的参数，返回将指定正样本图像及其对应的标定信息，随机输入初始的数据增强模型的第一生成器，得到负样本风格的假负样本图像的步骤。直至迭代次数达到预设次数，得到预先建立的数据增强模型。

上述计算损失值的过程所利用的损失函数包括：生成器损失函数即第一生成器损失函数

其中，

其中，n表示计算损失值的样本图像的个数，

后续的，将每一正样本图像输入第一生成器，得到负样本风格的新增样本图像。后续的，为各正样本图像对应的新增样本图像添加表征其为摄像头处于异常状态下采集的图像的标签，即标定各正样本图像对应的新增样本图像为负样本图像。

在本发明的另一实施例中，为了提高待检测摄像头所在对象例如自动驾驶车辆的安全性，所述方法还可以包括：

在确定待检测摄像头出现异常状况的情况下，输出异常报警信息。

其中，异常报警信息可以是声音报警信息或者文字报警信息或者光亮变化报警信息等可以引起用户注意的信息，这都是可以的。

在本发明的另一实施例中，所述方法还可以包括：

在确定待检测摄像头对应的状况检测结果准确的情况下，基于待检测图像及其对应的状况检测结果，更新当前的异常状况检测模型。

为了保证摄像头异常状况检测结果的准确性，需要定时或不定时的更新当前的异常状况检测模型。本实施方式中，在确定待检测摄像头对应的状况检测结果准确的情况下，利用待检测图像及其对应的状况检测结果，更新当前的异常状况检测模型。或者，在确定待检测摄像头对应的状况检测结果准确，并且确定所累积的历史检测图像及其对应的状况检测结果的数量达到预设阈值的情况下，利用历史检测图像及其对应的状况检测结果，待检测图像及其对应的状况检测结果，更新当前的异常状况检测模型。

其中历史检测图像可以是该待检测摄像头或其他摄像头所采集的图像，历史检测图像对应的状况检测结果可以是基于该当前的异常状况检测模型或其他的用于检测摄像头是否出现异常状况的算法所确定的结果，这都是可以的。

在一种实现中，可以是利用待检测图像及其对应的状况检测结果，优化当前的异常状况检测模型的模型参数，得到优化后的异常状况检测模型；并利用第三正样本图像及其标签信息、第三负样本图像及其标签信息，验证优化后的异常状况检测模型和当前的异常状况检测模型在相同召回率的情况下，准确率的大小；若在相同召回率的情况下，优化后的异常状况检测模型的准确率，不小于当前的异常状况检测模型的检测结果的准确率，则将优化后的异常状况检测模型作为新的当前的异常状况检测模型，用于后续的摄像头异常状况的检测；若在相同召回率的情况下，优化后的异常状况检测模型的准确率，小于当前的异常状况检测模型的召回率，则继续利用当前的异常状况检测模型，进行后续的摄像头异常状况的检测。

其中，第三正样本图像可以包括正样本图像中的部分图像，也可以包括所获得的其他表征所对应摄像头不存在异常状况的图像；第三负样本图像可以包括负样本图像中的部分图像，也可以包括所获得的其他表征所对应摄像头存在异常状况的图像。

在另一种实现中，可以是利用待检测图像及其对应的状况检测结果，优化当前的异常状况检测模型的模型参数，得到优化后的异常状况检测模型，并利用待检测图像及其对应的状况检测结果，优化其他组预设超参数对应的中间异常状况检测模型，得到其他优化后的异常状况检测模型。进而，利用第三正样本图像及其标签信息、第三负样本图像及其标签信息，验证优化后的异常状况检测模型、当前的异常状况检测模型，以及其他优化后的异常状况检测模型在相同召回率的情况下，准确率的大小；将其中在相同召回率的情况下，准确率的最大的异常状况检测模型，作为新的当前的异常状况检测模型。

相应于上述方法实施例，本发明实施例提供了一种对摄像头异常状况的检测装置，如图3所示，所述装置可以包括：

第一获得模块310，被配置为获得处于静止状态下的待检测摄像头所拍摄的图像，作为待检测图像；

第一确定模块320，被配置为利用当前的异常状况检测模型以及所述待检测图像，确定所述待检测摄像头对应的状况检测结果，其中，所述状况检测结果包括：所述待检测摄像头是否存在异常状况的结果和/或所存在异常状况的类型，所述当前的异常状况检测模型为：基于表征所对应摄像头不存在异常状况的正样本图像和表征所对应摄像头存在异常状况的负样本图像训练所得模型。

应用本发明实施例，可以直接利用当前的异常状况检测模型以及待检测图像确定出待检测摄像头对应的状况检测结果，可实现直接利用待检测摄像头处于静止状态时所采集的待检测图像，确定出待检测摄像头对应的状况检测结果，在一定程度上扩充了对待检测摄像头的异常状况的检测场景。并且可在待检测摄像头静止状态下对其进行异常状况检测，符合自动驾驶车辆或机器人行前检测的用户体验逻辑，且有利于提升待检测摄像头所在对象的行驶安全性。并且，模型利于部署，易于扩展到多个异常场景。

在本发明的另一实施例中，所述异常状况类型包括如下类型中的至少一种：沾水、污渍、黑屏以及过曝。

在本发明的另一实施例中，所述当前的异常状况检测模型包括单帧检测子模型和多帧判断子模型；所述待检测图像为连续帧图像；

所述第一确定模块320，被具体配置为针对每一待检测图像，将该待检测图像输入所述单帧检测子模型，确定该待检测图像对应的检测信息，其中，所述检测信息包括：表征待检测摄像头存在各异常状况类型对应的概率值，和表征待检测摄像头不存在异常状况对应的概率值；

将每一待检测图像对应的检测信息输入所述多帧判断子模型，统计所对应检测信息为表征待检测摄像头存在异常状况的待检测图像的数量，作为第一数量；基于所述第一数量确定所述待检测摄像头是否存在异常状况，并在确定所述待检测摄像头存在异常状况的情况下，基于各表征待检测摄像头存在异常状况的检测信息中各异常状况类型对应的概率值，确定所述待检测摄像头对应的目标异常状况类型，以得到所述待检测摄像头对应的状况检测结果。

在本发明的另一实施例中，所述装置还包括：

第二获得模块（图中未示出），被配置为在所述利用当前的异常状况检测模型以及所述待检测图像，确定所述待检测摄像头对应的状况检测结果之前，获得正样本图像及其对应的标签信息以及负样本图像及其标签信息，其中，所述正样本图像为表征所对应摄像头不存在异常状况的图像，所述负样本图像为表征所对应摄像头存在异常状况的图像；

第二确定模块（图中未示出），被配置为利用预设数据增强算法以及所述正样本图像和/或所述负样本图像，确定目标负样本图像，其中，所述目标负样本图像包括：所述负样本图像及对所述负样本图像进行变形后的图像，和/或，所述目标负样本图像包括：所述负样本图像及每一正样本图像进行风格转换后的图像；

第三获得模块（图中未示出），被配置为获得每一组预设超参数对应的初始的异常状况检测模型；

训练模块（图中未示出），被配置为针对每一组预设超参数，利用作为训练集的第一正样本图像及其标签信息、第一目标负样本图像及其标签信息，训练该初始的异常状况检测模型，直至该初始的异常状况检测模型达到预设收敛条件，确定该组预设超参数对应的中间异常状况检测模型，其中，所述第一正样本图像为所述正样本图像中的部分图像，所述第一目标负样本图像为所述目标负样本图像中的部分图像；

第三确定模块（图中未示出），被配置为利用作为评测集的第二正样本图像及其标签信息、第二目标负样本图像及其标签信息，从所有中间异常状况检测模型中，确定出检测结果最优的中间异常状况检测模型，确定为当前的异常状况检测模型，其中，所述第二正样本图像为所述正样本图像中的部分图像，所述第二目标负样本图像为所述目标负样本图像中的部分图像。

在本发明的另一实施例中，所述预设数据增强算法为预先建立的数据增强模型，所述预先建立的数据增强模型为：基于已标注的指定正样本图像和指定负样本图像训练所得的网络模型，所述预先建立的数据增强模型用于对所输入图像进行数据增强；

所述第二确定模块（图中未示出），被具体配置为

将每一正样本图像输入所述预先建立的数据增强模型，得到每一正样本图像对应的新增样本图像；

将所述负样本图像以及每一正样本图像对应的新增样本图像，确定为目标负样本图像。

在本发明的另一实施例中，所述装置还包括：

输出模块（图中未示出），被配置为在确定所述待检测摄像头出现异常状况的情况下，输出异常报警信息。

在本发明的另一实施例中，所述装置还包括：

更新模块（图中未示出），被配置为在确定所述待检测摄像头对应的状况检测结果准确的情况下，基于所述待检测图像及其对应的状况检测结果，更新所述当前的异常状况检测模型

上述系统、装置实施例与系统实施例相对应，与该方法实施例具有同样的技术效果，具体说明参见方法实施例。装置实施例是基于方法实施例得到的，具体的说明可以参见方法实施例部分，此处不再赘述。本领域普通技术人员可以理解：附图只是一个实施例的示意图，附图中的模块或流程并不一定是实施本发明所必须的。

本领域普通技术人员可以理解：实施例中的装置中的模块可以按照实施例描述分布于实施例的装置中，也可以进行相应变化位于不同于本实施例的一个或多个装置中。上述实施例的模块可以合并为一个模块，也可以进一步拆分成多个子模块。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。