一种图像检测方法、系统、车辆及计算机可读存储介质

技术领域

本申请涉及车辆自动驾驶技术领域，尤其涉及一种图像检测方法、系统、车辆及计算机可读存储介质。

背景技术

近些年来，随着信息化和人工智能技术的发展，自动驾驶技术的发展势头强劲，并呈现实用化的趋势。自动驾驶技术一般包含感知、决策、控制等几个方面，而在感知中，视觉感知是其中极其关键的一环，视觉感知精度的高低直接决定最终感知结果的好坏，从而对自动驾驶的安全性能有重要影响。

目前，自动驾驶技术的视觉感知所用的算法一般核心为深度学习神经网络算法，所用的感知器件为多个车载相机，分布在车辆的四周。相机将采集到的图像输入神经网络，进行检测、分类和分割，提取出后续处理所需要的信息，并且由于车辆大部分时间都是前向行驶，所以相比于其他方向的感知，视觉感知中最重要的是车前视感知。

但目前的自动驾驶技术的视觉感知模块大部分使用普通可见光相机作为采集器件，采集到的图像也为可见光图像，则在阴天、夜晚等情况下，光线较暗，关键特征不清晰，而神经网络也使用可见光图像数据进行训练，但对于光线较差、特征不清晰的图像数据集，训练效果差，在光线较差时容易出现漏检测或误检测，从而影响自动驾驶的安全性。

因此，现有技术还有待于改进和发展。

发明内容

本申请的主要目的在于提供一种图像检测方法、系统、车辆及计算机可读存储介质，旨在解决现有技术中自动驾驶技术的视觉感知功能局限于环境光线充足的情况，对于环境光线差的情况下对路面上的所有情况检测不准确，检测精度低的技术问题。

本申请第一方面实施例提供一种图像检测方法，包括以下步骤：获取可见光相机采集的当前可见光图像，根据所述当前可见光图像得到当前亮度情况；若所述当前亮度情况为低亮度情况，获取红外相机采集的红外图像，对所述当前可见光图像和所述红外图像进行检测，得到可见光检测图像和红外检测图像；对所述可见光检测图像和所述红外检测图像进行融合处理，得到最终检测图像。

根据上述技术手段，本申请实施例可以根据当前可见光图像获得当前亮度情况，在当前亮度情况为低亮度情况的时候获取红外图像，并对当前可见光图像和红外图像进行检测，将两个检测图像进行融合处理，从而得到最终检测图像，由于红外图像不受光照条件的限制，融合红外图像的检测图像减少了低亮度环境下对可见光图像的依赖，降低了噪声和光照变化的干扰，提高了抗干扰能力，使得在低亮度环境下也能够很好地对路面上的所有情况进行检测，提高了检测精度的同时还减少了误检和漏检的情况发生，从而提高了对路面上的所有情况进行检测的可靠性和鲁棒性。

可选地，在本申请的一个实施例中，所述根据所述当前可见光图像得到当前亮度情况，具体包括：将当前可见光图像输入经过训练的亮度识别模型；通过所述亮度识别模型确定所述当前可见光图像对应的当前亮度情况，其中，所述当前亮度情况包括低亮度情况或者高亮度情况。

根据上述技术手段，本申请实施例可以通过预先训练好的神经网络模型，也就是所述亮度识别模型来对所述当前可见光图像对应的当前亮度情况进行判断，无需人工干预，提高了效率并减少了人力成本，并且由于训练过的神经网络模型是经过多次验证和测试的，具有更强的可靠性，对当前亮度情况的判断能够更加准确，便于后续根据当前亮度情况的分析和处理。

可选地，在本申请的一个实施例中，所述根据所述当前可见光图像得到当前亮度情况，具体包括：将所述当前可见光图像转换为灰度图像，获取所述灰度图像中每个像素的灰度值；根据所有所述灰度值计算所述灰度图像的平均灰度值；将所述平均灰度值与预设亮度阈值进行对比；若所述平均灰度值小于所述预设亮度阈值，则判定所述当前亮度情况为低亮度情况；若所述平均灰度值大于或等于所述预设亮度阈值，则判定所述当前亮度情况为高亮度情况。

根据上述技术手段，本申请实施例可以将当前可见光图像转换为灰度图像，并计算出灰度图像的平均灰度值，根据平均灰度值来和预设亮度阈值对比来判断所述当前可见光图像对应的当前亮度情况，从而可以直观地判断当前可见光图像对应的当前亮度情况是高亮度情况还是低亮度情况，使得对当前亮度情况的判断过程简单且快速，减少了计算量，降低了系统负担，并且使得对当前亮度情况的判断具有实时性，便于后续及时做出相应的处理。

可选地，在本申请的一个实施例中，所述根据所述当前可见光图像得到当前亮度情况，之后还包括：若所述当前亮度情况为高亮度情况，则直接根据经过训练的可见光检测模型对所述当前可见光图像进行检测，获得当前可见光检测图像，并将所述当前可见光检测图像作为最终检测图像。

根据上述技术手段，本申请实施例可以在高亮度的情况下直接对可见光图像进行检测，因为高亮度情况下可见光图像的细节和清晰度高，足以提供准确的图像信息，不需要再进行额外的检测步骤，减少了在高亮度情况下进行图像检测的复杂性和成本，节省了处理时间，提高对图像检测的实时性。

可选地，在本申请的一个实施例中，所述若所述当前亮度情况为低亮度情况，获取红外相机采集的红外图像，对所述当前可见光图像和所述红外图像进行检测，得到可见光检测图像和红外检测图像，具体包括：若所述当前亮度情况为低亮度情况，启动所述红外相机，接收所述红外相机发送的红外图像；将所述当前可见光图像输入经过训练的可见光检测模型，得到所述可见光检测图像；将所述红外图像输入经过训练的红外检测模型，得到所述红外检测图像。

根据上述技术手段，本申请实施例可以在低亮度的情况下通过红外相机接收红外图像，然后根据预先训练好的可见光检测模型和红外检测模型分别对当前可见光图像和红外图像进行检测，获得可见光检测图像和红外检测图像，从而能够在低亮度的情况下使用红外图像补充当前可见光图像中缺乏的细节和清晰度，并且可见光检测模型和红外检测模型是同步进行检测的，缩短了图像检测的时间，提高了对路面上的所有情况进行检测的效率。

可选地，在本申请的一个实施例中，所述若所述当前亮度情况为低亮度情况，启动所述红外相机，接收所述红外相机发送的红外图像，之后还包括：接收所述可见光相机发送的后续可见光图像，其中，所述后续可见光图像的时间信息晚于所述当前可见光图像的时间信息；根据所述后续可见光图像获取后续亮度情况；若所述后续亮度情况为高亮度情况，则关闭所述红外相机。

根据上述技术手段，本申请实施例可以在低亮度情况且红外相机已经启动的情况下，继续按照预设时间对后续接收到的可见光图像进行检测，判断后续可见光图像对应的后续亮度情况，如果后续亮度情况是高亮度情况的话，那么证明当前环境亮度已从低亮度情况转换到高亮度情况，也就是在低亮度情况转换到高亮度情况时会相应地将红外相机关闭，从而减少了能源消耗，节约了资源，并且简化了图像检测的步骤，不再需要同时处理可见光图像和红外图像，从而提高了图像检测的检测效率，节省了计算资源。

可选地，在本申请的一个实施例中，所述对所述可见光检测图像和所述红外检测图像进行融合处理，得到最终检测图像，具体包括：获取所述可见光检测图像中的所有可见光检测框和所述红外检测图像中的所有红外检测框；将所述可见光检测图像叠加在所述红外检测图像上，计算任意一个可见光检测框的中心点和任意一个红外检测框中心点之间的距离；若所述距离小于预设距离，则判断所述可见光检测框和所述红外检测框的类别信息是否相同；若所述可见光检测框和所述红外检测框的类别信息相同，则将所述可见光检测框和所述红外检测框进行加权融合，直至对所有可见光检测框和所有红外检测框完成融合，得到所述最终检测图像。

根据上述技术手段，本申请实施例可以将可见光检测图像和红外检测图像进行融合和处理，在处理的过程中采用了计算两个检测图像上检测框之间的距离，距离小于预设距离且检测框的类别信息相同时将检测框进行融合，当两个图像的检测框距离相近且类型相同时，能更可靠地确认检测框检测到的物体的存在，减少误检和漏检的情况，从而获取了更全面、更准确的最终检测结果，弥补了两个图像单独进行检测的局限性，提高了对路面上的所有情况进行检测的准确性，增强了对不同环境和场景的适应能力，融合后的检测框也能更好地解释物体的轮廓和形状，提供更具细节的信息，实现了既实时又准确最终检测图像的输出。

本申请第二方面实施例提供一种图像检测系统，所述图像检测系统包括：当前亮度获取模块，用于获取可见光相机采集的当前可见光图像，根据所述当前可见光图像得到当前亮度情况；图像检测算法模块，用于若所述当前亮度情况为低亮度情况，获取红外相机采集的红外图像，对所述当前可见光图像和所述红外图像进行检测，得到可见光检测图像和红外检测图像；检测结果处理模块，用于对所述可见光检测图像和所述红外检测图像进行融合处理，得到最终检测图像。

可选地，在本申请的一个实施例中，所述当前亮度获取模块包括：可见光图像输入单元，用于将当前可见光图像输入经过训练的亮度识别模型；亮度识别模型单元，用于通过所述亮度识别模型确定所述当前可见光图像对应的当前亮度情况，其中，所述当前亮度情况包括低亮度情况或者高亮度情况。

可选地，在本申请的一个实施例中，所述当前亮度获取模块还包括：灰度值获取单元，用于将所述当前可见光图像转换为灰度图像，获取所述灰度图像中每个像素的灰度值；灰度平均计算单元，用于根据所有所述灰度值计算所述灰度图像的平均灰度值；亮度判定单元，用于将所述平均灰度值与预设亮度阈值进行对比；第一判定单元，用于若所述平均灰度值小于所述预设亮度阈值，则判定所述当前亮度情况为低亮度情况；第二判定单元，用于若所述平均灰度值大于或等于所述预设亮度阈值，则判定所述当前亮度情况为高亮度情况。

可选地，在本申请的一个实施例中，所述图像检测算法模块包括：红外图像获取单元，用于若所述当前亮度情况为低亮度情况，启动所述红外相机，接收所述红外相机发送的红外图像；可见光检测模型单元，用于将所述当前可见光图像输入经过训练的可见光检测模型，得到所述可见光检测图像；红外检测模型单元，用于将所述红外图像输入经过训练的红外检测模型，得到所述红外检测图像。

可选地，在本申请的一个实施例中，所述检测结果处理模块包括：检测框获取单元，用于获取所述可见光检测图像中的所有可见光检测框和所述红外检测图像中的所有红外检测框；检测框距离计算单元，用于将所述可见光检测图像叠加在所述红外检测图像上，计算任意一个可见光检测框的中心点和任意一个红外检测框中心点之间的距离；检测框判断单元，用于若所述距离小于预设距离，则判断所述可见光检测框和所述红外检测框的类别信息是否相同；融合模型单元，用于若所述可见光检测框和所述红外检测框的类别信息相同，则将所述可见光检测框和所述红外检测框进行加权融合，直至对所有可见光检测框和所有红外检测框完成融合，得到所述最终检测图像。

可选地，在本申请的一个实施例中，本申请实施例的系统还包括：高亮度判定单元，用于若所述当前亮度情况为高亮度情况，则直接根据经过训练的可见光检测模型对所述当前可见光图像进行检测，获得当前可见光检测图像，并将所述当前可见光检测图像作为最终检测图像。

可选地，在本申请的一个实施例中，本申请实施例的系统还包括：后续可见光图像获取单元，用于接收所述可见光相机发送的后续可见光图像，其中，所述后续可见光图像的时间信息晚于所述当前可见光图像的时间信息；后续亮度获取单元，用于根据所述后续可见光图像获取后续亮度情况；红外相机关闭单元，用于若所述后续亮度情况为高亮度情况，则关闭所述红外相机。

本申请第三方面实施例提供一种车辆，所述车辆包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像检测程序，所述图像检测程序被所述处理器执行时实现如上述实施例所述的图像检测方法的步骤。

本申请第四方面实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有图像检测程序，所述图像检测程序被处理器执行时实现如上述实施例所述的图像检测方法的步骤。

本申请的有益效果：

（1）本申请实施例可以通过预先训练好的神经网络模型，也就是所述亮度识别模型来对所述当前可见光图像对应的当前亮度情况进行判断，无需人工干预，提高了效率并减少了人力成本，并且由于训练过的神经网络模型是经过多次验证和测试的，具有更强的可靠性，对当前亮度情况的判断能够更加准确，便于后续根据当前亮度情况的分析和处理。

（2）本申请实施例也可以将当前可见光图像转换为灰度图像，并计算出灰度图像的平均灰度值，根据平均灰度值来和预设亮度阈值对比来判断所述当前可见光图像对应的当前亮度情况，从而可以直观地判断当前可见光图像对应的当前亮度情况是高亮度情况还是低亮度情况，使得对当前亮度情况的判断过程简单且快速，减少了计算量，降低了系统负担，并且使得对当前亮度情况的判断具有实时性，便于后续及时做出相应的处理。

（3）本申请实施例可以在低亮度的情况下通过红外相机接收红外图像，然后根据预先训练好的可见光检测模型和红外检测模型分别对当前可见光图像和红外图像进行检测，获得可见光检测图像和红外检测图像，从而能够在低亮度的情况下使用红外图像补充当前可见光图像中缺乏的细节和清晰度，并且可见光检测模型和红外检测模型是同步进行检测的，缩短了图像检测的时间，提高了对路面上的所有情况进行检测的效率；并且可以在低亮度情况且红外相机已经启动的情况下，继续按照预设时间对后续接收到的可见光图像进行检测，判断后续可见光图像对应的后续亮度情况，如果后续亮度情况是高亮度情况的话，那么证明当前环境亮度已从低亮度情况转换到高亮度情况，也就是在低亮度情况转换到高亮度情况时会相应地将红外相机关闭，从而减少了能源消耗，节约了资源，并且简化了图像检测的步骤，不再需要同时处理可见光图像和红外图像，从而提高了图像检测的检测效率，节省了计算资源。

（4）本申请实施例可以将可见光检测图像和红外检测图像进行融合和处理，在处理的过程中采用了计算两个检测图像上检测框之间的距离，距离小于预设距离且检测框的类别信息相同时将检测框进行融合，当两个图像的检测框距离相近且类型相同时，能更可靠地确认检测框检测到的物体的存在，减少误检和漏检的情况，从而获取了更全面、更准确的最终检测结果，弥补了两个图像单独进行检测的局限性，提高了对路面上的所有情况进行检测的准确性，增强了对不同环境和场景的适应能力，融合后的检测框也能更好地解释物体的轮廓和形状，提供更具细节的信息，实现了既实时又准确的最终检测图像的输出。

（5）本申请实施例可以根据当前可见光图像获得当前亮度情况，在当前亮度情况为低亮度情况的时候获取红外图像，并对当前可见光图像和红外图像进行检测，将两个检测图像进行融合处理，从而得到最终检测图像，由于红外图像不受光照条件的限制，融合红外图像的检测图像减少了低亮度环境下对可见光图像的依赖，降低了噪声和光照变化的干扰，提高了抗干扰能力，使得在低亮度环境下也能够很好地对路面上的所有情况进行检测，提高了检测精度的同时还减少了误检和漏检的情况发生，从而提高了对路面上的所有情况进行检测的可靠性和鲁棒性。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请图像检测方法的较佳实施例的流程图；

图2是本申请图像检测方法的较佳实施例中整个执行过程的具体实施步骤流程示意图；

图3是本申请图像检测系统的较佳实施例的结构示意图；

图4为本申请车辆的较佳实施例的结构示意图。

其中，10-图像检测系统；100-当前亮度获取模块、200-图像检测算法模块和300-检测结果处理模块；501-存储器、502-处理器和503-通信接口。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。

下面参考附图描述本申请实施例的图像检测方法、系统、车辆及计算机可读存储介质。针对上述背景技术中提到的现有技术中自动驾驶技术的视觉感知功能局限于环境光线充足的情况，对于环境光线差的情况下对路面上的所有情况检测不准确，检测精度低的技术问题，本申请提供了一种图像检测方法，在该方法中，可以根据当前可见光图像获得当前亮度情况，在当前亮度情况为低亮度情况的时候获取红外图像，并对当前可见光图像和红外图像进行检测，将两个检测图像进行融合处理，从而得到最终检测图像，由于红外图像不受光照条件的限制，融合红外图像的检测图像减少了低亮度环境下对可见光图像的依赖，降低了噪声和光照变化的干扰，提高了抗干扰能力，使得在低亮度环境下也能够很好地对路面上的所有情况进行检测，提高了检测精度的同时还减少了误检和漏检的情况发生，从而提高了对路面上的所有情况进行检测的可靠性和鲁棒性。由此，解决了现有技术中自动驾驶技术的视觉感知功能局限于环境光线充足的情况，对于环境光线差的情况下对路面上的所有情况检测不准确，检测精度低的技术问题。

具体而言，图1为本申请实施例所提供的一种图像检测方法的流程示意图。

如图1所示，该图像检测方法包括以下步骤：

在步骤S101中，获取可见光相机采集的当前可见光图像，根据所述当前可见光图像得到当前亮度情况。

可以理解的是，在本申请实施例中，会一直接收可见光相机发送的当前可见光图像（可见光相机至少为一个，也可以为多个，当前可见光图像指的是最新接收到的可见光图像），然后每隔预设时间（例如5秒）对当前可见光图像进行亮度检测（例如，将当前可见光图像输入进亮度识别模型，获取所述亮度识别模型输出的亮度判断类别），从而获取到可见光相机在拍摄所述当前可见光图像时的亮度情况，也就是当前亮度情况。

也就是说，本申请可以根据当前可见光图像获取对应的当前亮度情况，从而实时地对当前环境的亮度情况进行判断，并根据当前亮度情况进行相应的调整和处理，每预设时间才对可见光图像进行亮度检测，减少了计算资源的使用，降低计算负载，提高了效率和响应速度，并且连续实时的亮度检测可能会受到瞬时光照变化的干扰，所以每隔预设时间才进行亮度检测可以降低瞬时光照变化对当前亮度检测的影响，减少误判和不必要的调整，提升了对当前亮度情况判断的稳定性和可靠性。

进一步地，本申请的车辆在获取到可见光相机发送的当前可见光图像后，会将所述当前可见光图像输入到预先训练完成的亮度识别模型，所述亮度识别模型在对所述当前可见光图像进行分析，输出一个亮度判断类别，并将所述亮度判断类别作为当前亮度情况，其中，所述当前亮度情况包括高亮度情况或者低亮度情况。

需要说明的是，所述亮度识别模型实际上为一个深度学习判别网络，使用分类完成的训练数据进行训练，其中，所述训练数据为行车场景的数据集，训练数据由模型训练人员采用人工标注的方式判别为高亮度情况的行车场景和低亮度情况的行车场景，再将所述训练数据输入进深度学习判别网络进行训练。

也就是说，本申请实施例可以通过预先训练好的神经网络模型，也就是所述亮度识别模型来对所述当前可见光图像对应的当前亮度情况进行判断，无需人工干预，提高了效率并减少了人力成本，并且由于训练过的神经网络模型是经过多次验证和测试的，具有更强的可靠性，对当前亮度情况的判断能够更加准确，便于后续根据当前亮度情况的分析和处理。

进一步地，本申请的车辆在获取到可见光相机发送的当前可见光图像后，也可以将所述当前可见光图像输入到车辆上搭载了灰度识别算法的嵌入式设备（例如边缘计算设备）中，也可以将当前可见光图像从彩色图像转换成灰度图像，然后再遍历所述灰度图像上每个像素点，获得每个像素点的灰度值，再对所有所述灰度值进行加和，获得灰度值总和，将所述灰度值总和除以像素点的数量，计算得出所述灰度图像的平均灰度值，最后再将所述平均灰度值和预设亮度阈值（预设亮度阈值为通过多个可见光图像的数据集，使用人工标注的方法将可见光图像判别分为高亮度和低亮度两种情况，然后对高亮度可见光图像和低亮度可见光图像进行统计分析得出的亮度阈值）进行对比，如果所述平均灰度值小于所述预设亮度阈值，那么证明所述当前可见光图像在拍摄时的环境亮度不够明亮，也就是判定当前亮度情况为低亮度情况，如果所述平均亮度值大于或等于所述预设亮度阈值，那么证明所述当前可见光图像在拍摄时的环境亮度足够明亮，判定当前亮度情况为高亮度情况。

也就是说，本申请可以将当前可见光图像转换为灰度图像，并计算出灰度图像的平均灰度值，根据平均灰度值来和预设亮度阈值对比来判断所述当前可见光图像对应的当前亮度情况，从而可以直观地判断当前可见光图像对应的当前亮度情况是高亮度情况还是低亮度情况，使得对当前亮度情况的判断过程简单且快速，减少了计算量，降低了系统负担，并且使得对当前亮度情况的判断具有实时性，便于后续及时做出相应的处理。

需要说明的是，本申请的车辆在判断当前可见光图像对应的当前亮度情况为高亮度情况时，证明所述当前可见光图像没有因为亮度原因而显示不清晰，所以会直接通过训练完成的可见光检测模型对所述当前可见光图像进行检测，得到对当前可见光图像对应的当前可见光检测图像，然后直接将当前可见光检测图像作为最终检测图像。

也就是说，本申请可以在高亮度的情况下直接对可见光图像进行检测，因为高亮度情况下可见光图像的细节和清晰度高，足以提供准确的图像信息，不需要再进行额外的检测步骤，减少了在高亮度情况下进行图像检测的复杂性和成本，节省了处理时间，提高对图像检测的实时性。

在步骤S102中，若所述当前亮度情况为低亮度情况，获取红外相机采集的红外图像，对所述当前可见光图像和所述红外图像进行检测，得到可见光检测图像和红外检测图像。

可以理解的是，本申请的车辆在判断当前可见光图像对应的当前亮度情况为低亮度情况时，会自行启动红外相机，通过红外相机拍摄与所述当前可见光图像对应的红外图像，然后再将所述当前可见光图像输入到车辆上搭载了可见光检测模型的嵌入式设备（例如边缘计算设备）中，将所述红外图像输入搭载了红外检测模型的嵌入式设备中，然后车辆再接收所述可见光检测模型输出的可见光检测图像和所述红外检测模型输出的红外检测图像（所述可见光检测图像和所述红外检测图像实际上为在当前可见光图像和红外检测图像上将识别的物体用检测框框住，并对每个检测框划分检测的类别信息等）。

需要说明的是，所述可见光检测模型和所述红外检测模型的核心实际上为单个或者多个训练好的神经网络模型，可以对应为单步检测模式和多步检测模式，用户在使用本申请的图像检测算法的时候，可以根据实际的使用需要进行模式的切换。如果是单步检测模式下的可见光检测模型/红外检测模型，车辆会直接将可见光图像/红外图像输入进预先训练好的多任务网络（也就是单个深度学习网络模型具有多个检测头，可以对多个物体类别进行检测和分割）进行检测，在可见光图像/红外检测图像上对检测到的物体用检测框框住，输出可见光检测图像/红外检测图像；如果是多步检测模式下的可见光检测模型/红外检测模型，会先将可见光图像/红外图像输入到所述多任务网络中，通过多任务网络中的多个检测头得到各类型的粗检测图像（例如不够准确的检测框、类别信息和分割图等），然后再将所有不同类型的粗检测结果输入到对应的精检测网络中（也就是一个类别信息的粗检测结果对应一个类别信息的精检测网络），所述精检测网络再输出精检测输出（也就是将粗检测结果进行精确处理，得到更加精确的检测框、类别信息和分割图等）。实际上可见光图像检测模型和红外图像检测模型的区别主要在于训练数据的不同，前者使用可见光图像进行训练，后者使用红外图像进行训练。

也就是说，本申请可以在低亮度的情况下通过红外相机接收红外图像，然后根据预先训练好的可见光检测模型和红外检测模型分别对当前可见光图像和红外图像进行检测，获得可见光检测图像和红外检测图像，从而能够在低亮度的情况下使用红外图像补充当前可见光图像中缺乏的细节和清晰度，并且可见光检测模型和红外检测模型是同步进行检测的，缩短了图像检测的时间，提高了对路面上的所有情况进行检测的效率。

需要说明的是，本申请的车辆在低亮度情况下开启红外相机，在红外相机不断拍摄红外图像的过程中，可见光相机也会不断地拍摄后续可见光图像（后续可见光图像的时间信息晚于当前可见光图像，也就是最新的可见光图像），然后同样地每隔预设时间对所述后续可见光图像进行亮度检测，将后续可见光图像输入到亮度识别模型或灰度识别算法中，接收输出的后续亮度情况，如果后续亮度情况为高亮度情况的话，也就是环境亮度已经从低亮度情况转换到高亮度情况了，可见光图像的清晰度已足以进行图像检测，无需再使用红外图像进行辅助检测，所以会关闭所述红外相机，保留可见光相机的运行。

也就是说，本申请可以在低亮度情况且红外相机已经启动的情况下，继续按照预设时间对后续接收到的可见光图像进行检测，判断后续可见光图像对应的后续亮度情况，如果后续亮度情况是高亮度情况的话，那么证明当前环境亮度已从低亮度情况转换到高亮度情况，也就是在低亮度情况转换到高亮度情况时会相应地将红外相机关闭，从而减少了能源消耗，节约了资源，并且简化了图像检测的步骤，不再需要同时处理可见光图像和红外图像，从而提高了图像检测的检测效率，节省了计算资源。

在步骤S103中，对所述可见光检测图像和所述红外检测图像进行融合处理，得到最终检测图像。

可以理解的是，本申请的车辆在获取到可见光检测图像和红外检测图像后，将所述可见光检测图像和所述红外检测图像输入搭载有融合模型的嵌入式设备中，先获取到所述可见光检测图像和红外检测图像中所有的检测框，再获取所述所有检测框对应的类别信息，实际上可见光图像和红外图像是对同一个路面位置以相同的角度进行拍摄的图像，两张图像中的内容是一一对应的，所以可见光检测图像和红外检测图像中的内容也是一一对应，区别的只是可见光检测模型和红外检测模型在进行检测时，拉取的检测框的位置和判定的类别，所以融合处理开始前，融合模型先需要判断检测框之间的位置信息（位置信息可以对是否检测的是同一件物体进行初步判断），所以融合模型先将所述可见光检测图像和所述红外检测图像叠在一起，然后计算任意一个可见光检测框中心点和任意一个红外检测框中心点之间的距离，当计算出来的距离小于预设距离的时候，证明可见光检测框和红外检测框之间的位置接近，可能是对图像上的同一个物体进行识别，这时候再判断所述可见光检测框检测到的类别信息和所述红外检测框检测到的类别信息是否相同，如果是相同的话，证明两个检测框检测的就是同一件物体，可以将两个检测框进行加权融合；所述融合模型会遍历可见光检测图像和红外检测图像中的所有检测框，将所有位置信息接近且类别信息相同的检测框进行融合，融合完成后将融合后的检测框显示在所述当前可见光图像上，并标注上对应的类别信息，此时的当前可见光图像即为最终输出的最终检测图像。需要说明的是，在本申请的另一种实施方式中，也可以不对所述可见光检测图像和所述红外检测图像进行加权融合处理，为了将图像中的所有应检测到的目标都获得到对应的检测框，也可以直接将所述可见光检测图像和所述红外检测图像上的所有检测框都完全保留并做并集处理，显示在当前可见光图像上，将显示了所有检测框的当前可见光图像作为最终检测图像输出。

进一步地，融合模型在判断检测框之间的位置信息时，还可以使用匈牙利算法或者KM算法，具体的算法选择可以由用户在使用时自行选择。

也就是说，本申请可以将可见光检测图像和红外检测图像进行融合和处理，在处理的过程中采用了计算两个检测图像上检测框之间的距离，距离小于预设距离且检测框的类别信息相同时将检测框进行融合，当两个图像的检测框距离相近且类型相同时，能更可靠地确认检测框检测到的物体的存在，减少误检和漏检的情况，从而获取了更全面、更准确的最终检测图像，弥补了两个图像单独进行检测的局限性，提高了对路面上的所有情况进行检测的准确性，增强了对不同环境和场景的适应能力，融合后的检测框也能更好地解释物体的轮廓和形状，提供更具细节的信息，实现实时的最终检测图像输出。

下面进一步按执行本申请图像检测方法的步骤介绍整个实现过程，如图2所示：

步骤S1，开始；

步骤S2，获取当前可见光图像；

步骤S3，获取当前亮度情况；

步骤S4，判断当前亮度情况是否为低亮度情况，如果所述当前亮度情况为低亮度情况，继续执行步骤S5；如果所述当前亮度情况不为低亮度情况，则执行步骤S9；

步骤S5，获取红外图像；

步骤S6，根据可见光检测模型和红外检测模型获得当前可见光图像和红外图像的可见光检测图像和红外检测图像；

步骤S7，将可见光检测图像和红外检测图像进行融合处理，获得最终检测图像；

步骤S8，输出最终检测图像；

步骤S9，根据可见光检测算法获得当前可见光图像对应的可见光检测图像；

步骤S10，将可见光检测图像作为最终检测图像输出；

步骤S11，结束。

综上，本申请可以根据当前可见光图像获得当前亮度情况，在当前亮度情况为低亮度情况的时候获取红外图像，并对当前可见光图像和红外图像进行检测，将两个检测图像进行融合处理，从而得到最终检测图像，由于红外图像不受光照条件的限制，融合红外图像的检测图像减少了低亮度环境下对可见光图像的依赖，降低了噪声和光照变化的干扰，提高了抗干扰能力，使得在低亮度环境下也能够很好地对路面上的所有情况进行检测，提高了检测精度的同时还减少了误检和漏检的情况发生，从而提高了对路面上的所有情况进行检测的可靠性和鲁棒性。

其次参照附图描述根据本申请实施例提出的图像检测系统。

图3是本申请实施例的图像检测系统的方框示意图。

如图3所示，该图像检测系统10包括：当前亮度获取模块100、图像检测算法模块200和检测结果处理模块300。

具体地，当前亮度获取模块100，用于获取可见光相机采集的当前可见光图像，根据所述当前可见光图像得到当前亮度情况；

图像检测算法模块200，用于若所述当前亮度情况为低亮度情况，获取红外相机采集的红外图像，对所述当前可见光图像和所述红外图像进行检测，得到可见光检测图像和红外检测图像；

检测结果处理模块300，用于对所述可见光检测图像和所述红外检测图像进行融合处理，得到最终检测。

可选地，在本申请的一个实施例中，所述当前亮度获取模块100包括：可见光图像输入单元和亮度模型识别单元。

其中，可见光图像接收单元，用于将当前可见光图像输入经过训练的亮度识别模型；

当前亮度判断单元，用于通过所述亮度识别模型确定所述当前可见光图像对应的当前亮度情况，其中，所述当前亮度情况包括低亮度情况或者高亮度情况。

可选地，在本申请的一个实施例中，所述当前亮度获取模块还包括：灰度值获取单元、灰度平均计算单元、亮度判定单元、第一判定单元和第二判定单元。

其中，灰度值获取单元，用于将所述当前可见光图像转换为灰度图像，获取所述灰度图像中每个像素的灰度值；

灰度平均计算单元，用于根据所有所述灰度值计算所述灰度图像的平均灰度值；

亮度判定单元，用于将所述平均灰度值与预设亮度阈值进行对比；

第一判定单元，用于若所述平均灰度值小于所述预设亮度阈值，则判定所述当前亮度情况为低亮度情况；

第二判定单元，用于若所述平均灰度值大于或等于所述预设亮度阈值，则判定所述当前亮度情况为高亮度情况。

可选地，在本申请的一个实施例中，所述图像检测算法模块200包括：红外图像获取单元、可见光检测算法单元和红外检测算法单元。

其中，红外图像获取单元，用于若所述当前亮度情况为低亮度情况，启动所述红外相机，接收所述红外相机发送的红外图像；

可见光检测模型单元，用于将所述当前可见光图像输入经过训练的可见光检测模型，得到所述可见光检测图像；

红外检测模型单元，用于将所述红外图像输入经过训练的红外检测模型，得到所述红外检测图像。

可选地，在本申请的一个实施例中，所述检测结果处理模块300包括：检测框获取单元、检测框距离计算单元、检测框判断单元和融合模型单元。

其中，检测框获取单元，用于获取所述可见光检测图像中的所有可见光检测框和所述红外检测图像中的所有红外检测框；

检测框距离计算单元，用于将所述可见光检测图像叠加在所述红外检测图像上，计算任意一个可见光检测框的中心点和任意一个红外检测框中心点之间的距离；

检测框判断单元，用于若所述距离小于预设距离，则判断所述可见光检测框和所述红外检测框的类别信息是否相同；

融合模型单元，用于若所述可见光检测框和所述红外检测框的类别信息相同，则将所述可见光检测框和所述红外检测框进行加权融合，直至对所有可见光检测框和所有红外检测框完成融合，得到所述最终检测图像。

可选地，在本申请的一个实施例中，本申请实施例的图像检测系统10还包括：高亮度判定单元。

其中，高亮度判定单元，用于若所述当前亮度情况为高亮度情况，则直接根据可见光检测算法对所述当前可见光图像进行检测，获得当前可见光检测图像，并将所述当前可见光检测图像作为最终检测图像。

可选地，在本申请的一个实施例中，本申请实施例的图像检测系统10还包括：后续可见光图像获取单元、后续亮度获取单元和红外相机关闭单元。

其中，后续可见光图像获取单元，用于接收所述可见光相机发送的后续可见光图像，其中，所述后续可见光图像的时间信息晚于所述当前可见光图像的时间信息；

后续亮度获取单元，用于根据所述后续可见光图像获取后续亮度情况；

红外相机关闭单元，用于若所述后续亮度情况为高亮度情况，则关闭所述红外相机。

需要说明的是，前述对图像检测方法实施例的解释说明也适用于该实施例的图像检测系统，此处不再赘述。

根据本申请实施例提出的图像检测系统，可以根据当前可见光图像获得当前亮度情况，在当前亮度情况为低亮度情况的时候获取红外图像，并对当前可见光图像和红外图像进行检测，将两个检测图像进行融合处理，从而得到最终检测图像，由于红外图像不受光照条件的限制，融合红外图像的检测图像减少了低亮度环境下对可见光图像的依赖，降低了噪声和光照变化的干扰，提高了抗干扰能力，使得在低亮度环境下也能够很好地对路面上的所有情况进行检测，提高了检测精度的同时还减少了误检和漏检的情况发生，从而提高了对路面上的所有情况进行检测的可靠性和鲁棒性。

由此，解决了现有技术中自动驾驶技术的视觉感知功能局限于环境光线充足的情况，对于环境光线差的情况下对路面上的所有情况检测不准确，检测精度低的技术问题。

图4为本申请实施例提供的车辆的结构示意图。该车辆可以包括：

存储器501、处理器502及存储在存储器501上并可在处理器502上运行的计算机程序。

处理器502执行程序时实现上述实施例中提供的图像检测方法。

进一步地，车辆还包括：

通信接口503，用于存储器501和处理器502之间的通信。

存储器501，用于存放可在处理器502上运行的计算机程序。

存储器501可能包含高速RAM存储器，也可能还包括非易失性存储器（non-volatile memory），例如至少一个磁盘存储器。

如果存储器501、处理器502和通信接口503独立实现，则通信接口503、存储器501和处理器502可以通过总线相互连接并完成相互间的通信。总线可以是工业标准体系结构（Industry Standard Architecture，简称为ISA）总线、外部设备互连（PeripheralComponent，简称为PCI）总线或扩展工业标准体系结构（Extended IndustryStandardArchitecture，简称为EIS）总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图4中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

可选地，在具体实现上，如果存储器501、处理器502及通信接口503，集成在一块芯片上实现，则存储器501、处理器502及通信接口503可以通过内部接口完成相互间的通信。

处理器502可能是一个中央处理器（Central Processing Unit，简称为CPU），或者是特定集成电路（Application Specific Integrated Circuit，简称为ASIC），或者是被配置成实施本申请实施例的一个或多个集成电路。

本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上的图像检测方法。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本申请的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或N个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本申请的描述中，“N个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或N个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本申请的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读存储介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读存储介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读存储介质的更具体的示例（非穷尽性列表）包括以下：具有一个或N个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（RAM），只读存储器（ROM），可擦除可编辑只读存储器（EPROM或闪速存储器），光纤装置，以及便携式光盘只读存储器（CDROM）。另外，计算机可读存储介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，N个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（PGA），现场可编程门阵列（FPGA）等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。

上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描述了本申请的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本申请的限制，本领域的普通技术人员在本申请的范围内可以对上述实施例进行变化、修改、替换和变型。

应当理解的是，本申请的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本申请所附权利要求的保护范围。