红绿灯状态提醒方法、装置、终端及计算机可读存储介质

技术领域

本发明涉及图像处理技术领域，特别是涉及一种红绿灯状态提醒方法、装置、终端及计算机可读存储介质。

背景技术

在科技飞速发展的当今社会，汽车的普及率越来越高，而智能化作为如今汽车行业发展的重要趋势之一备受关注，其中行车记录仪不管是出厂预装或者后期用户从市场购买安装几乎每车必备。随着汽车用户越来越年轻化，行车记录仪单纯记录功能已经无法满足用户需求，行车记录仪的智能化程度变的越来越重要并且越来越普及。目前很多厂商已经将各种高级驾驶辅助系统(Advanced Driving Assistant System，ADAS)功能加入到产品中，用于增加产品的卖点，使记录仪变的更智能，更安全，更多样化。

汽车行驶过程中，红绿灯路口是经常遇到的场景，司机等待时间少则几秒多则几分钟，在此期间司机很难专注的关注红绿灯的变化，容易被手机等外部条件干扰，到变成绿灯，容易被后方车辆鸣笛催促，并造成车况拥堵。

发明内容

本发明主要解决的技术问题是提供一种红绿灯状态提醒方法、装置、终端及计算机可读存储介质，解决现有技术中无法精确提醒绿灯的问题。

为解决上述技术问题，本发明采用的第一个技术方案是：提供一种红绿灯状态提醒方法，红绿灯状态提醒方法包括：

对待处理图像进行颜色还原处理，得到预处理图像；

通过卷积神经网络对预处理图像分别进行车道检测和红绿灯信息检测，得到车道信息和红绿灯信息。

其中，红绿灯状态提醒方法还包括：

基于所述车道信息和所述红绿灯信息，确定是否进行提醒。

其中，卷积神经网络包括第一神经网络模型和第二神经网络模型；

通过卷积神经网络对预处理图像分别进行车道检测和红绿灯信息检测，得到车道信息和红绿灯信息，包括：

通过第一神经网络模型对预处理图像进行车道检测，得到车道线信息和车道箭头信息；

通过第二神经网络模型对预处理图像进行红绿灯信息检测，得到红绿灯信息。

其中，第一神经网络模型包括第一特征提取模块、车道线检测模块和车道箭头检测模块，特征提取模块分别与车道线检测模块和车道箭头检测模块连接；

通过第一神经网络模型对预处理图像进行车道检测，得到车道线信息和车道箭头信息，包括：

通过第一特征提取模块对预处理图像进行特征提取，得到第一特征图；

通过车道线检测模块对第一特征图进行车道线检测，得到车道线信息；

通过车道箭头检测模块对第一特征图进行车道箭头检测，得到车道箭头信息。

其中，通过车道线检测模块对第一特征图进行车道线检测，得到车道线信息，包括：

通过车道线检测模块对第一特征图进行车道线检测，得到目标像素点信息；

基于目标像素点信息拟合出符合最小二乘法原则的三次多项式，得到车道线。

其中，第一神经网络模型的训练方法包括如下步骤：

获取第一图像集，第一图像集包括多个包含车道线和车道箭头的第一样本图像，第一样本图像关联有车道线标签信息和车道箭头标签信息；

通过第一神经网络模型对第一样本图像分别进行车道线预测和车道箭头预测，得到车道线预测信息和车道箭头预测信息；

基于第一样本图像对应的车道线预测信息和车道线标签信息之间的第一误差值与车道箭头预测信息与车道箭头标签信息之间的第二误差值迭代训练第一神经网络模型。

其中，车道线标签信息为第一样本图像对应的栅格化图像中各栅格的标注信息；车道线预测信息为第一样本图像对应的栅格化图像中各栅格的预测信息；

第一损失值基于如下公式计算得到：

式中：Loss

其中，车道箭头标签信息包括车道箭头标注位置和车道箭头标注类型；车道箭头预测信息包括车道箭头预测位置和车道箭头预测类型；

第二损失值基于如下公式计算得到：

式中：Loss

其中，第二神经网络模型包括目标位置检测网络和目标识别模块，目标识别模块与目标位置检测网络连接，

通过第二神经网络模型对预处理图像进行红绿灯信息检测，得到红绿灯信息，包括：

通过目标位置检测网络对预处理图像进行红绿灯检测，得到红绿灯区域信息；

通过目标识别模块对红绿灯区域信息进行识别，得到红绿灯信息，红绿灯信息包括各子灯的位置信息、类别信息和颜色信息。

其中，目标位置检测网络包括第二特征提取模块和红绿灯区域检测模块，第二特征提取模块分别与红绿灯区域检测模块和目标识别模块连接，且红绿灯区域检测模块与目标识别模块连接；

通过目标位置检测网络对预处理图像进行红绿灯检测，得到红绿灯区域信息，包括：

通过第二特征提取模块对预处理图像进行特征提取，得到第二特征图；

通过红绿灯区域检测模块基于第二特征图，确定红绿灯区域信息。

其中，第二特征提取模块包括第一特征提取单元和第二特征提取单元，目标识别模块包括第一特征抽取单元和第二特征抽取单元；

通过目标识别模块对红绿灯区域信息进行识别，得到红绿灯信息，包括：

第一特征抽取单元对红绿灯区域信息进行特征提取，得到第三特征图；

将第三特征图与基于第一特征提取单元得到的特征图进行融合，得到第四特征图；

第二特征抽取单元对第四特征图进行特征提取，得到第五特征图；

对第五特征图进行识别，得到红绿灯信息。

其中，目标位置检测网络的训练方法包括如下步骤：

获取第二图像集，第二图像集包括多个包含红绿灯的第二样本图像，第二样本图像关联有红绿灯位置标签和红绿灯类别标签；

通过目标位置检测网络对第二样本图像中的红绿灯进行预测，得到红绿灯预测位置和红绿灯预测类别；

基于第二样本图像对应的红绿灯预测位置和红绿灯位置标签之间的第三误差值与红绿灯预测类别与红绿灯类别标签之间的第四误差值迭代训练目标位置检测网络。

其中，第二神经网络模型的训练方法包括如下步骤：

获取第三图像集，第三图像集包括多个包含红绿灯的第三样本图像，第三样本图像中标注有红绿灯中各子灯的位置标签、类别标签和颜色标签；

通过第二神经网络模型对第三样本图像中的红绿灯中的各子灯进行预测，得到各子灯的预测位置、预测类别和预测颜色；

基于第三样本图像中红绿灯中子灯对应的预测位置和位置标签之间的误差值、预测类别和类别标签之间的误差值以及预测颜色和颜色标签之间的误差值迭代训练第二神经网络模型。

其中，基于车道信息和红绿灯信息，确定是否进行提醒，包括：

基于车道线信息和车道箭头信息，确定当前车道对应的行驶方向；

响应于红绿灯指示当前车道的子灯由红色转为绿色，则发出提醒。

为解决上述技术问题，本发明采用的第二个技术方案是：提供一种红绿灯状态提醒装置，红绿灯状态提醒装置包括：

处理模块，用于对待处理图像进行颜色还原处理，得到预处理图像；

检测模块，用于通过卷积神经网络对预处理图像分别进行车道检测和红绿灯信息检测，得到车道信息和红绿灯信息。

为解决上述技术问题，本发明采用的第三个技术方案是：提供一种终端，终端包括存储器、处理器以及存储于存储器中并在处理器上运行的计算机程序，处理器用于执行程序数据以实现上述的红绿灯状态提醒方法中的步骤。

为解决上述技术问题，本发明采用的第四个技术方案是：提供一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述的红绿灯状态提醒方法中的步骤。

本发明的有益效果是：区别于现有技术的情况，提供的一种红绿灯状态提醒方法、装置、终端及计算机可读存储介质，红绿灯状态提醒方法对待处理图像进行颜色还原处理，得到预处理图像；通过卷积神经网络对所述预处理图像分别进行车道检测和红绿灯信息检测，得到车道信息和红绿灯信息。本申请中通过卷积神经网络对预处理图像分别进行车道检测和红绿灯信息检测，可以提高车道信息和红绿灯信息的检测准确率，使输出的车道信息和红绿灯信息的稳定性更高，提高了鲁棒性；进而通过高准确率的车道信息和红绿灯信息可以提高绿灯提醒的精确度。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1是本发明提供的红绿灯状态提醒方法的流程示意图；

图2是本发明提供的红绿灯状态提醒方法一实施例的流程示意图；

图3是本发明提供的红绿灯状态提醒方法一具体实施例的流程示意图；

图4是图2提供的红绿灯状态提醒方法中步骤S21一具体实施例的流程示意图；

图5是本发明提供的第一神经网络模型的结构示意图；

图6是图2提供的红绿灯状态提醒方法中步骤S22一具体实施例的流程示意图；

图7是图2提供的红绿灯状态提醒方法中步骤S23一具体实施例的流程示意图；

图8是本发明提供的第二神经网络模型的结构示意图；

图9是本发明提供的红绿灯状态提醒装置一实施例的框架示意图；

图10是本发明提供的终端一实施例的框架示意图；

图11为本发明提供的计算机可读存储介质一实施例的框架示意图。

具体实施方式

下面结合说明书附图，对本申请实施例的方案进行详细说明。

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、接口、技术之类的具体细节，以便透彻理解本申请。

本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。此外，本文中的“多”表示两个或者多于两个。

为使本领域的技术人员更好地理解本发明的技术方案，下面结合附图和具体实施方式对本发明所提供的一种红绿灯状态提醒方法做进一步详细描述。

请参阅图1，图1是本发明提供的红绿灯状态提醒方法的流程示意图。本实施例中提供一种红绿灯状态提醒方法，该方法适用于路口场景中，特别适用于红灯状态下车辆等待绿灯的情况，该红绿灯状态提醒方法包括如下步骤。

S11：对待处理图像进行颜色还原处理，得到预处理图像。

S12：通过卷积神经网络对预处理图像分别进行车道检测和红绿灯信息检测，得到车道信息和红绿灯信息。

具体地，卷积神经网络包括第一神经网络模型和第二神经网络模型。通过第一神经网络模型对预处理图像进行车道检测，得到车道线信息和车道箭头信息；通过第二神经网络模型对预处理图像进行红绿灯信息检测，得到红绿灯信息。

在一实施例中，第一神经网络模型包括第一特征提取模块、车道线检测模块和车道箭头检测模块，特征提取模块分别与车道线检测模块和车道箭头检测模块连接。通过第一特征提取模块预处理图像进行特征提取，得到第一特征图；通过车道线检测模块对第一特征图进行车道线检测，得到车道线信息；通过车道箭头检测模块对第一特征图进行车道箭头检测，得到车道箭头信息。

在一具体实施例中，通过车道线检测模块对第一特征图进行车道线检测，得到目标像素点信息；基于目标像素点信息拟合出符合最小二乘法原则的三次多项式，得到车道线。

在一实施例中，第二神经网络模型包括目标位置检测网络和目标识别模块，目标识别模块与目标位置检测网络连接。通过目标位置检测网络对预处理图像进行红绿灯检测，得到红绿灯区域信息；通过目标识别模块对红绿灯区域信息进行识别，得到红绿灯信息，红绿灯信息包括各子灯的位置信息、类别信息和颜色信息。

在一具体实施例中，目标位置检测网络包括第二特征提取模块和红绿灯区域检测模块，第二特征提取模块分别与红绿灯区域检测模块和目标识别模块连接，且红绿灯区域检测模块与目标识别模块连接；通过第二特征提取模块对预处理图像进行特征提取，得到第二特征图；通过红绿灯区域检测模块基于第二特征图，确定红绿灯区域信息。

在一具体实施例中，第二特征提取模块包括第一特征提取单元和第二特征提取单元，目标识别模块包括第一特征抽取单元和第二特征抽取单元；第一特征抽取单元对红绿灯区域信息进行特征提取，得到第三特征图；将第三特征图与基于第一特征提取单元得到的特征图进行融合，得到第四特征图；第二特征抽取单元对第四特征图进行特征提取，得到第五特征图；对第五特征图进行识别，得到红绿灯信息。在本实施例中，第二特征提取模块包括四个特征提取单元。

在一实施例中，基于车道信息和红绿灯信息，确定是否进行提醒。

具体地，基于车道线信息和车道箭头信息，确定当前车道对应的行驶方向；响应于红绿灯指示当前车道的子灯由红色转为绿色，则发出提醒。

本实施例提供的红绿灯状态提醒方法，通过卷积神经网络对待处理图像进行颜色还原处理，得到预处理图像；通过卷积神经网络对所述预处理图像分别进行车道检测和红绿灯信息检测，得到车道信息和红绿灯信息。本申请中通过卷积神经网络对预处理图像分别进行车道检测和红绿灯信息检测，可以提高车道信息和红绿灯信息的检测准确率，使输出的车道信息和红绿灯信息的稳定性更高，提高了鲁棒性；进而通过高准确率的车道信息和红绿灯信息可以提高绿灯提醒的精确度。

请参阅图2和图3，图2是本发明提供的红绿灯状态提醒方法一实施例的流程示意图；图3是本发明提供的红绿灯状态提醒方法一具体实施例的流程示意图。

本实施例中提供一种红绿灯状态提醒方法，该方法适用于路口场景中，特别适用于红灯状态下车辆等待绿灯的情况，该红绿灯状态提醒方法包括如下步骤。

S21：训练得到第一神经网络模型。

具体地，训练得到第一神经网络模型的方法包括如下步骤。

请参阅图4，图4是图2提供的红绿灯状态提醒方法中步骤S21一具体实施例的流程示意图。

S211：获取第一图像集。

具体地，第一图像集包括多个包含车道线和车道箭头的第一样本图像。第一样本图像可以为采集的道路的图像，例如，机动车道上的图像。具体地，第一样本图像中具有车道线和车道箭头。第一样本图像关联有车道线标签信息和车道箭头标签信息。

车道线标签信息为第一样本图像对应的栅格化图像中各栅格的标注信息。具体地，将第一样本图像进行栅格化处理。响应于栅格属于车道线的一部分，则将该栅格的标签标注为1；响应于栅格属于非车道线的一部分，则将该栅格的标签标注为0。

车道箭头标签信息包括车道箭头标注位置和车道箭头标注类型。其中，车道箭头标注位置具体为车道箭头在第一样本图像中的标注坐标以及车道箭头的标注长度、标注宽度。车道箭头标注类型具体包括直行、左转、右转、掉头等。

S212：通过第一神经网络模型对第一样本图像分别进行车道线预测和车道箭头预测，得到车道线预测信息和车道箭头预测信息。

具体地，车道线预测信息为第一样本图像对应的栅格化图像中各栅格的预测信息；车道箭头预测信息包括车道箭头预测位置和车道箭头预测类型。

请参阅图5，图5是本发明提供的第一神经网络模型的结构示意图。

在本实施例中，第一神经网络模型包括第一特征提取模块、车道线检测模块和车道箭头检测模块，特征提取模块分别与车道线检测模块和车道箭头检测模块连接。

第一特征提取模块对第一样本图像进行特征提取，得到第一特征图。

车道线检测模块对第一特征图进行车道线检测，即车道线检测模块对第一样本图像中各栅格是否属于车道线进行预测，得到各栅格的预测信息。其中，栅格的预测信息为栅格属于车道线的预测概率。

车道箭头检测模块对第一特征图进行车道箭头检测，得到第一样本图像中各车道箭头的车道箭头预测类型。车道箭头预测类型包括车道箭头预测位置信息以及车道箭头预测类型。其中，车道箭头预测位置信息包括预测坐标以及车道箭头的预测长度和预测宽度。车道箭头预测类型包括直行、左转、右转、掉头等。

S213：基于第一样本图像对应的车道线预测信息和车道线标签信息之间的第一误差值与车道箭头预测信息与车道箭头标签信息之间的第二误差值迭代训练第一神经网络模型。

具体地，根据第一样本图像对应的车道线预测信息和车道线标签信息之间的第一误差值与车道箭头预测信息与车道箭头标签信息之间的第二误差值的加和迭代训练第一神经网络模型。

在一实施例中，根据第一样本图像对应的各栅格的预测概率以及各栅格的标签计算各栅格的损失值，将所有栅格的损失值进行加和得到第一损失值。

在一具体实施例中，基于如下公式1计算得到第一损失值。

式中：Loss

具体地，根据第一样本图像对应的车道箭头的预测信息和车道箭头的标签信息，计算得到第二误差值。

在一实施例中，根据第一样本图像对应同一车道箭头的预测坐标、预测长度、预测宽度与对应的标注坐标、标注长度和标注宽度之间的误差以及车道箭头标注类型与车道箭头预测类型之间的误差值的加和计算得到第二损失值。

在一具体实施例中，基于如下公式计算得到第二损失值。

式中：Loss

具体地，第一神经网络模型对第一样本图像进行信息预测之后，根据第一样本图像对应的第一损失值和第二损失值之间的加和迭代训练第一神经网络模型，进而对第一神经网络模型中的模型参数进行优化。

在一可选实施例中，第一神经网络模型的结果反向传播，根据同一第一样本图像对应的车道线预测信息和车道线标签信息之间的第一误差值、车道箭头预测信息与车道箭头标签信息之间的第二误差值的加和得到最终误差值对第一神经网络模型的权重进行修正，实现对第一神经网络模型的训练。使第一神经网络模型可以对图像中的车道线信息和车道箭头信息进行检测，提高车道线信息和车道箭头信息的准确率。

将第一样本图像输入到第一神经网络模型中，第一神经网络模型对第一样本图像进行车道线和车道箭头分别进行检测。当第一样本图像对应的车道线预测信息和车道线标签信息之间的第一误差值、车道箭头预测信息与车道箭头标签信息之间的第二误差值的加和得到最终误差值小于预设阈值，预设阈值可以自行设置，例如1％、5％等，则停止对第一神经网络模型的训练。

S22：训练得到目标位置检测网络。

具体地，训练得到目标位置检测网络的方法包括如下步骤。

请参阅图6，图6是图2提供的红绿灯状态提醒方法中步骤S22一具体实施例的流程示意图。

S221：获取第二图像集。

具体地，第二图像集包括多个包含红绿灯的第二样本图像。第二样本图像可以为采集的道路路口的包含红绿灯的RGB彩色图像，也可以为其他具有红绿灯的图像。其中，第二样本图像关联有红绿灯位置标签和红绿灯类别标签。红绿灯位置标签包括红绿灯区域的标注坐标、红绿灯区域的标注长度和标注宽度。红绿灯类别标签为红绿灯模组和非红绿灯模组。其中，红绿灯区域的标注坐标为红绿灯区域的中心点坐标。红绿灯的标注坐标为红绿灯区域的中心点坐标在第二样本图像中的坐标。

S222：通过目标位置检测网络对第二样本图像中的红绿灯进行预测，得到红绿灯预测位置和红绿灯预测类别。

具体地，将第二样本图像输入到目标位置检测网络，目标位置检测网络对第二样本图像中红绿灯区域和类别进行预测，得到红绿灯预测位置和红绿灯预测类别。其中，红绿灯预测类别包括红绿灯模组和非红绿灯模组。红绿灯预测位置包括红绿灯区域的预测坐标、红绿灯区域的预测长度和红绿灯区域的预测宽度。其中，红绿灯区域的预测坐标为预测的红绿灯区域的中心点坐标。

S223：基于第二样本图像对应的红绿灯预测位置和红绿灯位置标签之间的第三误差值与红绿灯预测类别与红绿灯类别标签之间的第四误差值迭代训练目标位置检测网络。

具体地，根据第二样本图像对应的红绿灯预测位置和红绿灯位置标签之间的第三误差值与红绿灯预测类别与红绿灯类别标签之间的第四误差值的加和迭代训练目标位置检测网络。

在一实施例中，根据第二样本图像中同一红绿灯区域的标注坐标、标注长度和标注宽度与对应的红绿灯区域的预测坐标、预测长度、预测宽度之间的误差值的加和，计算得到第三误差值。根据第二样本图像中同一红绿灯区域对应的红绿灯预测类别与红绿灯类别标签计算得到第四误差值。根据第三误差值和第四误差值的加和计算得到第五误差值，通过第五误差值迭代训练目标位置检测网络。

在一具体实施例中，基于如下公式计算得到第五损失值。

式中：Loss

具体地，目标位置检测网络对第二样本图像进行信息预测之后，根据第二样本图像对应的第三损失值和第四损失值之间的加和迭代训练目标位置检测网络，进而对目标位置检测网络中的模型参数进行优化。

在一可选实施例中，目标位置检测网络的结果反向传播，根据同一第二样本图像对应的红绿灯预测位置和红绿灯位置标签之间的第三误差值与红绿灯预测类别与红绿灯类别标签之间的第四误差值的加和得到最终误差值对目标位置检测网络的权重进行修正，实现对目标位置检测网络的训练。使目标位置检测网络可以对图像中的红绿灯区域的位置和类别进行检测，提高红绿灯区域的检测准确率。

将第二样本图像输入到目标位置检测网络中，目标位置检测网络对第二样本图像进行红绿灯区域的位置和类别进行检测。当第二样本图像对应的红绿灯预测位置和红绿灯位置标签之间的第三误差值与红绿灯预测类别与红绿灯类别标签之间的第四误差值的加和得到最终误差值小于预设阈值，预设阈值可以自行设置，例如1％、5％等，则停止对目标位置检测网络的训练。

S23：训练得到第二神经网络模型。

具体地，第二神经网络模型包括目标位置检测网络和目标识别模块，目标识别模块与目标位置检测网络连接。本实施例中的目标位置检测网络为步骤S2训练得到的目标位置检测网络。

请参阅图7，图7是图2提供的红绿灯状态提醒方法中步骤S23一具体实施例的流程示意图。

S231：获取第三图像集。

具体地，第三图像集包括多个包含红绿灯的第三样本图像。其中，第二样本图像也可以作为第三样本图像。红绿灯包括至少一个子灯。第三样本图像中标注有红绿灯中各子灯的位置标签、类别标签和颜色标签。

具体地，子灯的位置标签为子灯的中心点在第三样本图像中位置坐标。子灯的类别标签具体为子灯的类别属性，各子灯的类别标签包括左箭头、右箭头、圆形等类别中的任意一种。各子灯的颜色标签可以为红色、黄色和绿灯中的任意一种。

S232：通过第二神经网络模型对第三样本图像中的红绿灯中的各子灯进行预测，得到各子灯的预测位置、预测类别和预测颜色。

具体地，通过第二神经网络模型中的目标位置检测网络对第三样本图像中的红绿灯区域进行检测，得到红绿灯区域。通过目标识别模块对红绿灯区域中各子灯的位置、类别和颜色进行预测，得到各子灯的预测位置、预测类别和预测颜色。其中，预测类别具体为子灯的轮廓形状。

S233：基于第三样本图像中红绿灯中子灯对应的预测位置和位置标签之间的误差值、预测类别和类别标签之间的误差值以及预测颜色和颜色标签之间的误差值迭代训练第二神经网络模型。

具体地，基于第三样本图像中红绿灯中子灯对应的预测位置和位置标签之间的误差值、预测类别和类别标签之间的误差值以及预测颜色和颜色标签之间的误差值的加和迭代训练第二神经网络模型。

在一具体实施例中，基于如下公式计算得到损失值。

式中：Loss

具体地，第二神经网络模型对第三样本图像进行信息预测之后，根据第三样本图像的红绿灯中子灯对应的预测位置和位置标签之间的误差值、预测类别和类别标签之间的误差值以及预测颜色和颜色标签之间的误差值的加和迭代训练第二神经网络模型，进而对第二神经网络模型中的模型参数进行优化。

在一可选实施例中，第二神经网络模型的结果反向传播，根据同一第三样本图像对应的红绿灯中子灯对应的预测位置和位置标签之间的误差值、预测类别和类别标签之间的误差值以及预测颜色和颜色标签之间的误差值的加和得到最终误差值对第二神经网络模型的权重进行修正，实现对第二神经网络模型的训练。使第二神经网络模型可以对红绿灯中各子灯的位置、类别和颜色进行检测，提高红绿灯各子灯属性的检测准确率。

将第三样本图像输入到第二神经网络模型中，第二神经网络模型对第三样本图像中各子灯的位置、类别和颜色进行检测。当第三样本图像的红绿灯中子灯对应的预测位置和位置标签之间的误差值、预测类别和类别标签之间的误差值以及预测颜色和颜色标签之间的误差值的加和得到最终误差值小于预设阈值，预设阈值可以自行设置，例如1％、5％等，则停止对第二神经网络模型的训练。

在一具体实施例中，上述实施例中的公式2、公式3和公式4中L

L

S24：获取待处理图像。

具体地，通过行车记录仪或车载相机、车载摄像机等图像采集设备对车辆前的图像进行采集，得到待处理图像。待处理图像中包含有红绿灯和道路信息。其中，可以在行车过程中采集待处理图像，也可以在车辆等红绿灯过程中采集待处理图像。其中待处理图像为RGB彩色图像。

S25：对待处理图像进行颜色还原处理，得到预处理图像。

具体地，可以通过修改图像采集设备的传感器的出厂化配置参数，使采集的待处理图像的颜色更接近于物体的真实颜色。具体地，基于ISP算法对待处理图像进行处理，以提升待处理图像的质量，得到预处理图像。预处理图像的颜色更接近物体的真实颜色。还可以通过调节图像采集设备的LED红绿灯防闪烁模块。

在另一实施例中，可以通过多帧宽动态技术对待处理图像进行颜色还原处理，得到预处理图像。还可以通过增益参数及白平衡参数自适应调节以对待处理图像进行颜色还原处理。通过低照度技术对待处理图像进行颜色还原处理，保证待处理图像的画面质量不受强光照、夜间道路补光灯、频闪灯等干扰，并精确的还原待处理图像的图像颜色。

S26：通过第一神经网络模型对预处理图像进行车道检测，得到车道线信息和车道箭头信息。

具体地，通过第一特征提取模块对预处理图像进行特征提取，得到第一特征图。

通过车道线检测模块对第一特征图进行车道线检测，得到车道线信息。在一实施例中，通过车道线检测模块对第一特征图进行车道线检测，得到目标像素点信息。其中，目标像素点信息包括目标像素点在待处理图像中的位置坐标。目标像素点信息具体为属于车道线的像素点的信息。基于目标像素点信息拟合出符合最小二乘法原则的三次多项式，得到车道线。例如，三次多项式可以为y＝ax

通过车道箭头检测模块对第一特征图进行车道箭头检测，得到车道箭头信息。其中，车道箭头信息包括车道箭头位置和车道箭头类型。其中，车道箭头位置具体为车道箭头在待处理图像中的位置，车道箭头类型可以为直行、左转、右转、掉头等。

S27：通过第二神经网络模型对预处理图像进行红绿灯信息检测，得到红绿灯信息。

请参阅图8，图8是本发明提供的第二神经网络模型的结构示意图。

具体地，第二神经网络模型包括目标位置检测网络和目标识别模块，目标识别模块与目标位置检测网络连接。其中，目标位置检测网络包括第二特征提取模块和红绿灯区域检测模块，第二特征提取模块分别与红绿灯区域检测模块和目标识别模块连接，且红绿灯区域检测模块与目标识别模块连接。第二特征提取模块包括第一特征提取单元和第二特征提取单元，目标识别模块包括第一特征抽取单元和第二特征抽取单元。

具体地，通过目标位置检测网络对预处理图像进行红绿灯检测，得到红绿灯区域信息。

在一实施例中，通过第二特征提取模块对预处理图像进行特征提取，得到第二特征图；通过红绿灯区域检测模块基于第二特征图，确定红绿灯区域信息。红绿灯区域信息包括红绿灯区域的位置信息和红绿灯区域的类别，例如，红绿灯区域的位置信息包括红绿灯区域的中心点坐标、红绿灯区域的长度和红绿灯区域的宽度。

具体地，通过目标识别模块对红绿灯区域信息进行识别，得到红绿灯信息，红绿灯信息包括各子灯的位置信息、类别信息和颜色信息。其中，子灯的位置信息包括子灯的中心点位置在预处理图像中的坐标位置。子灯的类别信息包括子灯的形状属性，例如，左箭头、右箭头、圆形等。子灯的颜色信息包括红色、黄色、绿色。

由于红绿灯在预处理图像中的占比较小，不便于进行信息识别，则通过多通道融合机制获取更多的特征信息，进而增加小目标的特征信息。具体地，目标识别模块中的第一特征抽取单元对红绿灯区域信息进行特征提取，得到第三特征图；将第三特征图与基于第一特征提取单元得到的特征图进行融合，得到第四特征图；目标识别模块中的第二特征抽取单元对第四特征图进行特征提取，得到第五特征图；对第五特征图进行识别，得到红绿灯信息。

其中，目标识别模块中的特征抽取单元、特征提取模块中的特征提取单元的结构可以相同，也可以不同。可以根据实际情况进行设置。当目标识别模块中的特征抽取单元、第二特征提取模块中的特征提取单元的结构相同时，具体包括卷积层、池化层、激活层、上采样层以及通道的稀疏、级联、运算等操作。第一特征提取模块中的特征提取单元包括卷积层、池化层、激活层以及通道的稀疏、级联、运算等操作。

S28：基于车道线信息和车道箭头信息，确定当前车道对应的行驶方向。

具体地，将车道线信息、车道箭头信息与红绿灯信息进行耦合关联。即将车道线信息、车道箭头信息与红绿灯信息进行融合。

在一实施例中，将车道线信息、车道箭头信息进行关联，根据车道线信息和车道箭头信息，确定当前车道的行驶方向。例如，当前车道两侧的车道线中间的车道箭头为带箭头的直线，则确定当前车道对应的行驶方向为正前方。当前车道的车辆在绿灯状态下将进行直行。当前车道两侧的车道线中间的车道箭头为带箭头的左箭头，则确定当前车道对应的行驶方向为路口左侧方向。当前车道的车辆在绿灯状态下将进行左转弯行驶。当前车道两侧的车道线中间的车道箭头为带箭头的右箭头，则确定当前车道对应的行驶方向为路口右侧方向。当前车道的车辆在绿灯状态下将进行右转弯行驶。

S29：响应于红绿灯指示当前车道的子灯由红色转为绿色，则发出提醒。

具体地，当确定了当前车道对应的行驶方向，则将当前车道的车道箭头信息与红绿灯指示各子灯的形状属性进行匹配。

基于当前车道的行驶方向，在红绿灯的各子灯中确定具有相同属性或定义一致的子灯，根据当前车道对应的子灯的颜色信息确定是否发出提醒。

如果当前车道的行驶方向为直行，在红绿灯中查找指示直行的子灯。本实施例中，指示直行的子灯的形状为圆形。如果当前车道的行驶方向为路口左侧方向，在红绿灯中查找指示左转弯的子灯。本实施例中，指示左转弯的子灯的形状为左箭头。如果当前车道的行驶方向为路口右侧方向，在红绿灯中查找指示右转弯的子灯。本实施例中，指示右转弯的子灯的形状为右箭头。

基于预处理图像中红绿灯区域的位置信息以及与预处理图像相邻的前一帧图像中红绿灯区域的位置信息，确定装载图像采集设备的车辆是否处于静置状态。响应于同一红绿灯区域在预处理图像以及与预处理图像相邻的前一帧图像中的位置信息相同，则确定装载图像采集设备的车辆是否处于静置状态。

当当前车道的行驶方向为直行时，响应于指示直行的子灯在与待处理图像相邻的前一帧图像中的颜色为红色，且指示直行的子灯在待处理图像中的颜色为绿色，则对驾驶员发出提醒。

当当前车道的行驶方向为路口左侧方向时，响应于指示左转弯的子灯在与待处理图像相邻的前一帧图像中的颜色为红色，且指示左转弯的子灯在待处理图像中的颜色为绿色，则对驾驶员发出提醒。

当当前车道的行驶方向为路口右侧方向时，响应于指示右转弯的子灯在与待处理图像相邻的前一帧图像中的颜色为红色，且指示左转弯的子灯在待处理图像中的颜色为绿色，则对驾驶员发出提醒。

本实施例提供的红绿灯状态提醒方法，对待处理图像进行颜色还原处理，得到预处理图像；通过卷积神经网络对所述预处理图像分别进行车道检测和红绿灯信息检测，得到车道信息和红绿灯信息。本申请中通过卷积神经网络对预处理图像分别进行车道检测和红绿灯信息检测，可以提高车道信息和红绿灯信息的检测准确率，使输出的车道信息和红绿灯信息的稳定性更高，提高了鲁棒性；进而通过高准确率的车道信息和红绿灯信息可以提高绿灯提醒的精确度。

请参阅图9，图9是本发明提供的红绿灯状态提醒装置一实施例的框架示意图。本实施例提供一种红绿灯状态提醒装置60，红绿灯状态提醒装置60包括处理模块61和检测模块62。

处理模块61用于对待处理图像进行颜色还原处理，得到预处理图像。

检测模块62用于通过卷积神经网络对预处理图像分别进行车道检测和红绿灯信息检测，得到车道信息和红绿灯信息。

本实施例中提供的红绿灯状态提醒装置中，通过卷积神经网络对预处理图像分别进行车道检测和红绿灯信息检测，可以提高车道信息和红绿灯信息的检测准确率，使输出的车道信息和红绿灯信息的稳定性更高，提高了鲁棒性；进而通过高准确率的车道信息和红绿灯信息可以提高绿灯提醒的精确度。

请参阅图10，图10是本发明提供的终端一实施例的框架示意图。终端80包括相互耦接的存储器81和处理器82，处理器82用于执行存储器81中存储的程序指令，以实现上述任一红绿灯状态提醒方法实施例的步骤。在一个具体的实施场景中，终端80可以包括但不限于：微型计算机、服务器，此外，终端80还可以包括笔记本电脑、平板电脑等移动设备，在此不做限定。

具体而言，处理器82用于控制其自身以及存储器81以实现上述任一红绿灯状态提醒方法实施例的步骤。处理器82还可以称为CPU(Central Processing Unit，中央处理单元)。处理器82可能是一种集成电路芯片，具有信号的处理能力。处理器82还可以是通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(ApplicationSpecific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable GateArray，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外，处理器82可以由集成电路芯片共同实现。

请参阅图11，图11为本发明提供的计算机可读存储介质一实施例的框架示意图。计算机可读存储介质90存储有能够被处理器运行的程序指令901，程序指令901用于实现上述任一红绿灯状态提醒方法实施例的步骤。

在一些实施例中，本公开实施例提供的装置具有的功能或包含的模块可以用于执行上文方法实施例描述的方法，其具体实现可以参照上文方法实施例的描述，为了简洁，这里不再赘述。

上文对各个实施例的描述倾向于强调各个实施例之间的不同之处，其相同或相似之处可以互相参考，为了简洁，本文不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的方法和装置，可以通过其它的方式实现。例如，以上所描述的装置实施方式仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性、机械或其它的形式。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上仅为本发明的实施方式，并非因此限制本发明的专利保护范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。