基于感兴趣区域的红绿灯识别方法、系统及存储介质

技术领域

本申请属于自动驾驶技术领域，具体地，涉及一种基于感兴趣区域的红绿灯识别方法、系统及存储介质。

背景技术

随着智能技术的应用越来越广，自动驾驶技术应运而生，而自动驾驶时，对红绿灯的识别对于车辆自动驾驶有着非常重要的影响。

高级驾驶辅助系统是利用安装在车上的传感器，例如毫米波雷达、激光雷达、摄像头以及卫星导航，在汽车行驶过程中感知周围环境，收集数据，进行静态、动态物体的辨识、侦测与追踪，并结合导航仪地图数据，进行系统的运算与分析，从而让驾驶员提前预知可能发生的危险，有效增加安全性。目前，基于视觉的城市红绿灯识别一直是辅助驾驶研究的核心内容之一，一般根据交通灯图像的某些特征，例如颜色、形状等来检测识别红绿灯状态，但通过这些算法进行红绿灯检测，非常容易产生误检、漏检的现象；其中，很容易将前车的后车灯识别成红灯，导致辅助驾驶系统错误的决策以及控制，例如不必要的刹车行为，甚至会造成严重的安全事故。

因此，亟需一种应用于安全驾驶领域的红绿灯识别技术，可以准确识别红绿灯状态来保证自动驾驶的安全。

发明内容

本发明提出了一种基于感兴趣区域的红绿灯识别方法、系统及存储介质，旨在解决现有利用颜色、形状等特征识别红绿灯，容易产生误检、漏检的现象，进而造成严重的安全事故的问题。

根据本申请实施例的第一个方面，提供了一种基于感兴趣区域的红绿灯识别方法，具体包括以下步骤：

获取红绿灯原始图像，进行灰度化处理，得到灰度化图像；

根据灰度化图像，进行消失点检测，确定消失点位置；

根据消失点所在的水平线以上的区域，确定为感兴趣区域；

将感兴趣区域输入目标检测神经网络，得到红绿灯识别结果。

在本申请一些实施方式中，根据灰度化图像，进行消失点检测，确定消失点位置，具体包括：

根据灰度化图像，识别出多条道路线；

根据多条道路线，得到多条道路线的相交点位置，即消失点位置。

在本申请一些实施方式中，根据灰度化图像，识别出多条道路线，具体包括：通过Sobel边缘检测以及霍夫变换算法，拟合出灰度化图像中的多条车道线。

在本申请一些实施方式中，根据多条道路线，得到多条道路线的相交点位置，即消失点位置，包括根据左车道线以及右车道线，得到两条道路线的相交点位置，即消失点位置。

在本申请一些实施方式中，根据左车道线以及右车道线，得到两条道路线的相交点位置，具体步骤包括：

通过Hough变换，得到左车道线图像坐标公式：

y＝k

以及右车道线图像坐标公式：

y＝k

根据以上公式，得到左车道线与右车道线的交点坐标为(x，

其中，(x，y)为车道线上各个点的坐标；(k

在本申请一些实施方式中，根据消失点所在的水平线以上的区域，确定为感兴趣区域，具体包括：

确定消失点所在的水平线坐标为：

确定感兴趣区域为：

在本申请一些实施方式中，目标检测神经网络为SqueezeDet全卷积神经网络。

根据本申请实施例的第二个方面，提供了一种基于感兴趣区域的红绿灯识别系统，具体包括：

灰度化图像模块：用于获取红绿灯原始图像，进行灰度化处理，得到灰度化图像；

消失点检测模块：用于根据灰度化图像，进行消失点检测，确定消失点位置；

感兴趣区域模块：用于根据消失点所在的水平线以上的区域，确定为感兴趣区域；

红绿灯识别模块：用于将感兴趣区域输入目标检测神经网络，得到红绿灯识别结果。

根据本申请实施例的第三个方面，提供了一种基于感兴趣区域的红绿灯识别设备，包括：

存储器：用于存储可执行指令；以及

处理器:用于与存储器连接以执行可执行指令从而完成基于感兴趣区域的红绿灯识别方法。

根据本申请实施例的第四个方面，提供了一种计算机可读存储介质，其上存储有计算机程序；计算机程序被处理器执行以实现基于感兴趣区域的红绿灯识别方法。

采用本申请实施例中的基于感兴趣区域的红绿灯识别方法、系统及存储介质，获取红绿灯原始图像，进行灰度化处理，得到灰度化图像；根据灰度化图像，进行消失点检测，确定消失点位置；根据消失点所在的水平线以上的区域，确定为感兴趣区域；将感兴趣区域输入目标检测神经网络，得到红绿灯识别结果。本申请通过将消失点所在水平线以上的部分确定为红绿灯识别的感兴趣区域，在感兴趣区域基础上进行红绿灯识别检测，大大降低了红绿灯的误检率，避免了将前车的后车灯识别成红灯等误检、漏检的现象，进而进一步避免了安全事故的几率。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1中示出了根据本申请实施例的基于感兴趣区域的红绿灯识别方法的步骤示意图；

图2中示出了根据本申请实施例的基于感兴趣区域的红绿灯识别方法的流程示意图；

图3中示出了根据本申请实施例的红绿灯识别方法中感兴趣区域确定的示意图；

图4中示出了根据本申请实施例的红绿灯识别方法中在现实场景中的感兴趣区域确定示意图；

图5中示出了根据本申请实施例的基于感兴趣区域的红绿灯识别系统的结构示意图；

图6中示出了根据本申请实施例的基于感兴趣区域的红绿灯识别设备的结构示意图。

具体实施方式

在实现本申请的过程中，发明人发现现有智能驾驶在识别红绿灯时，大多利用红绿灯的颜色、形状等特征识别，容易出现将前车的后车灯识别成红灯等误检、漏检的现象，进而造成严重的安全事故的问题。

本申请考虑到红绿灯位置一般在识别图像的上半部分，因此基于消失点检测，将消失点所在水平线以上的部分确定为红绿灯识别的感兴趣区域，在感兴趣区域基础上进行红绿灯识别检测，可大大降低红绿灯的误检率。

基于此，本申请的基于感兴趣区域的红绿灯识别方法、系统及存储介质，获取红绿灯原始图像，进行灰度化处理，得到灰度化图像；根据灰度化图像，进行消失点检测，确定消失点位置；根据消失点所在的水平线以上的区域，确定为感兴趣区域；将感兴趣区域输入目标检测神经网络，得到红绿灯识别结果。

本申请首先基于边缘检测和霍夫变换确定图像消失点所在位置，消失点所在的水平线以上的区域为红绿灯识别的感兴趣区域，然后利用squeezedet检测网络识别交通灯，实现了低功耗检测。

本申请通过将消失点所在水平线以上的部分确定为红绿灯识别的感兴趣区域，在感兴趣区域基础上进行红绿灯识别检测，大大降低了红绿灯的误检率，避免了将前车的后车灯识别成红灯等误检、漏检的现象，避免不必要的刹车，进一步避免了安全事故的几率，同时，增加了辅助驾驶的安全性，提高用户体验。

为了使本申请实施例中的技术方案及优点更加清楚明白，以下结合附图对本申请的示例性实施例进行进一步详细的说明，显然，所描述的实施例仅是本申请的一部分实施例，而不是所有实施例的穷举。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

实施例1

图1中示出了根据本申请实施例的基于感兴趣区域的红绿灯识别方法的步骤示意图。图2中示出了根据本申请实施例的基于感兴趣区域的红绿灯识别方法的流程示意图。

如图1、图2所示，本申请实施例的基于感兴趣区域的红绿灯识别方法，具体包括以下步骤：

S101：获取红绿灯原始图像，进行灰度化处理，得到灰度化图像。

具体的，将获取的红绿灯原始图像进行灰度化处理，得到的灰度图包含很多噪声，本申请使用中值滤波算法对其进行平滑降噪，可减少后续处理的干扰信息。

S102：根据灰度化图像，进行消失点检测，确定消失点位置。

S103：根据消失点所在的水平线以上的区域，确定为感兴趣区域。

具体的，首先，根据灰度化图像，识别出多条道路线；然后，根据多条道路线，得到多条道路线的相交点位置，即消失点位置。

其中，根据灰度化图像，识别出多条道路线，具体包括：通过Sobel边缘检测以及霍夫变换算法，拟合出灰度化图像中的多条车道线。

本申请对灰度化后的图像进行Sobel边缘检测，然后利用霍夫变换算法(Hough)进行直线检测，拟合出道路图像上的车道线；Hough变换算法能将图像坐标系中的直线转换为参数坐标系中的一个点，参数坐标系的方程为：ρ＝xcosθ+ysinθ。

由于所有车道线都会相交于消失点，消失点位置确定后，其所在的水平线以上的位置即为红绿灯识别的感兴趣区域。

理论上，两条直线即可确定一个相交点，而多条车道线中至少包括一条左车道线以及一条右车道线。因此，本申请以左、右两条车道线进一步说明本申请感兴趣区域ROI(region of interest)的确定过程。

图3中示出了根据本申请实施例的红绿灯识别方法中感兴趣区域确定的示意图。图4中示出了根据本申请实施例的红绿灯识别方法中在现实场景中的感兴趣区域确定示意图。

如图3及图4所示，根据左车道线A以及右车道线B，计算得到两条道路线的相交点O的位置，即消失点位置。进而根据消失点所在水平线，确定感兴趣区域ROI(region ofinterest)。

具体步骤包括：

1)通过Hough变换，得到左车道线A图像坐标公式(1)：

y＝k

以及右车道线B图像坐标公式(2)：

y＝k

根据以上公式(1)和(2)，得到左车道线与右车道线的交点O的坐标为(x，

其中，(x，y)为车道线上各个点的坐标；(k

2)根据消失点所在的水平线以上的区域，确定为感兴趣区域，具体包括：

确定消失点O所在的水平线坐标为：

确定感兴趣区域ROI的范围为：

S104：将感兴趣区域输入目标检测神经网络，得到红绿灯识别结果。

具体的，目标检测神经网络为SqueezeDet全卷积神经网络。

SqueezeDet是一种应用于自动驾驶领域的实时目标检测的小型、低功耗的全卷积神经网络。确定图像感兴趣区域后，将图像传送到SqueezeDet目标检测网络，进行红绿灯的检测。

采用本申请实施例中的基于感兴趣区域的红绿灯识别方法，获取红绿灯原始图像，进行灰度化处理，得到灰度化图像；根据灰度化图像，进行消失点检测，确定消失点位置；根据消失点所在的水平线以上的区域，确定为感兴趣区域；将感兴趣区域输入目标检测神经网络，得到红绿灯识别结果。

本申请首先基于边缘检测和霍夫变换确定图像消失点所在位置，消失点所在的水平线以上的区域为红绿灯识别的感兴趣区域，然后利用squeezedet检测网络识别交通灯，实现了低功耗检测。

本申请通过将消失点所在水平线以上的部分确定为红绿灯识别的感兴趣区域，在感兴趣区域基础上进行红绿灯识别检测，大大降低了红绿灯的误检率，避免了将前车的后车灯识别成红灯等误检、漏检的现象，避免不必要的刹车，进一步避免了安全事故的几率，同时，增加了辅助驾驶的安全性，提高用户体验。

实施例2

本实施例提供了一种基于感兴趣区域的红绿灯识别系统，对于本实施例的基于感兴趣区域的红绿灯识别系统中未披露的细节，请参照其它实施例中的基于感兴趣区域的红绿灯识别方法的具体实施内容。

图5中示出了根据本申请实施例的基于感兴趣区域的红绿灯识别系统的结构示意图。

如图5所示，本申请实施例的基于感兴趣区域的红绿灯识别系统，具体包括灰度化图像模块10、消失点检测模块20、感兴趣区域模块30以及红绿灯识别模块40。

具体的，

灰度化图像模块10：用于获取红绿灯原始图像，进行灰度化处理，得到灰度化图像。

具体的，将获取的红绿灯原始图像进行灰度化处理，得到的灰度图包含很多噪声，本申请使用中值滤波算法对其进行平滑降噪，可减少后续处理的干扰信息。

消失点检测模块20：用于根据灰度化图像，进行消失点检测，确定消失点位置。

感兴趣区域模块30：用于根据消失点所在的水平线以上的区域，确定为感兴趣区域。

具体的，首先，根据灰度化图像，识别出多条道路线；然后，根据多条道路线，得到多条道路线的相交点位置，即消失点位置。

其中，根据灰度化图像，识别出多条道路线，具体包括：通过Sobel边缘检测以及霍夫变换算法，拟合出灰度化图像中的多条车道线。

本申请对灰度化后的图像进行Sobel边缘检测，然后利用霍夫变换算法(Hough)进行直线检测，拟合出道路图像上的车道线；Hough变换算法能将图像坐标系中的直线转换为参数坐标系中的一个点，参数坐标系的方程为：ρ＝x cosθ+y sinθ。

理论上，两条直线即可确定一个相交点，而多条车道线中至少包括一条左车道线以及一条右车道线。因此，本申请以左、右两条车道线进一步说明本申请感兴趣区域ROI(region of interest)的确定过程。

如图3及图4所示，根据左车道线A以及右车道线B，计算得到两条道路线的相交点O的位置，即消失点位置。进而根据消失点所在水平线，确定感兴趣区域ROI(region ofinterest)。

具体步骤包括：

1)通过Hough变换，得到左车道线A图像坐标公式(1)：

y＝k

以及右车道线B图像坐标公式(2)：

y＝k

根据以上公式(1)和(2)，得到左车道线与右车道线的交点O的坐标为(x，

其中，(x，y)为车道线上各个点的坐标；(k

2)根据消失点所在的水平线以上的区域，确定为感兴趣区域，具体包括：

确定消失点O所在的水平线坐标为：

确定感兴趣区域ROI的范围为：

红绿灯识别模块40：用于将感兴趣区域输入目标检测神经网络，得到红绿灯识别结果。

具体的，目标检测神经网络为SqueezeDet全卷积神经网络。

SqueezeDet是一种应用于自动驾驶领域的实时目标检测的小型、低功耗的全卷积神经网络。确定图像感兴趣区域后，将图像传送到SqueezeDet目标检测网络，进行红绿灯的检测。

采用本申请实施例中的基于感兴趣区域的红绿灯识别方法，灰度化图像模块10获取红绿灯原始图像，进行灰度化处理，得到灰度化图像；消失点检测模块20根据灰度化图像，进行消失点检测，确定消失点位置；感兴趣区域模块30根据消失点所在的水平线以上的区域，确定为感兴趣区域；红绿灯识别模块40将感兴趣区域输入目标检测神经网络，得到红绿灯识别结果。

本申请首先基于边缘检测和霍夫变换确定图像消失点所在位置，消失点所在的水平线以上的区域为红绿灯识别的感兴趣区域，然后利用squeezedet检测网络识别交通灯，实现了低功耗检测。

本申请通过将消失点所在水平线以上的部分确定为红绿灯识别的感兴趣区域，在感兴趣区域基础上进行红绿灯识别检测，大大降低了红绿灯的误检率，避免了将前车的后车灯识别成红灯等误检、漏检的现象，避免不必要的刹车，进一步避免了安全事故的几率，同时，增加了辅助驾驶的安全性，提高用户体验。

实施例3

本实施例提供了一种基于感兴趣区域的红绿灯识别设备，对于本实施例的基于感兴趣区域的红绿灯识别设备中未披露的细节，请参照其它实施例中的基于感兴趣区域的红绿灯识别方法或系统具体的实施内容。

图3中示出了根据本申请实施例的基于感兴趣区域的红绿灯识别设备400的结构示意图。

如图3所示，基于感兴趣区域的红绿灯识别设备400，包括：

存储器402：用于存储可执行指令；以及

处理器401:用于与存储器402连接以执行可执行指令从而完成运动矢量预测方法。

本领域技术人员可以理解，示意图3仅仅是红绿灯识别设备400的示例，并不构成对红绿灯识别设备400的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如红绿灯识别设备400还可以包括输入输出设备、网络接入设备、总线等。

所称处理器401(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application SpecificIntegrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器401也可以是任何常规的处理器等，处理器401是红绿灯识别设备400的控制中心，利用各种接口和线路连接整个红绿灯识别设备400的各个部分。

存储器402可用于存储计算机可读指令，处理器401通过运行或执行存储在存储器402内的计算机可读指令或模块，以及调用存储在存储器402内的数据，实现红绿灯识别设备400的各种功能。存储器402可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据红绿灯识别设备400使用所创建的数据等。此外，存储器402可以包括硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、只读存储器(Read-OnlyMemory，ROM)、随机存取存储器(Random Access Memory，RAM)或其他非易失性/易失性存储器件。

红绿灯识别设备400集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机可读指令来指令相关的硬件来完成，的计算机可读指令可存储于一计算机可读存储介质中，该计算机可读指令在被处理器执行时，可实现上述各个方法实施例的步骤。

实施例4

本实施例提供了一种计算机可读存储介质，其上存储有计算机程序；计算机程序被处理器执行以实现其他实施例中的基于感兴趣区域的红绿灯识别方法。

本申请实施例中的基于感兴趣区域的红绿灯识别设备及计算机存储介质，获取红绿灯原始图像，进行灰度化处理，得到灰度化图像；根据灰度化图像，进行消失点检测，确定消失点位置；根据消失点所在的水平线以上的区域，确定为感兴趣区域；将感兴趣区域输入目标检测神经网络，得到红绿灯识别结果。

本申请首先基于边缘检测和霍夫变换确定图像消失点所在位置，消失点所在的水平线以上的区域为红绿灯识别的感兴趣区域，然后利用squeezedet检测网络识别交通灯，实现了低功耗检测。

本申请通过将消失点所在水平线以上的部分确定为红绿灯识别的感兴趣区域，在感兴趣区域基础上进行红绿灯识别检测，大大降低了红绿灯的误检率，避免了将前车的后车灯识别成红灯等误检、漏检的现象，避免不必要的刹车，进一步避免了安全事故的几率，同时，增加了辅助驾驶的安全性，提高用户体验。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在本发明使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本发明可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本发明范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

尽管已描述了本申请的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请范围的所有变更和修改。

显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。