一种双摄融合的红绿灯识别方法、装置、电子设备以及介质

技术领域

本申请涉及红绿灯识别技术领域，具体涉及一种双摄融合的红绿灯识别方法、装置、电子设备以及介质。

背景技术

随着社会经济和科学技术的不断发展，汽车作为交通工具成为了人们生活中的一部分，安全驾驶和智能驾驶已经成为人们追求的方向，自动驾驶中的红绿灯识别是自动驾驶中道路检测模块的重要部分。主要用于识别道路的车辆信号灯和行人信号灯。用于车辆的行车控制，检测到不同的交通信号灯，会给驾驶员不同的反馈提醒。

在一些目标检测模型中，单摄提供的图像信息不能满足算法场景的需求，单摄像头拍摄的图像画面较为模糊，在后续对图像进行识别的过程中，判断失误以及漏识别概率增大，小目标检测在现阶段的模型中始终得不到较好的解决，直接影响车辆的行驶安全，因此有时候需要引入多个摄像头，提供多角度，不同深度，不同分辨率的图像，来提高模型的识别率。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种双摄融合的红绿灯识别方法、装置、电子设备以及介质，用于解决现有技术中判断失误以及漏识别概率增大，小目标检测在现阶段的模型中始终得不到较好的解决的问题。

为实现上述目的及其他相关目的，本发明提供一种双摄融合的红绿灯识别方法，包括：

获取红绿灯长焦图像和红绿灯短焦图像；

将所述红绿灯长焦图像和所述红绿灯短焦图像导入到预设处理模型进行图像处理，并得到预测目标信息，所述预测目标信息包括长焦坐标像素块和短焦坐标像素块；

基于所述长焦坐标像素块和短焦坐标像素块的映射关系，将所述红绿灯长焦图像与红绿灯短焦图像进行图像融合处理并得到融合图像，基于所述融合图像提取红绿灯的参数信息。

于本发明的一实施例中，将所述红绿灯长焦图像与红绿灯短焦图像进行图像融合处理并得到融合图像包括：

所述预测目标信息还包括预测目标位置；

获取所述短焦图像中心四分之一面积的框选区域，判断所述预测目标位置是否位于所述框选区域内，若所述预测目标位置位于所述框选区域外部，则判定短焦坐标像素块为最终显示图像；若所述预测目标位置位于所述框选区域内部，则进行置信度判定。

于本发明的一实施例中，所述进行置信度判定包括：

所述预测目标信息还包括长焦图像置信度和短焦图像置信度；

将所述预测目标位置的长焦图像置信度和短焦图像置信度进行比对，若所述长焦图像置信度大于所述短焦图像置信度，则选取所述长焦坐标像素块为最终显示图像；若所述短焦图像置信度大于或等于所述长焦图像置信度，则选取所述短焦坐标像素块为最终显示图像。

于本发明的一实施例中，获取红绿灯长焦图像和红绿灯短焦图像包括：

采用长焦摄像装置获取所述红绿灯长焦图像；

采用短焦摄像装置获取所述红绿灯短焦图像。

于本发明的一实施例中，将所述红绿灯长焦图像与红绿灯短焦图像进行图像融合处理并得到融合图像还包括：

对所述长焦图像和短焦图像进行深度信息转换。

于本发明的一实施例中，将所述红绿灯长焦图像和所述红绿灯短焦图像导入到预设处理模型进行图像处理包括：

所述预设处理模型包括长焦处理模型和短焦处理模型；

将所述长焦图像导入所述长焦处理模型进行图像处理，将所述短焦图像导入所述短焦处理模型进行图像处理。

于本发明的一实施例中，所述红绿灯识别方法还包括：

将同一张独立拍摄图像分别导入至所述长焦处理模型和短焦处理模型进行处理并输出长焦处理独立图像、短焦处理独立图像和独立预测目标信息；

再基于所述独立预测目标信息将所述长焦处理独立图像、短焦处理独立图像进行融合。

本发明还提供一种双摄融合的红绿灯识别装置，包括：

摄像模块，用于获取所述红绿灯长焦图像和所述红绿灯短焦图像；

处理模块，用于处理所述红绿灯长焦图像和所述红绿灯短焦图像；

融合模块，用于融合所述红绿灯长焦图像和所述红绿灯短焦图像，并从融合后的图像中提取红绿灯的信号参数。

本发明还提供一种电子设备，所述电子设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述电子设备实现如上述中任一项所述的一种双摄融合的红绿灯识别方法。

本发明还提供一种计算机可读存储介质，其上存储有计算机程序，当所述计算机程序被计算机的处理器执行时，使计算机执行上述中任一项所述的一种双摄融合的红绿灯识别方法。

如上所述，本发明中的技术方案带来的有益效果至少包括：

通过红绿灯长焦图像和红绿灯短焦图像处理，将经过处理的图像基于映射关系进行融合，并得到融合后的高精度融合图像，利用红绿灯长焦图像识别附近的小目标，将红绿灯长焦图像的小目标融合到短焦图像中，将小目标清晰度提高，从而提升了识别的精度，让自动识别系统识别红绿灯的信号参数更加准确，提升了车辆行驶的安全系数。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本申请的实施例，并与说明书一起用于解释本申请的原理。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术者来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1显示为本发明一示例性实施例的一种双摄融合的红绿灯识别方法的流程图；

图2显示为本发明一示例性实施例的短焦图像框选区域判断的流程图；

图3显示为本发明一示例性实施例的置信度判断流程图；

图4显示为本发明一示例性实施例的一种双摄融合的红绿灯识别装置的框图；

图5是本申请的一示例性实施例示出的计算机系统的结构示意图。

具体实施方式

以下将参照附图和优选实施例来说明本发明的实施方式，本领域技术人员可由本说明书中所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。应当理解，优选实施例仅为了说明本发明，而不是为了限制本发明的保护范围。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

在下文描述中，探讨了大量细节，以提供对本发明实施例的更透彻的解释，然而，对本领域技术人员来说，可以在没有这些具体细节的情况下实施本发明的实施例是显而易见的，在其他实施例中，以方框图的形式而不是以细节的形式来示出公知的结构和设备，以避免使本发明的实施例难以理解。

图1为本申请的一示例性实施例示出的一种双摄融合的红绿灯识别方法的流程图，请参见图1，本发明提供一种双摄融合的红绿灯识别方法，包括：

步骤110、获取红绿灯长焦图像和红绿灯短焦图像；

步骤120、将红绿灯长焦图像和红绿灯短焦图像导入到预设处理模型进行图像处理，并得到预测目标信息，预测目标信息包括长焦坐标像素块和短焦坐标像素块；

步骤130、基于长焦坐标像素块和短焦坐标像素块的映射关系，将红绿灯长焦图像与红绿灯短焦图像进行图像融合并生成融合图像，基于融合图像提取红绿灯的参数信息。

在本申请的一个实施例中，具体的，采用摄像装置分别获取红绿灯长焦图像和红绿灯短焦图像，将红绿灯长焦图像和红绿灯短焦图像分别导入到预设处理模型进行处理，其中预设处理模型包括长焦处理模型和短焦处理模型，将红绿灯长焦图像导入长焦处理模型，将红绿灯短焦图像导入短焦处理模型，并得到预测目标信息，其中预测目标信息包括长焦坐标像素块和短焦坐标像素块，处理系统根据长焦坐标像素块和短焦坐标像素块之间预设的映射关系将红绿灯长焦图像和红绿灯短焦图像进行图像融合并生成融合图像，处理系统再根据融合图像提取出红绿灯的参数信息，完成红绿灯的识别，并基于识别的红绿灯信息对驾驶员进行提醒，提升驾驶安全性和舒适性。

基于长焦坐标像素块和短焦坐标像素块对红绿灯长焦图像和红绿灯短焦图像进行图像融合并生成融合图像包括：

预测目标信息还包括预测目标位置；

图2为本申请的一示例性实施例示出的短焦图像框选区域判断的流程图，请参见图2：

步骤210、获取短焦图像中心四分之一面积的框选区域；

步骤220、判断预测目标位置是否位于框选区域内；

步骤230、若预测目标位置位于框选区域内，则判定短焦坐标像素块为最终显示图像；

步骤240、若预测目标位置位于框选区域外部，则进行置信度判定。

在本申请的一个实施例中，具体的，选取短焦图像长和宽二分之一中心处的框选区域，即框选区域占短焦图像面积的四分之一，判断预测目标位置是否位于框选区域内，如果预测目标位于框选区域外部，则最终显示短焦箱数快为最终显示信息，如果与车目标位置位于框选区域内部，则进行置信度判定。

预测目标信息还包括长焦图像置信度和短焦图像置信度；

图3为本申请的一示例性实施例示出的置信度判断的流程图，请参见图3：

步骤310、将预测目标位置的长焦图像置信度和短焦图像置信度进行比对；

步骤320、若长焦图像置信度大于短焦图像置信度，则选取长焦坐标像素块为最终显示图像；

步骤330、若短焦图像置信度大于或等于长焦图像置信度，则选取短焦坐标像素块为最终显示图像。

在本申请的一个实施例中，具体的，人工智能图像识别置信度需要算法模型需要先进行训练，具体训练步骤包括：

准备试验车一台，800W像素长焦摄像头和短焦摄像头各一个，分别安装在车辆的同一高度，一张实验GPU和一台实验服务器；

分别对白天、黑夜、高速路和城区进行数据采集，采集比例在1：1：1：1，每类数据在2W张以上；

将红绿灯分为两个类别标签，第一类别包括红绿灯的灯箱及其属性(如亮/灭)，第二类别标签包括红绿灯的灯箱中的小灯泡类别及其颜色属性(如红/黄/绿)；

配置yolox(yolox是one-stage目标检测中前沿算法，算法准确率高，推理速度快，生态较为成熟)环境训练模型，基于linux系统(全称GUN/Linux是一种操作系统)开发，使用torch框架(深度学习框架，是一个有大量机器学习算法支持的科学计算框架)进行训练，生成识别结果。

本表格中表明经过融合后的图像Recall(召回率-表示的是样本中的正例有多少被预测正确了)高于融合前的图像。

基于上述的人工智能图像识别置信度系统进行置信度判定，将预测目标位置的长焦图像置信度和短焦图像置信度进行比对，当长焦图像置信度大于短焦图像置信度时，选择该预测目标位置的长焦坐标像素块为最终显示图像，当短焦图像置信度大于或等于长焦图像置信度是，选择该预测目标位置的短焦坐标像素块为最终显示图像。

获取红绿灯长焦图像和红绿灯短焦图像包括：

采用长焦摄像装置获取红绿灯长焦图像；

采用短焦摄像装置获取红绿灯短焦图像。

将红绿灯长焦图像与红绿灯短焦图像进行图像融合处理并得到融合图像还包括：

对长焦图像和短焦图像进行深度信息转换；

采用公式，D1P1＝K1P；D2P2＝K2P＝K2(RP+T)；

其中，P是指假设空间坐标系中存在一个点，P1，P2表示在长短焦像素坐标系中分别对应的像素点，K1、K2分别代表长焦摄像装置和短焦摄像装置的内参，R、T分别代表长焦摄像装置和短焦摄像装置的外参矩阵，D1、D2分别代表点P在长焦摄像装置和短焦摄像装置坐标系中的深度信息。

在本申请的一个实施例中，具体的，求解相机内参、相机外参和映射关系，其中：

相机内参：相机内参是指相机的光学特性参数，包括参数矩阵(世界坐标系和像素坐标系的转换关系矩阵)：fx、fy、cx、cy；

径向畸变：k1、k2、k3；

切向畸变：p1、p2；

相机外参：相机外参是指两个或者多个相机之间的位置关系(选择矩阵R，平移矩阵T)；

映射关系：

则深度信息转换：采用公式，D1P1＝K1P；D2P2＝K2P＝K2(RP+T)，其中，P是指假设空间坐标系中存在一个点，P1，P2表示在长短焦像素坐标系中分别对应的像素点，K1、K2分别代表长焦摄像装置和短焦摄像装置的内参，R、T分别代表长焦摄像装置和短焦摄像装置的外参矩阵，D1、D2分别代表点P在长焦摄像装置和短焦摄像装置坐标系中的深度信息；

当P无穷大的时候，深度信息转换采用公式，P1＝K1P，P2＝K2(RP+T)

齐次坐标：就是将一个原本是n维的向量用一个n+1维向量来表示，是指一个用于投影几何里的坐标系统，这里P1和P2原则上可以是无穷远处的一个点。

P2和P1转换关系采用公式：P2＝K2RK

将红绿灯长焦图像和红绿灯短焦图像导入到预设处理模型进行图像处理包括：

预设处理模型包括长焦处理模型和短焦处理模型；

将长焦图像导入长焦处理模型进行图像处理，将短焦图像导入短焦处理模型进行图像处理。

红绿灯识别方法还包括：

将同一张独立拍摄图像分别导入至长焦处理模型和短焦处理模型进行处理并输出长焦处理独立图像、短焦处理独立图像和独立预测目标信息；

再基于独立预测目标信息将长焦处理独立图像、短焦处理独立图像进行融合

在本申请的一个实施例中，具体的，只需要将一张图像分别导入到长焦处理模型和短焦处理模型进行图像处理并输出检测结果，通过映射关系将长焦处理模型和短焦处理模型分别处理的图像进行融合，能得到比之前初始图像精度高的图像。

图4为本申请的一示例性实施例示出的一种双摄融合的红绿灯识别装置的框图，请参见图4：

本发明还提供一种双摄融合的红绿灯识别装置，包括：

摄像模块410，用于获取红绿灯长焦图像和红绿灯短焦图像；

处理模块420，用于处理红绿灯长焦图像和红绿灯短焦图像；

融合模块430，用于融合红绿灯长焦图像和红绿灯短焦图像，并从融合后的图像中提取红绿灯的信号参数。

在本申请的一个实施例中，具体的，摄像模块410采用两个安装在车辆同一高度的摄像头，两个摄像头分别为长焦摄像头和短焦摄像头，长焦摄像头和短焦摄像头分别获取红绿长焦图像和红绿灯短焦图像；

处理模块420采用长焦处理模型和短焦处理模型，长焦处理模型和短焦处理模可采用上述方法中训练获得；

融合模块430将处理模块处理后的图像融合。

请参见图5，图5为本申请的一示例性实施例示出电子设备的计算机系统的结构示意图。

本发明的一个实施例中，提供了一种双摄融合的红绿灯识别方法的电子设备，包括存储器、至少一个处理器及存储再存储器上并可再处理器上运行的计算机程序，使得计算机设备实现上述各个实施例中一种双摄融合的红绿灯识别方法。

计算机系统500包括中央处理单元(Central Processing Unit，CPU)501，其可以根据存储在只读存储器(Read-Only Memory，ROM)502中的程序或者从储存部分508加载到随机访问存储器(Random Access Memory，RAM)503中的程序而执行各种适当的动作和处理，例如执行上述实施例中的方法。在RAM 503中，还存储有系统操作所需的各种程序和数据。CPU 501、ROM 502以及RAM 503通过总线504彼此相连。输入/输出(Input/Output，I/O)接口505也连接至总线504。

以下部件连接至I/O接口505：包括键盘、鼠标等的输入部分506；包括诸如阴极射线管(Cathode Ray Tube，CRT)、液晶显示器(Liquid Crystal Display，LCD)等以及扬声器等的输出部分507；包括硬盘等的储存部分508；以及包括诸如LAN(Local Area Network，局域网)卡、调制解调器等的网络接口卡的通信部分509。通信部分509经由诸如因特网的网络执行通信处理。驱动器510也根据需要连接至I/O接口505。可拆卸介质511，诸如磁盘、光盘、磁光盘、半导体存储器等等，根据需要安装在驱动器510上，以便于从其上读出的计算机程序根据需要被安装入储存部分508。

特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时，执行本申请的系统中限定的各种功能。

特别地，根据本申请的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本申请的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的计算机程序。在这样的实施例中，该计算机程序可以通过通信部分509从网络上被下载和安装，和/或从可拆卸介质511被安装。在该计算机程序被中央处理单元(CPU)501执行时，执行本申请的系统中限定的各种功能。

本申请的另一方面还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被计算机的处理器执行时，使计算机执行如前一种双摄融合的红绿灯识别方法。该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的，也可以是单独存在，而未装配入该电子设备中。

本申请的另一方面还提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各个实施例中提供的一种双摄融合的红绿灯识别方法。

本实施例公开的电子设备，包括处理器、存储器、收发器和通信接口，存储器和通信接口与处理器和收发器连接并完成相互间的通信，存储器用于存储计算机程序，通信接口用于进行通信，处理器和收发器用于运行计算机程序，使电子设备执行如上方法的各个步骤。

在本实施例中，存储器可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。

上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、图形处理器(Graphics Processing Unit，简称GPU)，网络处理器(NetworkProcessor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application Specific Integrated Circuit，简称ASIC)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

以上描述和附图充分地示出了本公开的实施例，以使本领域的技术人员能够实践它们。其他实施例可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选地，并且操作的顺序可以变化。一些实施例的部分和子样本可以被包括在或替换其他实施例的部分和子样本。而且，本申请中使用的用词仅用于描述实施例并且不用于限制权利要求。如在实施例以及权利要求的描述中使用的，除非上下文清楚地表明，否则单数形式的“一个”(a)、“一个”(an)和“”(the)旨在同样包括复数形式。类似地，如在本申请中所使用的术语“和/或”是指包含一个或一个以上相关联的列出的任何以及所有可能的组合。另外，当用于本申请中时，术语“包括”(comprise)及其变型“包括”(comprises)和/或包括(comprising)等指陈述的子样本、整体、步骤、操作、元素，和/或组件的存在，但不排除一个或一个以上其它子样本、整体、步骤、操作、元素、组件和/或这些的分组的存在或添加。在没有更多限制的情况下，由语句“包括一个…”限定的要素，并不排除在包括要素的过程、方法或者设备中还存在另外的相同要素。本文中，每个实施例重点说明的可以是与其他实施例的不同之处，各个实施例之间相同相似部分可以互相参见。对于实施例公开的方法、产品等而言，如果其与实施例公开的方法部分相对应，那么相关之处可以参见方法部分的描述。需要说明的是，本申请实施例所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的计算机程序。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的计算机程序可以用任何适当的介质传输，包括但不限于：无线、有线等等，或者上述的任意合适的组合。

本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，可以取决于技术方案的特定应用和设计约束条件。技术人员可以对每个特定的应用来使用不同方法以实现所描述的功能，但是这种实现不应认为超出本公开实施例的范围。技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本文所披露的实施例中，所揭露的方法、产品(包括但不限于装置、设备等)，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，单元的划分，可以仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些子样本可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例。另外，在本公开实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

附图中的流程图和框图显示了根据本公开实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。在附图中的流程图和框图所对应的描述中，不同的方框所对应的操作或步骤也可以以不同于描述中所披露的顺序发生，有时不同的操作或步骤之间不存在特定的顺序。例如，两个连续的操作或步骤实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。