交通标志物的测距方法、装置、存储介质及电子设备

技术领域

本公开涉及智能驾驶技术领域，尤其涉及一种交通标志物的测距方法、装置、计算机可读存储介质及电子设备。

背景技术

随着社会经济的快速发展，汽车数量与日俱增，智能驾驶技术的发展对汽车安全行驶的作用越来越重要。智能驾驶系统主要依赖车载摄像头和车载雷达对车辆周边的环境进行感知。车载摄像头的拍摄效果会受天气、光照等因素影响，尤其在光线不足的夜晚，车载摄像头感知的视觉检测精度降低，导致预测的车载摄像头与交通标志物之间的距离的误差较大，影响车辆安全驾驶。

发明内容

为了解决上述技术问题，本公开提供了一种交通标志物的测距方法、装置、计算机可读存储介质及电子设备，以实现对车载摄像头和交通标志物之间距离的预测，能够减小车载摄像头与交通标志物之间预测距离的误差，提高测距准确度，从而提高车辆行驶安全性。

本公开的第一个方面，提供了一种交通标志物的测距方法，包括：

确定车辆中车载摄像头实时采集的所述交通标志物的图像帧序列，以及所述图像帧序列中各帧图像对应的里程计帧信息；

根据所述各帧图像和所述各帧图像对应的里程计帧信息，确定残差函数和优化模型；

根据所述残差函数和所述优化模型，确定所述交通标志物在世界坐标系中的目标位置；

根据所述各帧图像对应的里程计帧信息和所述目标位置，确定所述车载摄像头与所述交通标志物之间的实时距离。

本公开的第二个方面，提供了一种交通标志物的测距装置，包括：

第一确定模块，用于确定车辆中车载摄像头实时采集的所述交通标志物的图像帧序列，以及所述图像帧序列中各帧图像对应的里程计帧信息；

第二确定模块，用于根据所述各帧图像和所述各帧图像对应的里程计帧信息，确定残差函数和优化模型；

第三确定模块，用于根据所述残差函数和所述优化模型，确定所述交通标志物在世界坐标系中的目标位置；

第四确定模块，用于根据所述各帧图像对应的里程计帧信息和所述目标位置，确定所述车载摄像头与所述交通标志物之间的实时距离。

本公开的第三个方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行本公开第一个方面提供的交通标志物的测距方法。

本公开的第四个方面，提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述指令，并执行本公开第一个方面提供的交通标志物的测距方法。

本公开的第五个方面，提供了一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时，执行本公开的第一个方面提供的交通标志物的测距方法。

本公开提供的交通标志物的测距方法，应用于智能驾驶系统，在车辆行驶过程中，测距装置基于车载摄像头实时采集的交通标志物的多帧图像和该多帧图像对应的里程计帧信息，预测交通标志物的目标位置，进而根据里程计帧信息和预测的目标位置，确定车载摄像头与交通标志物之间的实时距离，通过该方法，能够减小车载摄像头与交通标志物之间预测的距离的误差，提高测距准确度，从而提高车辆行驶安全性。

附图说明

图1A是本公开一示例性实施例提供的交通标志物的测距系统的组成示意图。

图1B是本公开一示例性实施例提供的测距系统进行测距的场景示意图。

图1C是本公开一示例性实施例提供的车载摄像头采集的一帧交通信号灯图像的示意图。

图2是本公开一示例性实施例提供的交通标志物的测距方法的实现流程示意图。

图3是本公开另一示例性实施例提供的交通标志物的测距方法的实现流程示意图。

图4是本公开再一示例性实施例提供的交通标志物的测距方法的实现流程示意图。

图5是本公开又一示例性实施例提供的交通标志物的测距方法的实现流程示意图。

图6是本公开再一示例性实施例提供的交通标志物的测距方法的实现流程示意图。

图7是本公开一示例性实施例提供的交通标志物的测距装置的组成结构示意图。

图8是本公开另一示例性实施例提供的交通标志物的测距装置的组成结构示意图。

图9是本公开一示例性实施例提供的电子设备的组成结构图。

具体实施方式

为了解释本公开，下面将参考附图详细地描述本公开的示例实施例，显然，所描述的实施例仅是本公开的一部分实施例，而不是全部实施例，应理解，本公开不受示例性实施例的限制。

应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本公开的范围。

申请概述

智能驾驶系统是基于人工智能(Artificial Intelligence，AI)技术开发的一种辅助驾驶系统，通过感知和分析车辆周围的环境信息，自主地做出驾驶决策，实现车辆自动行驶或半自动驾驶。智能驾驶系统主要依赖车载摄像头和车载雷达对智能驾驶车辆(下文简称车辆)周边的环境进行感知。在感知距离的场景中，智能驾驶系统获取车载摄像头实时采集车辆周边的环境图像，根据实时采集的图像预测车载摄像头与交通标志物之间的距离，基于该预测距离确定并执行相应的规划控制操作。

在智能驾驶领域中，所应用的车载摄像头主要为单目摄像头或双目摄像头。单目摄像头测距主要是基于目标识别和小孔成像原理实现的，具有结构简单、算法成熟、计算量较小以及成本较低等优点，但对天气、光照等因素较为敏感，在天气或光照较差的环境下，目标识别的准确率大大降低，导致测距准确度降低。双目摄像头测距主要是基于三角测量原理实现的，虽然无需识别目标对象，但是其存在结构复杂、算法复杂度高、成本较大，尤其计算量巨大等缺陷，并且天气、光照等因素也会对双目摄像头造成一定影响，影响测距准确度。

为了解决相关技术中预测车载摄像头与交通标志物之间距离误差较大，影响车辆安全驾驶的问题，本公开实施例提供一种交通标志物的测距方法，该方法根据实时采集的图像帧序列和图像帧序列中各帧图像对应的里程计帧信息，构建优化模型，基于优化模型的最优解实现对车载摄像头和交通标志物之间距离的预测，能够减小车载摄像头与交通标志物之间预测的距离的误差，提高测距准确度，从而提高车辆行驶安全性。

示例性系统

交通标志物是道路上设置的用于对车辆或行人等交通参与者起指示作用的标志物。在智能驾驶领域中，智能驾驶车辆根据交通标志物指示的信息控制车辆在道路上正常行驶。预测车辆与交通标志物之间距离的远近，是安全行驶的必要条件。例如，车辆预行驶路口路段时，需要预测自车至路口的距离，依此来确定是否需要调整车速。本公开实施例中交通标志物以交通信号灯(即红绿灯)为例，预测车载摄像头与交通信号灯之间的距离。其中，车载摄像头与交通信号灯之间的距离，指车载摄像头的相机光心与交通信号灯的中心点之间的距离。

图1A是本公开一示例性实施例提供的交通标志物的测距系统的组成示意图，如图1A所示，该测距系统包括车载摄像头101、行驶记录仪102和测距装置103。

车载摄像头101用于采集交通标志物的多帧图像，可以设置在车内前挡风玻璃上端的中心位置。车载摄像头101可以为采用单个感光元件捕捉平面图像的单目摄像头。

行驶记录仪102，俗称汽车黑匣子，一般设置在副驾驶座下端，是对车辆行驶速度、时间、行驶里程以及有关车辆行驶的其他状态信息进行记录、存储并可通过接口实现数据输出的电子记录装置。

测距装置103用于基于车载摄像头101采集的交通标志物的多帧图像和行驶记录仪102记录的里程计帧信息，预测车载摄像头与交通标志物之间的距离。

图1B是本公开一示例性实施例提供的测距系统进行测距的场景示意图。在图1B所示行驶场景中，车载摄像头101在行驶过程中实时地对交通标志物(即图1B中的交通信号灯)进行图像采集，其中采集的一帧交通信号灯图像如图1C所示。车载摄像头101将采集的多帧图像传输至测距装置103。测距装置103接收车载摄像头发送的多帧图像，并按照采集时间对多帧图像进行排序，组成图像帧序列。

车载摄像头101在采集各帧图像时，车辆的位置和姿态是不同的，测距装置103根据该对应关系，从行驶记录仪102记录的里程计信息中确定图像帧序列的各帧图像对应的里程计帧信息。然后测距装置103根据各帧图像和各帧图像对应的里程计帧信息，构建残差函数和优化模型；确定优化模型的最优解，得到交通信号灯的世界坐标。由于车载摄像头101与车辆的相对位置是固定的，基于车辆的里程计帧信息和车载摄像头101与车辆的相对位置，即可确定车载摄像头101的实时坐标，最后基于车载摄像头101实时坐标和交通信号灯的世界坐标，确定车载摄像头101与交通信号灯之间的实时距离。

本公开实施例提供的交通标志物的测距系统，测距装置基于车载摄像头实时采集的交通标志物的多帧图像和该多帧图像对应的里程计帧信息，预测车载摄像头与交通标志物之间的实时距离，能够减小车载摄像头与交通标志物之间预测的距离的误差，提高车载摄像头和交通信号灯之间预测距离的准确度，确保车辆安全行驶。

示例性方法

图2是本公开一示例性实施例提供的交通标志物的测距方法的流程示意图。如图2所示，该测距方法包括如下步骤：

步骤S201，确定车辆中车载摄像头实时采集的交通标志物的图像帧序列，以及图像帧序列中各帧图像对应的里程计帧信息。

本公开实施例可以由交通标志物的测距装置来执行。下面以交通标志物为交通信号灯举例，对本公开实施例提供的测距方法进行详细说明。

车辆上设置的车载摄像头实时采集交通信号灯的图像，得到多帧图像。该多帧图像的采集时间具有时序关系，可以按照采集时间的先后顺序进行排序，组成图像帧序列。本公开实施例中的车载摄像头可以为单目摄像头。

车载摄像头在采集图像帧序列中各帧图像时，车辆的位姿(包括位置和姿态)是不同的，也就是说车载摄像头采集每帧图像时对应车辆的一个位姿，在该位姿下车辆的行驶记录仪记录有对应的里程计信息。本公开实施例中，将里程计信息的多帧信息中与各帧图像对应的各帧信息，作为各帧图像对应的里程计帧信息。

当需要测距时，测距装置获取车载摄像头实时采集的图像帧序列和图像帧序列中各帧图像对应的里程计帧信息。

步骤S202，根据各帧图像和各帧图像对应的里程计帧信息，确定残差函数和优化模型。

残差(记为e)表示实际观测值和预测值的差值。其中，实际观测值是指在各帧图像中交通信号灯所成的像的实际测量值或观测值，预测值是指根据交通信号灯在世界坐标系W下的世界坐标X

残差e可以为不同指标的残差，不同指标对应不同的约束条件，基于此构建不同约束条件下的多个残差函数(记为J

优化模型(记为J)是基于残差函数J

步骤S203，根据残差函数和优化模型，确定交通标志物在世界坐标系中的目标位置。

本公开实施例中，可以将交通信号灯的中心点在世界坐标系W下的世界坐标X

步骤S204，根据各帧图像对应的里程计帧信息和目标位置，确定车载摄像头与交通标志物之间的实时距离。

车载摄像头固定设置在车辆上，其相对于车辆的位置是固定不变的。车辆在世界坐标系W下的实时位置可以根据车辆的行驶记录仪确定，结合车辆的实时位置和车载摄像头在车辆上的位置，可以确定车载摄像头在世界坐标系W下的实时位置。在世界坐标系W下，获知车载摄像头的实时位置以及交通信号灯的目标位置后，即可根据点与点之间的距离公式，计算车载摄像头与交通信号灯之间的实时距离。

示例性的，车载摄像头与交通信号灯之间的实时距离，可以包括直线距离d、横向距离d

在实际应用中，可以根据不同的应用场景确定不同的实时距离。例如，在需要预测车辆距离前方道路标志牌的距离时，可以预测车载摄像头与交通标志牌之间的实时纵向距离；当需要预测车辆能否顺利通过道路限高杆时，可以预测车载摄像头与限高杆之间的竖向距离；当需要预测车辆能否顺序通过道路限宽防护架时，可以预测车载摄像头与限宽防护架之间的横向距离。在实际应用中，可以结合具体的应用场景确定所需的实时距离，本公开实施例不做限定。

本公开实施例提供的交通标志物的测距方法，车载摄像头实时采集的交通标志物的图像帧序列，通过测距装置确定图像帧序列中各帧图像对应的里程计帧信息；然后根据各帧图像和各帧图像对应的里程计帧信息确定残差函数和优化模型；再根据残差函数和优化模型确定交通标志物在世界坐标系中的目标位置；最后根据各帧图像对应的里程计帧信息和目标位置确定车载摄像头与交通标志物之间的实时距离。该方法基于实时采集的多帧图像和里程计帧信息进行目标优化，确定车载摄像头和交通标志物之间的距离，能够减小预测的距离的误差，提高测距准确度，从而提高车辆行驶安全性。

如图3所示，在图2所示实施例的基础上，上述步骤S201“确定车辆中车载摄像头实时采集的交通标志物的图像帧序列，以及图像帧序列中各帧图像对应的里程计帧信息”，可以包括以下步骤S2011至步骤S2013：

步骤S2011，确定车辆中车载摄像头实时采集的交通标志物的图像帧序列。

车载摄像头采集的每帧图像都对应一个第一时间戳。在一示例中，车载摄像头可以直接采集视频，测距装置从视频包括图像帧中选择所有或部分图像帧组成图像帧序列。另一示例中，车载摄像头可以按照预设的采集周期采集多帧图像。又一示例中，车载摄像头可以随机的采集多帧图像。

步骤S2012，确定车辆中行驶记录仪实时采集的里程计信息。

车辆上设置的行驶记录仪，俗称汽车黑匣子，是对车辆行驶速度、时间、行驶里程以及有关车辆行驶的其他状态信息进行记录、存储并可通过接口实现数据输出的电子记录装置。在行驶过程中，行驶记录仪实时地采集并存储里程计信息。行驶记录仪采集的里程计信息包括的各帧信息在时序上是连续的，连续采集的时间间隔越短，单位时间采集的帧信息的数量越多。例如，若行驶记录仪每20μs(微秒)记录一帧信息，那么1s(秒)时长的里程计信息包括50000帧信息；若行驶记录仪每1ms(毫秒)记录一帧信息，那么1s时长的里程计信息包括1000帧信息。

当需要测距时，测距装置从行驶记录仪中读取实时采集的里程计信息。本公开实施例中，里程计信息中的各帧信息，包括行驶记录仪在采集对应帧信息时车辆的位姿，车辆的位姿至少包括车辆的位置，该位置是车辆在世界坐标系W下的坐标位置。里程计信息中的各帧信息对应一个第二时间戳。

步骤S2013，基于图像帧序列中各帧图像的第一时间戳和里程计信息中各帧信息的第二时间戳，从里程计信息中确定各帧图像对应的里程计帧信息。

在确定残差时，对比的是同一帧数据的实际观测值和预测值，因此需要先将图像帧序列中各帧图像与对应的里程计帧信息在时间上进行对齐，即在里程计信息的多个帧信息中确定与图像帧序列中各帧图像相对应的里程计帧信息。然后基于同一时刻采集的帧图像和里程计帧信息，确定实际观测值和预测值。

在时间上进行对齐时，可以根据各帧图像的第一时间戳和里程计信息中各帧信息的第二时间戳，将与各帧图像相同时间戳的里程计的帧信息确定为各帧图像对应的里程计帧信息。

在实际应用中，除了基于时间戳实现时间对齐的方式之外，还可以基于同步时钟等其他方式来实现将图像帧序列中各帧图像与里程计信息中各帧信息对齐，本公开实施例不作限定。

本公开实施例中，将图像帧序列中各帧图像与里程计信息中各帧信息进行数据对齐，能够确保各帧图像与其对应的里程计帧信息的一致性，从而能够提高测距结果的准确性。

如图4所示，在上述实施例的基础上，步骤S202“根据各帧图像和各帧图像对应的里程计帧信息，确定残差函数和优化模型”，可以包括下述步骤S2021至步骤S2023：

步骤S2021，分别对各帧图像进行特征提取，确定各帧图像中交通标志物的检测框。

利用预先训练好的图像处理模型对各帧图像进行处理，得到各帧图像中交通标志物的检测框。例如对图1C所示帧图像进行特征提取，确定该帧图像中交通信号灯的检测框如图1C中虚线框104所示。

步骤S2022，根据各帧图像对应的检测框和里程计帧信息，确定残差函数。

首先在各帧图像中以检测框为观测对象，确定检测框在像素坐标系下的实际测量值或实际观测值。基于里程计帧信息，对交通信号灯的世界坐标X

步骤S2023，基于残差函数，确定优化模型。

优化模型J是基于残差函数J

其中，J

实际应用中，基于残差函数构建的优化模型还可以是其他形式，如平方加权和等，这里不作限定。

本公开实施例，对各帧图像进行特征提取，确定各帧图像中交通标志物的检测框，检测框的数据量远远小于整帧图像的数据量，因此基于检测框进行残差计算，能够减少计算量，从而缩短预测距离耗时，进而能够提高车辆决策效率。

在实际应用中，残差函数可以包括不同约束条件下构建的多个残差函数。示例性的，残差函数包括以下至少一个：投影残差函数、成像残差函数和一致性残差函数。如图5所示，在上述实施例的基础上，步骤S2022“根据各帧图像对应的检测框和里程计帧信息，确定残差函数”，可以包括下述步骤S20221至步骤S20224：

步骤S20221，根据各帧图像对应的检测框和里程计帧信息，确定投影残差函数。

理论上，交通标志物上的某点在各帧图像的位置，应该与该点的投影位置保持一致，基于成像位置一致的约束条件，构建投影残差函数，记为J

在一种实现方式中，首先在交通标志物上预先设置至少一个观测点。然后在检测框中确定各观测点的观测像素坐标。基于里程计帧信息，将各观测点在世界坐标系W中的世界坐标投影到各帧图像中，确定各观测点的投影像素坐标。最后将观测像素坐标和投影像素坐标的差值作为投影残差，基于该投影残差构建投影残差函数J

步骤S20222，根据各帧图像对应的检测框和里程计帧信息，确定成像残差函数。

理论上，交通标志物上的某线在各帧图像的尺寸，应该与该线的投影尺寸保持一致，基于成像尺寸一致的约束条件，构建成像残差函数，记为J

在一种实现方式中，首先在交通标志物上预先设置至少一个观测线。然后在检测框中确定各观测线的观测像素尺寸。基于里程计帧信息，将各观测线在世界坐标系W中的实际尺寸投影到各帧图像中，确定各观测线的成像像素尺寸。最后将观测像素尺寸和成像像素尺寸的差值作为成像残差，基于该成像残差构建成像残差函数，记为J

步骤S20223，响应于交通标志物的数量大于预设阈值，根据各帧图像对应的检测框和里程计帧信息，确定一致性残差函数。

当交通标志物的数量大于1个时，多个交通标志物与车辆之间的距离是相同的。因此理论上，同一帧图像中位于同一平面的多个交通标志物，其与车载摄像头之间的预测距离是相同的，且若多个交通标志物的高度一致，各交通标志物的预测高度也是相同的，基于多个交通标志物的距离和高度一致的约束条件，构建一致性残差函数，记为J

步骤S20224，将投影残差函数和/或成像残差函数和/或一致性残差函数，确定为残差函数。

在实际实现时，可以根据残差函数的实际组成选择性执行步骤S20221、步骤S20222和步骤S20223。例如，当残差函数包括投影残差函数时，可以只执行步骤S20221；当残差函数包括成像残差函数和一致性残差函数时，可以只执行步骤步骤S20222和步骤S20223；当残差函数包括投影残差函数、成像残差函数和一致性残差函数时，执行步骤S20221、步骤S20222和步骤S20223。

当然，除上述3种约束条件下构建的3种残差函数之外，残差函数还可以包括其他约束条件下构建的其他残差函数，本公开实施例不作限定。

本公开实施例中，可以根据坐标系投影关系、小孔成像原理以及并排的多个交通标志物的空间位置关系，确定交通标志物在多帧图像中至少一种约束条件，并构建至少一种约束条件下的残差函数，考量多维度指标的残差函数，能够进一步减小预测距离的误差。

在上述实施例的基础上，以交通标志物上预先设置一个观测点为例，上述步骤S20221“根据各帧图像对应的检测框和里程计帧信息，确定投影残差函数”，可通过以下步骤S2211至步骤S2214来实现：

步骤S2211，根据各帧图像对应的检测框，确定各帧图像中交通标志物的预设观测点的观测像素坐标。

预设观测点可以为交通标志物上任一点，例如预设观测点为中心点、左上角点或特定点等。下面以预设观测点为交通信号灯的中心点为例进行说明。

根据几何关系可知，交通信号灯的中心点对应检测框的中心点。基于此，将检测框中心点的坐标确定为预设观测点的观测像素坐标，记为(u,v)。第j帧图像中预设观测点的观测像素坐标，记为(u

步骤S2212，确定预设观测点的世界坐标。

预设观测点的世界坐标即为交通信号灯中心点的坐标(x

步骤S2213，根据车载摄像头的相机参数、各帧图像对应的里程计帧信息和预设观测点的世界坐标，确定各帧图像中预设观测点的投影像素坐标。

本公开实施例中，相机参数包括相机的内参，记为K。各帧图像对应的里程计帧信息用于确定相机的外参，包括旋转矩阵和平移向量，记为T。

在一种实现方式中，第j帧图像中预设观测点的投影像素坐标，可以通过以下步骤来确定：根据车载摄像头的相机参数和各帧图像对应的里程计帧信息，确定世界坐标系和各帧图像对应的像素坐标系之间的投影关系；根据投影关系和预设观测点的世界坐标，确定各帧图像中预设观测点的投影像素坐标。

相机内参K是相机的出厂参数，各帧图像对应的相机内参是固定不变的。相机外参T与相机位姿有关，各帧图像对应的相机外参可以由里程计帧信息和车载摄像头相对于车辆的位置确定，本公开实施例中将第j帧图像的相机外参记为T

其中O

将步骤S2212确定的预设观测点的世界坐标(x

在另一种实现方式中，第j帧图像中预设观测点的投影像素坐标，可以通过以下步骤来确定：根据预设观测点的世界坐标和各帧图像对应的里程计帧信息，确定各帧图像中预设观测点的相机坐标；根据车载摄像头的相机参数和各帧图像中预设观测点的相机坐标，确定各帧图像中预设观测点的投影像素坐标。

预设观测点的世界坐标为(x

相机参数(指相机内参)为K，预设观测点的相机坐标为(x

步骤S2214，根据各帧图像中预设观测点的观测像素坐标和投影像素坐标，确定投影残差函数。

根据步骤S2211确定的各帧图像中预测观测点的观测像素坐标为(u

示例性的，本公开实施例优化函数以最小二乘为例，建立的投影残差函数，如下式(7)所示：

实际应用中，还可以使用其他优化函数构建投影残差函数，这里不作限定。

本公开实施例中，根据世界坐标系和像素坐标系之间的投影关系，确定交通标志物在多帧图像中的投影约束条件，能够减小车载摄像头与交通标志物之间预测距离的误差。

在上述实施例的基础上，以交通标志物上预先设置一条观测线为例，上述步骤S20222“根据各帧图像对应的检测框和里程计帧信息，确定成像残差函数”，可通过以下步骤S2221至步骤S2224来实现：

步骤S2221，根据各帧图像对应的检测框，确定各帧图像中交通标志物的预设观测线的观测像素尺寸。

预设观测线可以为交通标志物上任一线段，例如预设观测线为交通信号灯的短边、对角线或特定线等。下面以预设观测线为交通信号灯的短边为例进行说明。

根据几何关系可知，交通信号灯的短边对应检测框的短边。基于此，将检测框的短边的像素尺寸确定为预设观测线的观测像素尺寸，记为s。第j帧图像中预设观测线的观测像素尺寸，记为s

步骤S2222，确定预设观测线的实际尺寸。

交通信号灯的短边一般符合国家标准，记为S。

步骤S2223，根据车载摄像头的相机参数、各帧图像对应的里程计帧信息和预设观测线的实际尺寸，确定各帧图像中预设观测线的成像像素尺寸。

本公开实施例中，相机参数包括相机的内参，记为K。各帧图像对应的里程计帧信息用于确定相机的外参，包括旋转矩阵和平移向量，记为T。

在一种实现方式中，第j帧图像中预设观测线的成像像素尺寸，可以通过以下步骤来确定：根据车载摄像头的相机参数和各帧图像对应的里程计帧信息，确定世界坐标系和各帧图像对应的像素坐标系之间的投影关系；根据投影关系和预设观测线的实际尺寸，确定各帧图像中预设观测线的成像像素尺寸。

世界坐标系和各帧图像对应的像素坐标系之间的投影关系如上式(3)所示。将步骤S2222确定的预设观测线的实际尺寸S代入上式(3)，得到各帧图像中预设观测线的成像像素尺寸

在另一种实现方式中，第j帧图像中预设观测线的成像像素尺寸，可以通过以下步骤来确定：根据预设观测线上任一特征点的世界坐标和各帧图像对应的里程计帧信息，确定各帧图像中预设观测线上特征点的相机坐标；根据车载摄像头的相机参数和各帧图像中预设观测线上特征点的相机坐标，确定各帧图像中预设观测线的成像像素尺寸。

根据预设观测线上任一特征点的世界坐标记为(x

根据小孔成像原理可知，交通信号灯预设观测线在像素坐标系中的成像像素尺寸s

结合式(8)和式(9)，确定第j帧图像中预设观测线的成像像素尺寸s

步骤S2224，根据各帧图像中预设观测线的观测像素尺寸和成像像素尺寸，确定成像残差函数。

根据步骤S2221确定的各帧图像中预测观测线的观测像素尺寸为s

e

示例性的，本公开实施例优化函数以最小二乘为例，建立的成像残差函数，如下式(12)所示：

实际应用中，还可以使用其他优化函数构建成像残差函数，这里不作限定。

本公开实施例中，根据小孔成像原理，确定交通标志物在多帧图像中的成像约束条件，能够减小车载摄像头与交通标志物之间预测距离的误差。

在上述实施例的基础上，当交通标志物的数量大于1个时，同一帧图像中位于同一平面的多个交通标志物，其与车载摄像头之间的预测距离是相同的，且若多个交通标志物的高度一致，各交通标志物的预测高度也是相同的，基于此，上述步骤S20223“响应于交通标志物的数量大于预设阈值，根据各帧图像对应的检测框和里程计帧信息，确定一致性残差函数”，可通过下述步骤S2231至步骤S2233来实现：

步骤S2231，响应于交通标志物的数量大于预设阈值，从多个交通标志物中确定第一交通标志物和第二交通标志物。

本公开实施例中，预设阈值可以取值为1，即交通标志物的数量至少为2个，首先从多个交通标志物中选择两个作为第一交通标志物和第二交通标志物，例如，选择图1C所示的4个交通信号灯中的2个，将左一交通信号灯作为第一交通信号灯，将左三交通信号灯作为第二交通信号灯。

步骤S2232，根据各帧图像对应的检测框和里程计帧信息，确定各帧图像中第一交通标志物的第一相机坐标和第二交通标志物的第二相机坐标。

将第一交通信号灯的世界坐标记为

步骤S2233，根据各帧图像中第一交通标志物的第一相机坐标和第二交通标志物的第二相机坐标，确定一致性残差函数。

根据步骤S2232确定的第一交通信号灯的第一相机坐标

示例性的，本公开实施例优化函数以最小二乘为例，建立的一致性残差函数，如下式(16)所示：

在一些实施例中，一致性残差函数，还可以考虑随机选择的2个交通标志物的一致性概率，设交通标志物的数量为t个，此时构建的一致性残差函数，可以表示为式(17)：

其中，

实际应用中，基于残差函数构建的优化模型还可以是其他形式，如平方加权和等，这里不作限定。

本公开实施例中，当确定并排存在多个交通标志物时，根据多个交通标志物与车辆的纵向距离以及高度是相同的空间位置关系，确定多个交通标志物的距离和高度的一致性约束条件，不仅能够减小车载摄像头与交通标志物之间预测距离的误差，还能够解决多个交通标志物测距一致性差的问题，进一步提高测距准确度，从而提高车辆行驶安全性。

如图6所示，在上述实施例的基础上，上述步骤S204“根据各帧图像对应的里程计帧信息和目标位置，确定车载摄像头与交通标志物之间的实时距离”，可以通过下述步骤S2041和步骤S2042来实现：

步骤S2041，根据各帧图像对应的里程计帧信息确定车载摄像头的实时位置。

根据里程计帧信息可以确定车辆的实时位置，车载摄像头在车辆上的位置是固定不变的，根据车辆的实时位置和车载摄像头相对于车体中心点的相对位置，确定出车载摄像头的实时位置，记为(x

步骤S2042，根据车载摄像头的实时位置和目标位置，确定车载摄像头与交通标志物之间的实时距离。

根据上述步骤S203确定的交通信号灯的目标位置(x

示例性的，车载摄像头与交通信号灯之间的实时距离，可以包括直线距离d、横向距离d

在实际应用中，可以结合具体的应用场景确定所需的实时距离，本公开实施例不做限定。

本公开实施例中，通过根据车载摄像头的实时位置和交通标志物的目标位置，预测车载摄像头与交通标志物之间的实时距离，能够减小车载摄像头与交通标志物之间预测的距离的误差，提高测距准确度，从而提高车辆行驶安全性。

示例性装置

基于前述实施例，本公开实施例提供一种交通标志物的测距装置，该测距装置包括的各模块、以及各模块包括的各单元，可以通过计算机设备中的处理器来实现；当然也可通过具体的逻辑电路实现；在实施的过程中，处理器可以为中央处理器(CPU，CentralProcessing Unit)、微处理器(MPU，Microprocessor Unit)、数字信号处理器(DSP，DigitalSignal Processing)或现场可编程门阵列(FPGA，Field Programmable Gate Array)等。

图7是本公开一示例性实施例提供的交通标志物的测距装置的组成结构示意图，如图7所示，所述测距装置700包括：

第一确定模块701，用于确定车辆中车载摄像头实时采集的所述交通标志物的图像帧序列，以及所述图像帧序列中各帧图像对应的里程计帧信息；

第二确定模块702，用于根据第一确定模块701确定的所述各帧图像和所述各帧图像对应的里程计帧信息，确定残差函数和优化模型；

第三确定模块703，用于根据第二确定模块702确定的所述残差函数和所述优化模型，确定所述交通标志物在世界坐标系中的目标位置；

第四确定模块704，用于根据第三确定模块703确定的所述各帧图像对应的里程计帧信息和所述目标位置，确定所述车载摄像头与所述交通标志物之间的实时距离。

如图8所示，在图7所示实施例的基础上，所述第一确定模块701，可以包括：

第一确定单元7011，用于确定所述车辆中行驶记录仪实时采集的里程计信息；

第二确定单元7012，用于基于所述图像帧序列中各帧图像的第一时间戳和所述里程计信息中各帧信息的第二时间戳，从所述里程计信息中确定所述各帧图像对应的里程计帧信息。

如图8所示，在一些实施例中，所述第二确定模块702，可以包括：

第三确定单元7021，用于分别对所述各帧图像进行特征提取，确定所述各帧图像中所述交通标志物的检测框；

第四确定单元7022，用于根据所述各帧图像对应的所述检测框和所述里程计帧信息，确定残差函数；

第五确定单元7023，用于基于所述残差函数，确定优化模型。

在一些实施例中，所述第四确定单元7022，可以包括：

第一确定子单元，用于根据所述各帧图像对应的所述检测框和所述里程计帧信息，确定投影残差函数；

第二确定子单元，用于根据所述各帧图像对应的所述检测框和所述里程计帧信息，确定成像残差函数；

第三确定子单元，用于响应于所述交通标志物的数量大于预设阈值，根据所述各帧图像对应的所述检测框和所述里程计帧信息，确定一致性残差函数；

第四确定子单元，用于将所述投影残差函数和/或所述成像残差函数和/或所述一致性残差函数，确定为所述残差函数。

在一些实施例中，所述第一确定子单元，还用于：根据所述各帧图像对应的所述检测框，确定所述各帧图像中所述交通标志物的预设观测点的观测像素坐标；确定所述预设观测点的世界坐标；根据所述车载摄像头的相机参数、所述各帧图像对应的所述里程计帧信息和所述预设观测点的世界坐标，确定所述各帧图像中所述预设观测点的投影像素坐标；根据所述各帧图像中所述预设观测点的所述观测像素坐标和所述投影像素坐标，确定投影残差函数。

在一些实施例中，所述第一确定子单元，还用于：根据所述车载摄像头的相机参数和所述各帧图像对应的所述里程计帧信息，确定所述世界坐标系和所述各帧图像对应的像素坐标系之间的投影关系；根据所述投影关系和所述预设观测点的世界坐标，确定所述各帧图像中所述预设观测点的投影像素坐标。

在一些实施例中，所述第二确定子单元，还用于：根据所述各帧图像对应的所述检测框，确定所述各帧图像中所述交通标志物的预设观测线的观测像素尺寸；确定所述预设观测线的实际尺寸；根据所述车载摄像头的相机参数、所述各帧图像对应的所述里程计帧信息和所述预设观测线的实际尺寸，确定所述各帧图像中所述预设观测线的成像像素尺寸；根据所述各帧图像中所述预设观测线的所述观测像素尺寸和所述成像像素尺寸，确定成像残差函数。

在一些实施例中，所述第二确定子单元，还用于：根据所述车载摄像头的相机参数和所述各帧图像对应的所述里程计帧信息，确定所述世界坐标系和所述各帧图像对应的像素坐标系之间的投影关系；根据所述投影关系和所述预设观测线的实际尺寸，确定所述各帧图像中所述预设观测线的成像像素尺寸。

在一些实施例中，所述第三确定子单元，还用于：响应于所述交通标志物的数量大于预设阈值，从多个所述交通标志物中确定第一交通标志物和第二交通标志物；根据所述各帧图像对应的所述检测框和所述里程计帧信息，确定所述各帧图像中所述第一交通标志物的第一相机坐标和所述第二交通标志物的第二相机坐标；根据所述各帧图像中所述第一交通标志物的第一相机坐标和所述第二交通标志物的第二相机坐标，确定一致性残差函数。

如图8所示，在一些实施例中，所述第四确定模块704，可以包括：

第六确定单元7041，用于根据所述各帧图像对应的里程计帧信息确定所述车载摄像头的实时位置；

第七确定单元7042，用于根据所述车载摄像头的实时位置和所述目标位置，确定所述车载摄像头与所述交通标志物之间的实时距离。

需要指出的是：以上装置示例性实施例项的描述，与上述方法描述是类似的，具有同方法对应的示例性实施例相同的有益效果。对于本公开装置示例性实施例中未披露的技术细节以及相应有益技术效果，本领域的技术人员请参照本公开方法示例性实施例的描述而理解，在此不再赘述。

示例性电子设备

图9是本公开一示例性实施例提供的电子设备的组成结构图，如图9所示，电子设备900包括至少一个处理器901和存储器902。

处理器901可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备900中的其他组件以执行期望的功能。

存储器902可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器901可以运行一个或多个计算机程序指令，以实现上文中本公开的各个实施例的交通标志物的测距方法和/或其他期望的功能。

在一个示例中，电子设备900还可以包括：输入装置903和输出装置904，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

该输入装置903还可以包括例如键盘、鼠标等等。

该输出装置904可以向外部输出各种信息，其可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图9中仅示出了该电子设备900中与本公开有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备900还可以包括任何其他适当的组件。

示例性计算机程序产品和计算机可读存储介质

除了上述方法和设备以外，本公开的实施例还可以提供一种计算机程序产品，包括计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行上述“示例性方法”部分中描述的本公开各种实施例的交通标志物的测距方法中的步骤。

计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本公开实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本公开的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，计算机程序指令在被处理器运行时使得处理器执行上述“示例性方法”部分中描述的本公开各种实施例的交通标志物的测距方法中的步骤。

计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如但不限于包括电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本公开的基本原理，但是，在本公开中提及的优点、优势、效果等仅是示例而非限制，不能认为其是本公开的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本公开为必须采用上述具体的细节来实现。

本领域的技术人员可以对本公开进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本公开权利要求及其等同技术的范围之内，则本公开也意图包含这些改动和变型在内。