车辆行驶状态图像生成方法、设备和系统

本申请是申请日为2019年02月27日、申请号为201910145641.9、发明名称为“车辆行驶状态显示方法、设备和系统”的分案申请。

技术领域

本发明涉及汽车驾驶领域，尤其涉及一种车辆行驶状态图像生成方法、设备和系统。

背景技术

目前车辆驾驶的图像解析的方案为利用智能摄像头读取自身所感知后的环境信息，例如车道线的方程和障碍物的坐标，再利用低性能处理器根据该环境信息做后续的决策规划以及控制汽车。但发明人在实施上述现有技术发现，低性能处理器缺乏图形渲染能力，调试人员无法直观获取行驶环境信息，无法实现可视化验证，增大了研发人员的调试难度。

发明内容

本发明实施例提供一种车辆行驶状态图像生成方法、设备和系统，以至少解决现有技术中的以上技术问题。

第一方面，本发明实施例提供了一种车辆行驶状态图像生成方法，包括：

从车辆控制器接收车辆的行驶环境信息，所述行驶环境信息包括所述车辆控制器从第一图像采集设备接收到的、根据第一行驶图像得到的信息；

从第二图像采集设备接收所述车辆的第二行驶图像；

根据所述第二行驶图像与所述行驶环境信息，生成所述车辆的行驶状态图像；

显示所述行驶状态图像。

在一种实施方式中，所述行驶环境信息包括所述第一图像采集设备对所述车辆的第一行驶图像进行处理得到的数字信息；

所述行驶环境信息还包括所述车辆控制器利用所述数字信息进行车辆路线规划得到的控制信息。

在一种实施方式中，所述数字信息包括车道线信息、障碍物信息、指示灯信息和指示牌信息中的至少一项；

所述控制信息包括油门、刹车、转向、档位和灯光中的至少一项。

在一种实施方式中，所述行驶环境信息包括所述第一图像采集设备对所述车辆的第一行驶图像进行处理得到的数字信息；

所述行驶环境信息还包括所述车辆控制器利用所述数字信息进行车辆路线规划得到的控制信息。

在一种实施方式中，还包括：

利用时间对齐后的所述行驶环境信息和所述第二行驶图像进行录制，得到行驶状态视频；

在接收到回放指令的情况下，回放已录制的行驶状态视频。

第二方面，本发明实施例提供了一种车辆行驶状态图像生成设备，包括：

行驶环境信息获取模块，用于从车辆控制器接收车辆的行驶环境信息，所述行驶环境信息包括所述车辆控制器从第一图像采集设备接收到的、根据第一行驶图像得到的信息；

第二行驶图像获取模块，用于从第二图像采集设备接收所述车辆的第二行驶图像；

行驶状态图像生成模块，用于根据所述第二行驶图像与所述行驶环境信息，生成所述车辆的行驶状态图像；

显示模块，用于显示所述行驶状态图像。

在一种实施方式中，所述行驶环境信息包括所述第一图像采集设备对所述车辆的第一行驶图像进行处理得到的数字信息；

所述行驶环境信息还包括所述车辆控制器利用所述数字信息进行车辆路线规划得到的控制信息。

在一种实施方式中，所述数字信息包括车道线信息、障碍物信息、指示灯信息和指示牌信息中的至少一项；

所述控制信息包括油门、刹车、转向、档位和灯光中的至少一项。

在一种实施方式中，所述行驶状态图像生成模块包括：

时间对齐子模块，用于将所述行驶环境信息和所述第二行驶图像进行时间对齐；

生成子模块，用于根据时间对齐后的所述行驶环境信息和所述第二行驶图像，生成所述行驶状态图像，所述行驶状态图像的设定区域包括时间对齐后的所述行驶环境信息。

在一种实施方式中，还包括：

录制模块，用于利用时间对齐后的所述行驶环境信息和所述第二行驶图像进行录制，得到行驶状态视频；

回放模块，用于在接收到回放指令的情况下，回放已录制的行驶状态视频。

第三方面，本发明实施例提供了一种车辆行驶状态图像生成设备，所述车辆行驶状态图像生成设备的功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。

在一个可能的设计中，所述车辆行驶状态图像生成设备的结构中包括处理器和存储器，所述存储器用于存储支持所述车辆行驶状态图像生成设备执行上述第一方面中所述车辆行驶状态图像生成方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。所述车辆行驶状态图像生成设备还可以包括通信接口，用于所述车辆行驶状态图像生成设备与其他设备或通信网络通信。

第四方面，本发明实施例提供了一种车辆行驶状态图像生成系统，所述系统包括计算设备、车辆控制器、第一图像采集设备和第二图像采集设备；其中，

所述计算设备包括如上述任一实施例所述的车辆行驶状态图像生成设备；

所述第一图像采集设备连接车辆控制器，所述第二图像采集设备和所述车辆控制器分别连接所述计算设备；

所述第一图像采集设备用于所述第一图像采集设备用于采集车辆的第一行驶图像，将根据所述第一行驶图像得到的信息发送至所述车辆控制器；

所述第二图像采集设备用于采集车辆的第二行驶图像，并向所述计算设备发送第二行驶图像；

所述车辆控制器用于从所述第一图像采集设备接收到的信息生成所述行驶环境信息，并向所述计算设备发送所述行驶环境信息。

在一种实施方式中，所述第一图像采集设备还用于对所述第一行驶图像进行处理得到数字信息，向所述车辆控制器发送所述数字信息；

所述车辆控制器还用于利用所述数字信息进行车辆路线规划得到控制信息，向所述计算设备发送包括所述数字信息和所述控制信息的所述行驶环境信息。

第五方面，本发明实施例还提供一种计算机可读存储介质，用于存储所述车辆行驶状态图像生成设备所用的计算机软件指令，其包括用于执行上述车辆行驶状态显示方法所涉及的程序。

上述技术方案中的一个技术方案具有如下优点或有益效果：直观呈现车辆驾驶过程中的行驶状态进行直观呈现；车辆控制器的行驶环境信息和第二行驶图像进行比对，方便了调试人员发现问题。

上述概述仅仅是为了说明书的目的，并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外，通过参考附图和以下的详细描述，本发明进一步的方面、实施方式和特征将会是容易明白的。

附图说明

在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本发明公开的一些实施方式，而不应将其视为是对本发明范围的限制。

图1为本发明实施例的一种车辆行驶状态图像生成方法的流程图；

图2为本发明实施例的一种车辆行驶状态图像生成方法中所显示的行驶状态图像的一种示例图；

图3为本发明实施例的一种车辆行驶状态图像生成方法中步骤S3的流程图；

图4为本发明实施例的一种车辆行驶状态图像生成设备的模块连接图；

图5为本发明实施例的一种车辆行驶状态图像生成设备的结构图；

图6为本发明实施例的一种车辆行驶状态图像生成系统的结构图。

具体实施方式

在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本发明的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。

本发明实施例主要提供了一种车辆行驶状态图像生成方法、设备和系统，下面分别通过以下实施例进行技术方案的展开描述。

本发明实施例提供了一种车辆行驶状态图像生成方法，参见图1，图1为本实施例的流程图，包括：

S1、从车辆控制器接收车辆的行驶环境信息，行驶环境信息包括车辆控制器从第一图像采集设备接收到的、根据第一行驶图像得到的信息；

S2、从第二图像采集设备接收车辆的第二行驶图像；

S3、根据第二行驶图像与行驶环境信息，生成车辆的行驶状态图像；

S4、显示行驶状态图像。

本实施例可以适用于计算设备的执行，如个人计算机(PC，personal computer)。在车辆驾驶调试的过程中，调试人员可以直接将计算设备例如PC通过通信总线连接车辆的车辆控制器和第二图像采集设备，车辆控制器连接第一图像采集设备，参考图6。

在本实施例中，PC具备显示功能，可以按时间来录制通信总线数据并具备回放功能。通信总线包括但不仅限于消息队列遥测传输(MQTT，Message Queuing TelemetryTransport)、通用串行总线(USB，Universal Serial Bus)、用户数据报协议(UDP，UserDatagram Protocol)等。车辆控制器可以包括没有图像渲染能力的低性能处理器，包括但不限于微控制单元(MCU，Microcontroller Unit)和现场可编程门阵列(FPGA，Field－Programmable Gate Array)。

第一图像采集设备和第二图像采集设备分别可以包括设置在车辆上的一个或多个摄像头。第一图像采集设备所包括的摄像头可以拍摄包括车辆外部的行驶环境的第一行驶图像，并进行处理得到相应的信息发给PC；第二图像采集设备所包括的摄像头可以拍摄包括车辆外部的行驶环境的第二行驶图像，并将第二行驶图像发送给PC；第一行驶图像和第二行驶图像中可能包括车辆所处的道路、道路上的障碍物、车道线、指示灯、指示牌等。其中，障碍物包括但不限于行人、动物、其他车辆等。

在一种实施方式中，行驶环境信息包括第一图像采集设备对车辆的第一行驶图像进行处理得到的数字信息；

行驶环境信息还包括车辆控制器利用数字信息进行车辆路线规划得到的控制信息。

在一种示例中，第一图像采集设备包括的摄像头可以为智能摄像头，第二图像采集设备包括的摄像头可以为普通摄像头。通常，智能摄像头采集第二行驶图像后，处理生成并输出数字信息，该数字信息可以包括但不限于：车道线信息、障碍物信息、指示灯信息和指示牌信息中的至少一项；普通摄像头可以采集并输出第二行驶图像。

在一种示例中，智能摄像头得到数字信息的方法包括：从第一行驶图像中识别车辆行驶环境包括的各种环境元素，例如车道线、障碍物、指示灯和指示牌。然后基于车辆行驶环境的建模，将图像信息表示为数字信息，例如车道线信息可以通过车道线方程(y＝ax^

智能摄像头可以将这些数字信息发送给车辆控制器。车辆控制器利用收到的数字信息进行车辆路线规划得到控制信息。控制信息可以包括但不限于油门、刹车、转向、档位和灯光中的至少一项。

然后，车辆控制器可以向PC发送包括数字信息和控制信息的行驶环境信息。利用PC的图形渲染能力，可以将车辆的行驶环境信息与第二行驶图像合成，并通过PC的显示器将合成后的行驶状态图像显示出来。

在一种示例中，车辆控制器也可以先对收到的数字信息进行一些处理例如去噪、纠错、数据格式转换等，可以得到处理后的数字信息，以便利用处理后的数字信息进行车辆路线规划，实现更精准的驾驶控制。此时，行驶环境信息还可以包括车辆控制器基于从第一图像采集设备获取的数字信息得到的最终数字信息。如图2所示，图2左上角以图像呈现数字信息，除了包括由图像采集设备处理得到的第一车道线21和第一障碍物22，还包括了车辆控制器在图像采集设备输出的信息的基础上进一步处理得到的第二车道线23和第二障碍物24。

通常第一图像采集设备所采用的算法由摄像头厂商所制定，一般不对外公布，而车辆控制器的算法可以由车辆研发人员所设计。

在一种示例中，车辆控制器将从第一图像采集设备获取的数字信息按照指定格式存储为报文；将车辆控制器自身处理信息的过程中产生的所有信息，包括处理后的数字信息和进行车辆路线规划产生的控制信息，按照指定格式存储为日志；并将报文和日志发送至执行计算设备。

在本发明实施例中，无需车辆控制器具备图像渲染能力，可以利用PC的图形渲染能力将车辆驾驶过程中的行驶状态进行直观地呈现。而且，将车辆控制器的算法结果如行驶环境信息，与第二行驶图像进行比对，便于调试人员发现车辆行驶问题，有利于提高自动驾驶等场景的安全性。

在一种实施方式中，本实施例可以应用到自动驾驶的备份系统中，作为与自动驾驶的主系统方案不同的备份系统。采用图像采集设备、车辆控制器、计算设备结合的方案，直观呈现行驶状态，便于调试。同时设计备份系统可以满足自动驾驶功能安全的要求。

在一种实施方式中，参见图3，步骤S3包括：

S31、将行驶环境信息和第二行驶图像进行时间对齐；

S32、根据时间对齐后的行驶环境信息和第二行驶图像，生成行驶状态图像，行驶状态图像的设定区域包括时间对齐后的行驶环境信息。

在一种实施方式中，可以参考图2的行驶状态图像的示例图，步骤S32中，将第二行驶图像的画入行驶状态图像的背景区域202，将行驶环境信息画入第二行驶图像的设定区域201上，从而得到行驶状态图像。

具体地，步骤S32的画入过程可以包括将行驶环境信息和第二行驶图像的数据写入缓冲区。步骤S4中，在屏幕上显示行驶状态图像包括：渲染已写入缓冲区中的行驶状态图像。

在一种实施方式中，本实施例还包括下述步骤：

S5、利用时间对齐后的行驶环境信息和第二行驶图像进行录制，得到行驶状态视频；

S6、在接收到回放指令的情况下，回放已录制的行驶状态视频。

本实施例提供录制和回放的功能，能够体现当时算法的处理结果，在研发人员遇到问题时可以进行复现。而且，本实施例所适用的计算设备通过通信总线分别连接图像采集设备和车辆控制器。将不同的通信总线封装成约定的协议，图像采集设备和车辆控制器可以采用该协议向计算设备传输数据。本实施例录制所采用的数据可以直接实现回放，无需考虑格式转换问题，降低了调试难度。

参见图4，本发明实施例提供了一种车辆行驶状态图像生成设备，包括：

行驶环境信息获取模块41，用于从车辆控制器接收车辆的行驶环境信息，行驶环境信息包括车辆控制器从第一图像采集设备接收到的、根据第一行驶图像得到的信息；

第二行驶图像获取模块42，用于从第二图像采集设备接收车辆的第二行驶图像；

行驶状态图像生成模块43，用于根据第二行驶图像与行驶环境信息，生成车辆的行驶状态图像；

显示模块44，用于显示行驶状态图像。

在一种实施方式中，行驶环境信息包括第一图像采集设备对车辆的第一行驶图像进行处理得到的数字信息；

行驶环境信息还包括车辆控制器利用数字信息进行车辆路线规划得到的控制信息。

在一种实施方式中，数字信息包括：车道线信息、障碍物信息、指示灯信息和指示牌信息中的至少一项；

控制信息包括油门、刹车、转向、档位和灯光中的至少一项。

在一种实施方式中，行驶状态图像生成模块43包括：

时间对齐子模块，用于将行驶环境信息和第二行驶图像进行时间对齐；

生成子模块，用于根据时间对齐后的行驶环境信息和第二行驶图像，生成行驶状态图像，行驶状态图像的设定区域包括时间对齐后的行驶环境信息。

在一种实施方式中，还包括：

录制模块，用于利用时间对齐后的行驶环境信息和第二行驶图像进行录制，得到行驶状态视频；

回放模块，用于在接收到回放指令的情况下，回放已录制的行驶状态视频。

本发明实施例中的各模块的功能可以参见上述方法中的对应描述，在此不再赘述。

参见图5，本发明实施例还提供一种车辆行驶状态图像生成设备，包括：

存储器11和处理器12，存储器11存储有可在处理器12上运行的计算机程序。处理器12执行计算机程序时实现上述实施例中账户分类模型训练方法或账户分类方法。存储器11和处理器12的数量可以为一个或多个。

车辆行驶状态图像生成设备还可以包括：

通信接口13，用于与外界设备进行通信，进行数据交换传输。

存储器11可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。

如果存储器11、处理器12和通信接口13独立实现，则存储器11、处理器12和通信接口13可以通过总线相互连接并完成相互之间的通信。总线可以是工业标准体系结构(ISA，Industry Standard Architecture)总线，外部设备互连(PCI，Peripheral ComponentInterconnect)总线或扩展工业标准体系结构(EISA，Extended Industry StandardArchitecture)等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图5中仅用一条粗线表示，并不表示仅有一根总线或一种类型的总线。

可选的，在具体实现上，如果存储器11、处理器12和通信接口13集成在一块芯片上，则存储器11、处理器12和通信接口13可以通过内部接口完成相互间的通信。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本发明的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本发明的实施例所属技术领域的技术人员所理解。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(RAM)，只读存储器(ROM)，可擦除可编辑只读存储器(EPROM或闪速存储器)，光纤装置，以及便携式只读存储器(CDROM)。另外，计算机可读介质甚至可以是可在其上打印程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。

本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本发明各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读存储介质中。存储介质可以是只读存储器，磁盘或光盘等。

参见图6，本发明实施例提供了一种车辆行驶状态图像生成系统，系统包括计算设备61、车辆控制器62、第一图像采集设备631和第二图像采集设备632；其中，

计算设备61包括上述任一实施例提供的车辆行驶状态图像生成设备；

第一图像采集设备631连接车辆控制器62，第二图像采集设备632和车辆控制器62分别连接计算设备61；

第一图像采集设备631用于采集车辆的第一行驶图像，将根据第一行驶图像得到的信息发送至车辆控制器62；

第二图像采集设备632用于采集车辆的第二行驶图像，并向计算设备61发送第二行驶图像；

车辆控制器62用于从第一图像采集设备631接收到的信息生成行驶环境信息，并向计算设备61发送行驶环境信息。

在一种实施例中，第一图像采集设备631还用于对第一行驶图像进行处理得到数字信息，向车辆控制器62发送数字信息；

车辆控制器62还用于利用数字信息进行车辆路线规划得到控制信息，向计算设备61发送包括数字信息和控制信息的行驶环境信息。

本发明实施例中未详尽叙述之处可以参见本发明实施例提供的车辆行驶状态图像生成方法和设备中的对应描述，在此不再赘述。

综上所述，本发明实施例提出的车辆行驶状态图像生成方法、设备和系统；在车辆驾驶调试的过程中，无需车辆控制器具备图像渲染能力，则可以将车辆驾驶过程中的行驶状态进行直观呈现；而且，车辆控制器的行驶环境信息，以及第二行驶图像进行比对，方便了调试人员发现问题。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。