倒车影像显示方法、控制装置、车辆和计算机存储介质

技术领域

本发明涉及智能座舱技术领域，具体地涉及一种倒车影像显示方法、控制装置、车辆以及计算机存储介质。

背景技术

目前，在智能座舱中，由于安全要求和实时性要求不同，需要运行不同的操作系统（例如，Linux或QNX操作系统负责仪表、Android操作系统负责信息娱乐），通过Hypervisor（虚拟机监视器）技术可以将不同的操作系统运行在同一个主控芯片上。

作为智能座舱的一个基本功能，360全景倒车影像依赖于非实时操作系统以实现较好的图像渲染效果。然而，诸如Android操作系统之类的非实时操作系统在上电后的启动时间普遍较长（例如，20秒），因此在面对车辆冷启动时的倒车场景时通常不能及时显示倒车影像，从而导致用户体验感较差。

发明内容

为了解决或至少缓解以上问题中的一个或多个，本发明提出了一种倒车影像显示方法、控制装置、车辆以及计算机存储介质，其能够实现冷启动场景下倒车影像的及时显示以及在多操作系统之间的平滑流转，从而提升用户的使用体验。

按照本发明的第一方面，提供了一种倒车影像显示方法，所述方法应用于运行有第一操作系统和第二操作系统的智能座舱并且所述第一操作系统和第二操作系统共享同一显示屏，所述方法包括：A、响应于倒车指令，由所述第一操作系统接收并显示所述倒车影像；B、响应于所述第二操作系统的启动，由所述第一操作系统复制所述倒车影像并将其传输至所述第二操作系统；C、所述第一操作系统和第二操作系统分别对所述倒车影像进行播放，其中，所述第二操作系统通过读取所述第一操作系统的当前播放的视频帧序号来同步本地播放；以及D、当所述第二操作系统与所述第一操作系统播放同步后，所述第一操作系统停止播放并由所述第二操作系统显示所述倒车影像。

作为以上方案的替代或补充，在根据本发明一实施例的倒车影像显示方法中，所述第二操作系统基于虚拟化技术运行在搭载有所述第一操作系统的主机上，并且所述第一操作系统为实时操作系统，所述第二操作系统为非实时操作系统。

作为以上方案的替代或补充，在根据本发明一实施例的倒车影像显示方法中，步骤A包括：A1、响应于倒车指令，当所述第一操作系统启动后，从影像获取模块接收多路影像数据，并对所述多路影像数据进行处理以生成全景倒车影像；A2、由所述第一操作系统为所述全景倒车影像添加视频帧序号，并且将所述全景倒车影像发送至所述第一操作系统的第一全景应用，以供所述第一全景应用通过所述显示屏的第一显示层显示所述全景倒车影像。

作为以上方案的替代或补充，在根据本发明一实施例的倒车影像显示方法中，步骤B包括：B1、所述第二操作系统在启动后向所述第一操作系统发送第一指令；B2、响应于接收到所述第一指令，所述第一操作系统将所述倒车影像复制为两路并同时发送至所述第一操作系统的第一全景应用和所述第二操作系统的第二全景应用。

作为以上方案的替代或补充，在根据本发明一实施例的倒车影像显示方法中，步骤C包括：C1、所述第一操作系统的第一全景应用将所述倒车影像渲染在所述显示屏的第一显示层上，并将当前播放的倒车影像的第一帧序号存储至共享内存；C2、所述第二操作系统的第二全景应用将所述倒车影像渲染在所述显示屏的第二显示层上，其中所述第二显示层具有比所述第一显示层低的显示层级并且所述第二显示层的显示数据被所述第一显示层覆盖；C3、所述第二全景应用从所述共享内存读取所述第一帧序号，并基于所述第一帧序号与所述第二全景应用当前播放的倒车影像的第二帧序号之间的大小关系调节所述第一全景应用或所述第二全景应用的播放速度，直至所述第一全景应用与所述第二全景应用实现同步播放。

作为以上方案的替代或补充，在根据本发明一实施例的倒车影像显示方法中，基于所述第一帧序号与所述第二帧序号之间的大小关系调节所述第一全景应用或所述第二全景应用的播放速度包括以下各项中的至少一项：若所述第一帧序号小于所述第二帧序号，则所述第二全景应用降低本地播放速度；若所述第一帧序号大于所述第二帧序号，则所述第二全景应用向所述第一全景应用发送第二指令，以降低所述第一全景应用的播放速度；以及若所述第一帧序号大于所述第二帧序号，则所述第二全景应用跳帧至与所述第一帧序号相对应的视频帧并从其继续播放。

作为以上方案的替代或补充，在根据本发明一实施例的倒车影像显示方法中，步骤D包括：当所述第二操作系统与所述第一操作系统当前播放的帧序号相同时，所述第二全景应用向所述第一全景应用发送第三指令以通知所述第一全景应用停止播放并隐藏所述第一显示层，并通过所述第二显示层在所述显示屏上显示所述倒车影像。

按照本发明的第二方面，提供一种控制装置，所述控制装置用于控制智能座舱系统的倒车影像显示，所述智能座舱系统运行有共享同一显示屏的第一操作系统和第二操作系统，并且所述控制装置包括：接收模块，其用于响应于倒车指令，控制所述第一操作系统接收并显示所述倒车影像；复制模块，其用于响应于所述第二操作系统的启动，控制所述第一操作系统复制倒车影像并将其传输至所述第二操作系统；同步模块，其用于控制所述第一操作系统和第二操作系统分别对所述倒车影像进行播放，其中，所述第二操作系统通过读取所述第一操作系统的当前播放的视频帧序号来同步本地播放；切换模块，其用于当所述第二操作系统与所述第一操作系统播放同步后，控制所述第一操作系统停止播放并由所述第二操作系统显示所述倒车影像。

作为以上方案的替代或补充，在根据本发明一实施例的控制装置中，所述接收模块进一步配置为：当所述第一操作系统启动后，控制所述第一操作系统从影像获取模块接收多路影像数据，并对所述多路影像数据进行处理以生成全景倒车影像；控制所述第一操作系统为所述全景倒车影像添加视频帧序号，并且将所述全景倒车影像发送至所述第一操作系统的第一全景应用，以供所述第一全景应用通过所述显示屏的第一显示层显示所述全景倒车影像。

作为以上方案的替代或补充，在根据本发明一实施例的控制装置中，所述复制模块进一步配置为：控制所述第二操作系统在启动后向所述第一操作系统发送第一指令；控制所述第一操作系统响应于接收到所述第一指令，将所述倒车影像复制为两路并同时发送至所述第一操作系统的第一全景应用和所述第二操作系统的第二全景应用。

作为以上方案的替代或补充，在根据本发明一实施例的控制装置中，所述同步模块进一步配置为：控制所述第一操作系统的第一全景应用将所述倒车影像渲染在所述显示屏的第一显示层上，并将当前播放的倒车影像的第一帧序号存储至共享内存；控制所述第二操作系统的第二全景应用将所述倒车影像渲染在所述显示屏的第二显示层上，其中所述第二显示层具有比所述第一显示层低的显示层级并且所述第二显示层的显示数据被所述第一显示层覆盖；控制所述第二全景应用从所述共享内存读取所述第一帧序号，并基于所述第一帧序号与所述第二全景应用当前播放的倒车影像的第二帧序号之间的大小关系调节所述第一全景应用或所述第二全景应用的播放速度，直至所述第一全景应用与所述第二全景应用同步播放。

作为以上方案的替代或补充，在根据本发明一实施例的控制装置中，基于所述第一帧序号与所述第二帧序号之间的大小关系调节所述第一全景应用或所述第二全景应用的播放速度包括以下各项中的至少一项：若所述第一帧序号小于所述第二帧序号，则降低所述第二全景应用的本地播放速度；若所述第一帧序号大于所述第二帧序号，则所述第二全景应用向所述第一全景应用发送第二指令，以降低所述第一全景应用的播放速度；以及若所述第一帧序号大于所述第二帧序号，则所述第二全景应用跳帧至与所述第一帧序号相对应的视频帧并从其继续播放。

作为以上方案的替代或补充，在根据本发明一实施例的控制装置中，所述切换模块进一步配置为：当所述第二操作系统与所述第一操作系统当前播放的帧序号相同时，控制所述第二全景应用向所述第一全景应用发送第三指令以通知所述第一全景应用停止播放并隐藏所述第一显示层，以通过所述第二显示层在所述显示屏上显示所述倒车影像。

按照本发明的第三方面，提供了一种车辆，所述车辆包括如本发明第二方面的任一实施例所述的控制装置。

根据本发明的第四方面，提供一种计算机存储介质，所述计算机存储介质包括指令，所述指令在运行时使得如本发明第一方面的任一实施例所述的倒车影像显示方法。

一方面，根据本发明的一个或多个实施例的倒车影像显示方案通过倒车影像在具有不同启动时间的第一操作系统与第二操作系统之间的流转，解决了冷启动场景下由于第二操作系统启动较慢而导致的倒车影像不能及时显示的问题。另一方面，根据本发明的一个或多个实施例的倒车影像显示方案通过读取第一操作系统的当前播放的视频帧序号来同步第二操作系统的本地播放，实现了倒车影像在从第一操作系统到第二操作系统的流转过程中的平滑、稳定显示，避免了智能座舱冷启动过程中影像的卡顿或黑屏现象的发生，从而进一步提升了用户的使用体验。

附图说明

本发明的上述和/或其它方面和优点将通过以下结合附图的各个方面的描述变得更加清晰和更容易理解，附图中相同或相似的单元采用相同的标号表示。附图包括：

图1为根据本发明的一个实施例的倒车影像显示方法10的示意性流程图；以及

图2为按照本发明一个实施例的控制装置20的示意性框图。

具体实施方式

以下具体实施方式的描述本质上仅仅是示例性的，并且不旨在限制所公开的技术或所公开的技术的应用和用途。此外，不意图受在前述技术领域、背景技术或以下具体实施方式中呈现的任何明示或暗示的理论的约束。

在实施例的以下详细描述中，阐述了许多具体细节以便提供对所公开技术的更透彻理解。然而，对于本领域普通技术人员显而易见的是，可以在没有这些具体细节的情况下实践所公开的技术。在其他实例中，没有详细描述公知的特征，以避免不必要地使描述复杂化。

诸如“包含”和“包括”之类的用语表示除了具有在说明书中有直接和明确表述的单元和步骤以外，本发明的技术方案也不排除具有未被直接或明确表述的其它单元和步骤的情形。诸如“第一”和“第二”之类的用语并不表示单元在时间、空间、大小等方面的顺序而仅仅是作区分各单元之用。在本说明书中，术语“车辆”或者其它类似的术语包括一般的机动车辆，例如乘用车（包括运动型多用途车、公共汽车、卡车等）、各种商用车等等，并包括混合动力汽车、电动车、插电式混动电动车等。混动动力汽车是一种具有两个或更多个功率源的车辆，例如汽油动力和电动车辆。

在下文中，将参考附图详细描述根据本发明的各示例性实施例。

现在参考图1，图1为根据本发明的一个实施例的倒车影像显示方法10的示意性流程图。方法10应用于运行有第一操作系统和第二操作系统的车辆智能座舱。

可选地，第二操作系统基于虚拟化技术运行在搭载有第一操作系统的主机上。示例性地，智能座舱的主机采用Hypervisor（虚拟机监视器）虚拟化技术，其通过提供虚拟的作业平台来建立与执行虚拟机的软件、固件或硬件。具体而言，搭载有第一操作系统的主机被Hypervisor用以执行搭载有第二操作系统的虚拟机，其中Hypervisor为第二操作系统提供虚拟化的运行环境。

需要说明的是，第一操作系统与第二操作系统具有不同的启动时间，具体而言，根据本发明的一个或多个实施例的第一操作系统具有比第二操作系统短的启动时间，尤其是在车辆冷启动场景下。示例性地，第一操作系统为实时操作系统（RTOS），例如，QNX操作系统，其启动时间通常较短（例如，QNX操作系统的启动时间通常小于3秒）且响应速度较快，因此，本发明意图利用启动较快的第一操作系统以实现冷启动时倒车影像的快速显示。示例性地，第二操作系统为非实时操作系统，例如，Android、Linux、Windows操作系统，其启动时间通常较长（例如，搭载在虚拟机上的Android操作系统在冷启动场景下的开机时间约为20秒）且系统结构复杂，然而，由于其相较于实时操作系统具有更强影像处理功能，因此，本发明意图在第二操作系统启动后，将倒车影像平滑流转至第二操作系统，以实现更好的影像展示效果。

此外，根据本发明的第一操作系统和第二操作系统共享同一显示屏，该显示屏支持两个相互独立的硬件显示层，也即第一显示层和第二显示层。第一显示层布置在第二显示层之上且具有比第二显示层高的显示层级，因此，当第一显示层和第二显示层上同时渲染有显示数据时，第二显示层的显示数据将被第一显示层的显示数据覆盖，从而通过显示屏仅能显示第一显示层的显示数据。可以理解的是，当第一显示层不存在显示数据且第二显示层上渲染有显示数据时，能够通过显示屏显示第二显示层的显示数据。根据本发明的一个或多个实施例中，第一操作系统连接至第一显示层，以通过第一显示层渲染并显示其正在播放的视频帧；第二操作系统连接至第二显示层，以通过第二显示层渲染并显示其正在播放的视频帧。

如图1所示，在步骤S110中，响应于倒车指令，由第一操作系统接收并显示倒车影像。

可选地，在检测到车辆处于冷启动状态并且接收到用户输入的倒车命令时生成针对智能座舱的倒车指令。冷启动是指在发动机水温较低和/或熄火时间过长的情况下启动车辆，例如，在夜间停车后启动车辆。示例性地，若在车辆启动时，发动机的熄火时间大于或等于第一阈值、和/或发动机的温度小于或等于第二阈值，则判定车辆处于冷启动状态。

可选地，在步骤S110中，响应于倒车指令，当第一操作系统启动后，从影像获取模块接收多路影像数据，并对多路影像数据进行处理以生成全景倒车影像。

如上文所述，由于第一操作系统具有比第二操作系统短的启动时间，因此第一操作系统在车辆冷启动之后首先被启动。当第一操作系统启动后，可以通过布置在车身四周的多个影像获取模块（例如，广角镜头）获取多路影像数据。可选地，第一操作系统包括图像处理单元，其用于对多路影像数据进行拼接处理以得到车身周围的全景倒车影像。可选地，该图像处理单元还可用于对影像数据进行畸变矫正、共线矫正、分辨率调节等。

可选地，在步骤S110中，由第一操作系统为全景倒车影像添加视频帧序号，并且将全景倒车影像发送至第一操作系统的第一全景应用，以供第一全景应用通过显示屏的第一显示层显示全景倒车影像。可以理解的是，倒车影像由一帧帧图像所组成，在获取到全景倒车影像后，第一操作系统为该全景倒车影像中的每一帧图像分别标记依次递增的帧序号，例如，第1帧、第2帧、……、第N帧。随后，第一操作系统将标记有帧序号的全景倒车影像发送至第一全景应用，第一全景应用按照帧序号依次播放倒车影像的视频帧，并通过显示屏的第一显示层渲染并显示正在播放的倒车影像的视频帧。需要说明的是，由于此时第二操作系统并未启动，因此显示屏的第二显示层并不存在显示数据。

在步骤S120中，响应于第二操作系统的启动，由第一操作系统复制倒车影像并将其传输至第二操作系统。

可选地，在步骤S120中，第二操作系统在启动后向第一操作系统发送第一指令，该第一指令指示第二操作系统已启动并能正常运行。第一操作系统（例如，QNX操作系统）与第二操作系统（例如，Android操作系统）可通过共享内存或套接字（socket）进行数据传输。

可选地，在步骤S120中，响应于接收到第一指令，第一操作系统将倒车影像复制为两路并同时发送至第一操作系统的第一全景应用和第二操作系统的第二全景应用。需要说明的是，在该实施例中，被复制的倒车影像为标记有帧序号的全景倒车影像，从而使得第二全景应用在接收到倒车影像后能够按照第一操作系统所标记的帧序号依次播放该倒车影像。示例性地，第一操作系统通过共享内存将倒车影像传输至第二全景应用。

在步骤S130中，第一操作系统和第二操作系统分别对倒车影像进行播放，其中，第二操作系统通过读取第一操作系统的播放状态来同步本地播放。示例性地，为实现同步播放，第一操作系统和第二操作系统可以预设有相同的初始播放速度，然而，由于视频传输耗时等因素，第一操作系统和第二操作系统将不可避免地出现播放不同步的现象，也即，第一操作系统当前播放的视频帧序号与第二操作系统当前播放的视频帧序号之间将存在偏差。

示例性地，第二操作系统通过读取第一操作系统临时存储在共享内存内的当前播放的视频帧序号来实现本地同步播放。具体而言，在步骤S130中，第一操作系统的第一全景应用将倒车影像渲染在显示屏的第一显示层上，并将当前播放的倒车影像的第一帧序号存储至共享内存；第二操作系统的第二全景应用将倒车影像渲染在显示屏的第二显示层上。如上文所述，由于第二显示层具有比第一显示层低的显示层级，因此，当第一显示层和第二显示层上同时渲染有显示数据时，第二显示层的显示数据将被第一显示层的显示数据覆盖，从而通过显示屏仅能显示第一显示层的显示数据。也即，在步骤S130中，用户可通过显示屏观看到第一显示层的显示数据（也即，第一全景应用正在播放的倒车影像的视频帧），而无法观看到被覆盖的第二显示层的显示数据（也即，第二全景应用正在播放的倒车影像的视频帧）。

在播放过程中，第二全景应用从共享内存读取第一全景应用当前播放的倒车影像的第一帧序号，并基于第一帧序号与第二全景应用当前播放的倒车影像的第二帧序号之间的大小关系调节第一全景应用或第二全景应用的播放速度，直至第一全景应用与第二全景应用同步播放。示例性地，第二全景应用可以通过实时地进行以下操作之一来调节第一全景应用或第二全景应用的播放速度：若第一帧序号小于第二帧序号，则降低第二全景应用的本地播放速度；若第一帧序号大于第二帧序号，则第二全景应用向第一全景应用发送第二指令，以降低第一全景应用的播放速度；以及若第一帧序号大于第二帧序号，则第二全景应用跳帧至与第一帧序号相对应的视频帧并从其继续播放。可选地，上述针对播放速度的调节操作还可以按照预设的频率执行，例如，每秒两次，直至第一全景应用与第二全景应用当前播放的帧序号相同。

在步骤S140中，当第二操作系统与第一操作系统播放同步后，第一操作系统停止播放并由第二操作系统显示倒车影像。示例性地，当第二操作系统与第一操作系统当前播放的帧序号相同时，第二全景应用向第一全景应用发送第三指令以通知第一全景应用停止播放并隐藏第一显示层，以通过第二显示层在显示屏上显示倒车影像，从而实现视频显示从第一操作系统到第二操作系统的无缝流转。可以理解的是，当第一全景应用停止播放后，第一显示层将不存在显示数据，此时由于第二全景应用仍在将正在播放的倒车影像的视频帧渲染在第二显示层上，因此用户能够通过显示屏观察到第二显示层的显示数据。

根据本发明的一个或多个实施例的方法10通过倒车影像在具有不同启动时间的第一操作系统与第二操作系统之间的流转，解决了冷启动场景下由于第二操作系统启动较慢而导致的倒车影像不能及时显示的问题。此外，根据本发明的一个或多个实施例的方法10通过读取第一操作系统的当前播放的视频帧序号来同步第二操作系统的本地播放，实现了倒车影像在从第一操作系统到第二操作系统的流转过程中的平滑、稳定显示，避免了智能座舱冷启动过程中影像的卡顿或黑屏现象的发生，从而进一步提升了用户的使用体验。

继续参考图2，图2为按照本发明一个实施例的控制装置20的示意性框图。图2所示的控制装置20用于控制智能座舱系统的倒车影像显示，具体而言，可用于实施图1中的方法10。如图2所示，控制装置20包括接收模块210、复制模块220、同步模块230和切换模块240。

接收模块210用于响应于倒车指令，控制所述第一操作系统接收并显示所述倒车影像。可选地，接收模块210进一步配置为：当第一操作系统启动后，控制第一操作系统从影像获取模块接收多路影像数据，并对多路影像数据进行处理以生成全景倒车影像；控制第一操作系统为全景倒车影像添加视频帧序号，并且将全景倒车影像发送至第一操作系统的第一全景应用，以供第一全景应用通过显示屏的第一显示层显示全景倒车影像。有关接收模块210的上述操作可以参考上文中关于步骤S110的描述，此处不再赘述。

复制模块220用于响应于第二操作系统的启动，控制第一操作系统复制倒车影像并将其传输至第二操作系统。可选地，复制模块220进一步配置为：控制第二操作系统在启动后向第一操作系统发送第一指令；控制第一操作系统响应于接收到第一指令，将倒车影像复制为两路并同时发送至第一操作系统的第一全景应用和第二操作系统的第二全景应用。有关复制模块220的上述操作可以参考上文中关于步骤S120的描述，此处不再赘述。

同步模块230用于控制第一操作系统和第二操作系统分别对倒车影像进行播放，其中，第二操作系统通过读取第一操作系统的当前播放的视频帧序号来同步本地播放。可选地，同步模块230进一步配置为：控制第一操作系统的第一全景应用将倒车影像渲染在显示屏的第一显示层上，并将当前播放的倒车影像的第一帧序号存储至共享内存；控制第二操作系统的第二全景应用将倒车影像渲染在显示屏的第二显示层上，其中第二显示层具有比第一显示层低的显示层级并且第二显示层的显示数据被第一显示层覆盖；控制第二全景应用从共享内存读取第一帧序号，并基于第一帧序号与第二全景应用当前播放的倒车影像的第二帧序号之间的大小关系调节第一全景应用或第二全景应用的播放速度，直至第一全景应用与第二全景应用同步播放。有关同步模块230的上述操作可以参考上文中关于步骤S130的描述，此处不再赘述。

切换模块240用于当第二操作系统与第一操作系统播放同步后，控制第一操作系统停止播放并由第二操作系统显示倒车影像。可选地，切换模块240进一步配置为：当第二操作系统与第一操作系统当前播放的帧序号相同时，控制第二全景应用向第一全景应用发送第三指令以通知第一全景应用停止播放并隐藏第一显示层，以通过第二显示层在显示屏上显示倒车影像。有关切换模块240的上述操作可以参考上文中关于步骤S140的描述，此处不再赘述。

按照本发明的第三方面，提供了一种车辆，所述车辆包括如图2所示的控制装置20。

按照本发明的第四方面，还提供了一种计算机可读存储介质，其上存储计算机程序，该程序被处理器执行时实现如图1所示的方法10。该计算机可读存储介质可以包括随机存取存储器（RAM）（诸如同步动态随机存取存储器（SDRAM））、只读存储器（ROM）、非易失性随机存取存储器（NVRAM）、电可擦除可编程只读存储器（EEPROM）、闪存、其他已知的存储介质等。

在可适用的情况下，可以使用硬件、软件或硬件和软件的组合来实现由本发明提供的各种实施例。而且，在可适用的情况下，在不脱离本发明的范围的情况下，本文中阐述的各种硬件部件和/或软件部件可以被组合成包括软件、硬件和/或两者的复合部件。在可适用的情况下，在不脱离本发明的范围的情况下，本文中阐述的各种硬件部件和/或软件部件可以被分成包括软件、硬件或两者的子部件。另外，在可适用的情况下，预期的是，软件部件可以被实现为硬件部件，以及反之亦然。

根据本发明的软件（诸如程序代码和/或数据）可以被存储在一个或多个计算机存储介质上。还预期的是，可以使用联网的和/或以其他方式的一个或多个通用或专用计算机和/或计算机系统来实现本文中标识的软件。在可适用的情况下，本文中描述的各个步骤的顺序可以被改变、被组合成复合步骤和/或被分成子步骤以提供本文中描述的特征。

提供本文中提出的实施例和示例，以便最好地说明按照本发明及其特定应用的实施例，并且由此使本领域的技术人员能够实施和使用本发明。但是，本领域的技术人员将会知道，仅为了便于说明和举例而提供以上描述和示例。所提出的描述不是意在涵盖本发明的各个方面或者将本发明局限于所公开的精确形式。