数据处理方法及相关装置

技术领域

本申请涉及车辆技术领域，尤其涉及一种数据处理方法及相关装置。

背景技术

近些年，随着自动驾驶的蓬勃发展，鱼眼、鹰眼、单目、双目、雷达、激光雷达等各种类型的传感器被利用到了无人或自动驾驶的车辆上。通常来说，一个传感器的数据可以通过一个线程进行调度，但是在高帧率的多个传感器的数据被多个线程同时加载且并行运算的场景下，数据处理效率低，且时延较高。

发明内容

本申请提供一种数据处理方法及相关装置，可以提升数据处理效率，降低时延。

第一方面，本申请提供了一种数据处理方法，该方法包括：

获取车辆上N个传感器中每个传感器采集的数据，所述N为正整数；

获取路径规划信息和/或所述车辆的周围环境信息；

根据所述路径规划信息和/或所述车辆的周围环境信息从每个传感器采集的数据中采样所述传感器对应的目标数据，其中所述N个传感器中至少一个传感器对应的目标数据的大小小于所述至少一个传感器采集的数据的大小；

对所述N个传感器中每个传感器对应的目标数据进行处理。

在本申请中，传感器可以是摄像头、毫米波雷达和/或激光雷达等。其中，根据车辆当前的路径规划信息和/或周围环境信息对采集到的N个传感器中每个传感器采集的数据进行采样，以得到目标数据用于后续自动驾驶中行驶决策的判断等处理，可减少数据处理量，进而有利于提升数据处理效率，降低数据处理时延。上述采样可以是随机采样，固定间隔采样等，本申请对采样算法不做限制。

在一种可能的实现方式中，所述获取所述车辆的周围环境信息，包括：

获取所述车辆的定位信息；

根据所述定位信息以及地图信息确定所述车辆的周围环境信息。

在本申请中，通过全球导航卫星系统(global navigation satellite system，GNSS)，例如全球定位系统(global positioning system，GPS)，北斗卫星导航系统(Beidounavigation satellite system，BDS)等获取车辆的定位信息，再结合地图信息确定车辆的周围环境信息，可操作性强。

在一种可能的实现方式中，所述根据所述路径规划信息和/或所述车辆的周围环境信息从每个传感器采集的数据中采样所述传感器对应的目标数据，包括：

根据所述路径规划信息和/或所述车辆的周围环境信息确定所述N个传感器中每个传感器对应的权重值；

根据所述每个传感器对应的权重值对所述每个传感器采集的数据进行采样，得到所述N个传感器中每个传感器对应的目标数据。

在该种实现方式下，通过路径规划信息和/或周围环境信息确定不同传感器对应的权重值，进而根据权重值对相应传感器采集的数据进行采样处理，得到每个传感器对应的目标数据。通过此种实现方式，针对当前场景下重要程度高的传感器，可保留较多的数据量，针对重要程度较低的传感器，保留较少的数据量，这样既可以降低数据处理量，进而提升数据处理效率，又可以不影响对目标数据进行处理后的数据处理结果的精度。例如，假设传感器采集的数据可以应用于自动驾驶中的行驶决策，那么基于本申请中的数据采样方式，将采样得到的目标数据用于行驶决策，相比于不进行数据采样直接将所有数据用于行驶决策的实现方式，可以在不影响行驶决策的精度的基础上，提升数据处理效率，降低数据处理时延。

在一种可能的实现方式中，所述根据所述路径规划信息和/或所述车辆的周围环境信息确定所述N个传感器中每个传感器对应的权重值，包括：

从权重值映射关系表中获取所述路径规划信息和/或所述周围环境信息对应的每个传感器对应的权重值，所述权重值映射关系表中包括路径规划信息和/或周围环境信息与每个传感器对应的权重值之间的映射关系。

在本申请中，通过权重值映射关系表确定传感器对应的权重值，实现方式简单，可操作性强。

在一种可能的实现方式中，第i个传感器对应的目标数据为Y

Y

其中，X

在本申请中，针对不同的场景，对重要程度高的传感器，赋予其比较大的权重值，因此可保留较多的数据量；对重要程度低的传感器，赋予其比较小的权重值，因此可以保留较少的数据量，进而可以降低数据处理量。

在一种可能的实现方式中，所述N个传感器中每个传感器对应的目标数据的处理优先级与所述每个传感器对应的权重值正相关。

在本申请中，对于重要程度较高的传感器，其目标数据可以优先处理，也就是说，传感器对应的权重值越大，该传感器的目标数据的处理优先级越高，有利于缓解数据处理压力。

在一种可能的实现方式中，所述根据所述路径规划信息和/或所述车辆的周围环境信息从每个传感器采集的数据中采样所述传感器对应的目标数据，包括：

将所述路径规划信息和/或所述周围环境信息，以及所述N个传感器中每个传感器采集的数据输入采样网络；

获取所述采样网络输出的所述N个传感器中每个传感器对应的目标数据。

在本申请中，采样网络是通过强化学习的方式训练得到的。通过采样网络抽取不同传感器对应的目标数据，可操作性强，适用性高。

在一种可能的实现方式中，所述N个传感器中每个传感器对应的目标数据的处理优先级与所述每个传感器对应的目标数据的大小正相关。

在本申请中，通过采样出的不同传感器的目标数据的大小确定针对不同传感器的目标数据的处理优先级，有利于缓解数据处理压力。

第二方面，本申请提供了一种数据处理装置，该装置包括：

第一获取单元，用于获取车辆上N个传感器中每个传感器采集的数据，所述N为正整数；

第二获取单元，用于获取路径规划信息和/或所述车辆的周围环境信息；

处理单元，用于根据所述路径规划信息和/或所述车辆的周围环境信息从每个传感器采集的数据中采样所述传感器对应的目标数据，其中所述N个传感器中至少一个传感器对应的目标数据的大小小于所述至少一个传感器采集的数据的大小；

所述处理单元，用于对所述N个传感器中每个传感器对应的目标数据进行处理。

在一种可能的实现方式中，所述第二获取单元具体用于：

获取所述车辆的定位信息；

根据所述定位信息以及地图信息确定所述车辆的周围环境信息。

在一种可能的实现方式中，所述处理单元具体用于：

根据所述路径规划信息和/或所述车辆的周围环境信息确定所述N个传感器中每个传感器对应的权重值；

根据所述每个传感器对应的权重值对所述每个传感器采集的数据进行采样，得到所述N个传感器中每个传感器对应的目标数据。

在一种可能的实现方式中，所述处理单元具体还用于：

从权重值映射关系表中获取所述路径规划信息和/或所述周围环境信息对应的每个传感器对应的权重值，所述权重值映射关系表中包括路径规划信息和/或周围环境信息与每个传感器对应的权重值之间的映射关系。

在一种可能的实现方式中，第i个传感器对应的目标数据为Y

Y

其中，X

在一种可能的实现方式中，所述N个传感器中每个传感器对应的目标数据的处理优先级与所述每个传感器对应的权重值正相关。

在一种可能的实现方式中，所述处理单元具体用于：

将所述路径规划信息和/或所述周围环境信息，以及所述N个传感器中每个传感器采集的数据输入采样网络；

获取所述采样网络输出的所述N个传感器中每个传感器对应的目标数据。

在一种可能的实现方式中，所述N个传感器中每个传感器对应的目标数据的处理优先级与所述每个传感器对应的目标数据的大小正相关。

在一种可能的实现方式中，所述处理单元包括第一处理子单元和第二处理子单元，所述第一处理子单元用于根据所述路径规划信息和/或所述车辆的周围环境信息从每个传感器采集的数据中采样所述传感器对应的目标数据，并将所述采集的目标数据发送给所述第二处理子单元，所述第二处理子单元用于对所述N个传感器中每个传感器对应的目标数据进行处理。

在一种可能的实现方式中，所述第一获取单元，所述第二获取单元和所述第一处理子单元位于CPU中，所述第二处理子单元位于人工智能AI计算单元中，例如AI计算单元可以为AI core。

第三方面，本申请提供一种数据处理装置，该数据处理装置中包括处理器，处理器被配置为支持该数据处理装置实现第一方面提供的数据处理方法中相应的功能。该数据处理装置还可以包括存储器，存储器用于与处理器耦合，其保存该数据处理装置必要的程序指令和数据。该数据处理装置还可以包括通信接口，用于该数据处理装置与其他设备或通信网络通信。

需要说明的是，上述第三方面所描述的数据处理装置所包含的处理器，可以是专门用于执行这些方法的处理器(便于区别称为专用处理器)，也可以是通过调用计算机程序来执行这些方法的处理器，例如通用处理器。可选的，至少一个处理器还可以既包括专用处理器也包括通用处理器。

可选的，上述计算机程序可以存在存储器中。示例性的，存储器可以为非瞬时性(non-transitory)存储器，例如只读存储器(read-only memory，ROM)，其可以与处理器集成在同一块器件上，也可以分别设置在不同的器件上，本申请对存储器的类型以及存储器与处理器的设置方式不做限定。

在一种可能的实施方式中，上述至少一个存储器位于上述数据处理装置之外。

在又一种可能的实施方式中，上述至少一个存储器位于上述数据处理装置之内。

在又一种可能的实施方式之中，上述至少一个存储器的部分存储器位于上述数据处理装置之内，另一部分存储器位于上述数据处理装置之外。

本申请中，处理器和存储器还可能集成于一个器件中，即处理器和存储器还可以被集成在一起。

本申请上述第二或第三方面的数据处理装置可以是车载计算平台。

第四方面，本申请提供一种计算机可读存储介质，用于储存为上述第一方面提供的一种数据处理装置所用的计算机软件指令，其包含用于执行上述第一方面所设计的程序。

第五方面，本申请提供了一种计算机程序，该计算机程序包括指令，当该计算机程序被计算机执行时，使得计算机可以执行上述第一方面中的数据处理装置所执行的流程。

第六方面，本申请提供了一种芯片系统，该芯片系统包括处理器，用于支持计算设备实现上述第一方面中所涉及的功能，例如，生成或处理上述第一方面数据处理方法中所涉及的信息。在一种可能的设计中，所述芯片系统还包括存储器，所述存储器，用于保存数据发送设备必要的程序指令和数据。该芯片系统，可以由芯片构成，也可以包含芯片和其他分立器件。

第七方面，本申请提供了一种数据处理系统，所述数据处理系统包含N个传感器和上述第二方面或第三方面中任一项所述的数据处理装置，所述N个传感器部署在车辆中。

第八方面，本申请提供了一种数据处理系统，所述数据处理系统包含车辆和服务器，所述服务器包含上述第二方面或第三方面中任一项所述的数据处理装置，所述车辆包含N个传感器。

第九方面，本申请提供一种终端，所述终端包含前述第二方面或第三方面任一项所描述的数据处理装置。

可选的，所述终端可以为车辆、无人机或者机器人。或者，所述终端可以为任意可能的智能家居设备、智能穿戴设备、智能制造设备等。

本申请第二方面至第九方面所提供的技术方案，其有益效果可以参考第一方面所提供的技术方案的有益效果，此处不再赘述。

附图说明

下面将对本申请实施例描述中所需要使用的附图作简单的介绍。

图1是本申请实施例提供的一种数据处理系统构架示意图；

图2是本申请实施例提供的车辆上传感器的配置示意图；

图3是本申请实施例提供的数据处理方法的流程示意图；

图4是本申请实施例提供的权重值映射关系表的示意图；

图5是本申请实施例提供的获取目标数据的场景示意图；

图6是本申请实施例提供的一种可能的数据处理装置的结构示意图；

图7是本申请实施例提供的又一种可能的数据处理装置的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

首先，对本申请中的部分用语进行解释说明，以便于本领域技术人员理解。需要说明的是，这些解释是为了让本申请实施例更容易被理解，而不应该视为对本申请所要求的保护范围的限定。

1、传感器

本申请实施例中提及的传感器可以包含摄像头等视觉系传感器和雷达系传感器。其中，摄像头可以是鱼眼、鹰眼、单目、双目等，在此不做限制。雷达系传感器可以包含雷达(radio detection and ranging，Radar)、激光雷达(light detection and ranging，LiDAR)，毫米波雷达等，在此不做限制。

本申请实施例中的传感器能够应用于在智能驾驶、智能运输、智能制造、环境监测、测绘、无人机等各种领域，能够完成目标探测、距离测量、速度测量、目标跟踪、成像识别等中的一项或者多项功能。

本申请实施例中的传感器可以为车载传感器(例如车载雷达)、也可以为应用于其它设备上的传感器，例如传感器可以安装在无人机、机器人、轨道车、自行车、信号灯、测速装置或基站等设备上。本申请实施例对传感器安装的位置以及对象不做限定。

2、全球导航卫星系统(global navigation satellite system，GNSS)

GNSS可包括美国的全球定位系统(global positioning system，GPS)、俄罗斯的格洛纳斯卫星导航系统(global navigation satellite system，GLONASS)、欧盟的伽利略卫星导航系统(Galileo satellite navigation system，GALILEO)、以及中国的北斗卫星导航系统(Beidou navigation satellite system，BDS)等一种或多种定位系统。

GNSS是能在地球表面或近地空间的任何地点为用户提供全天候的3维坐标和速度以及时间信息的空基无线电导航定位系统。该系统可以基于4颗卫星准确定位经纬度以及高度。

3、强化学习

强化学习是除了监督学习和无监督学习之外的第三种机器学习范式。强化学习是一种学习如何从状态映射到行为以使得获取的奖励最大的学习机制。

为了便于理解本申请实施例，下面先对本申请实施例所基于的其中一种数据处理系统架构进行描述。

请参见图1，图1是本申请实施例提供的一种数据处理系统构架示意图。如图1所示，该数据处理系统包括传感器和数据处理装置。其中传感器和数据处理装置可以通过网络通信，以将传感器采集的数据发送至数据处理装置进行处理。

传感器可以分布在车辆的四周，例如车辆的前面，车辆的侧面和车辆的后面等，在此不做限制。

数据处理装置可以集成在车辆内，例如集成在车辆的计算平台，移动数据中心(mobile data center，MDC)中，或者，数据处理装置也可以位于车辆外部，例如集成在云端服务器中等，在此不做限制。

其中，数据处理装置可以接收每个传感器采集的数据。示例性地，当传感器为图像传感器，例如摄像头时，传感器采集的数据可以为图像数据。示例性地，当传感器为激光雷达时，传感器采集的数据可以为点云数据，或者称为点云图像。

一般来说，车辆上安装的传感器的类型可以不同，因此数据处理装置在接收到不同传感器采集的数据后，通常需要对不同传感器的数据进行预处理，例如，车上一般存在多组摄像头，激光雷达，毫米波雷达等传感器，针对激光雷达的数据一般采用跟摄像头同样频率时间段内采集到的数据作为网络的输入数据流。

可选的，本申请实施例涉及的数据处理系统还可以包括GNSS传感器，该GNSS传感器用于向数据处理装置提供与车辆的位置相关的地理坐标等信息。

需要说明的是，近些年，随着自动驾驶的蓬勃发展，各种类型的传感器被利用到了无人驾驶或智能辅助驾驶的车辆上，其中每种传感器又包含多个设备。请参见图2，图2是本申请实施例提供的车辆上传感器的配置示意图。如图2所示，一块MDC单板上面装载了11路摄像头和4路激光雷达。通常来说，一个传感器(例如摄像头)的数据可以通过一个线程进行调度处理，但是在高帧率的多个传感器的数据被多个线程同时加载且并行运算的场景下，数据处理效率低，且时延较高。

基于此，本申请提供了一种数据处理方法及相关装置，可以提升数据处理效率，降低时延。

下面对本申请提供的数据处理方法及数据处理装置进行详细介绍：

请参见图3，图3是本申请实施例提供的数据处理方法的流程示意图。如图3所示，该数据处理方法包括如下步骤S301～S304。图3所示的方法执行主体可以为移动终端。或者，图3所示的方法执行主体可以为移动终端中的芯片。示例性地，移动终端可以为车辆等。其中：

S301、获取车辆上N个传感器中每个传感器采集的数据。

在一些可行的实施方式中，获取车辆上N个传感器中每个传感器采集的数据。其中N个传感器可以是相同类型的传感器，或者，N个传感器中也可以包括多种不同类型的传感器，具体根据实际应用场景确定，在此不做限制。例如，当N个传感器中包括图像传感器时，图像传感器采集的数据为图像数据。又例如，当N个传感器中包括激光雷达时，激光雷达采集的数据为点云数据。

通常来说，当N个传感器中同时包括图像传感器和激光雷达时，由于图像传感器和激光雷达采集数据的帧率不同，因此可以先对图像传感器采集到的图像数据和激光雷达采集到的点云数据进行预处理，以统一图像数据和点云数据的帧率。例如，图像数据和点云数据的帧率可以统一处理为每秒30帧等，在此不做限制。

需要说明的是，当本申请实施例的应用场景为自动驾驶、智能辅助驾驶或无人驾驶场景时，上述获取的每个传感器采集的数据通常为传感器实时采集的数据，或者描述为传感器当前时刻采集的数据。

S302、获取路径规划信息和/或车辆的周围环境信息。

在一些可行的实施方式中，获取路径规划信息和/或车辆的周围环境信息。其中，路径规划信息可以理解为在已知目的地的条件下，结合司机之前的行驶路线，汽车导航提前规划好的路线信息。例如，路径规划信息可以为车辆直行，车辆左转弯，车辆右转弯，车辆掉头、车辆倒车、车辆刹车、车辆加速、车辆减速、车辆向左变道，车辆向右变道等，在此不做限制。车辆的周围环境信息可以理解为车辆当前所处位置的环境信息，例如，车辆的周围环境信息可以包括红绿灯路口信息，路口信息，限速信息，测速摄像头，岔路等信息。

需要说明的是，获取车辆的周围环境信息可以理解为：获取车辆的定位信息，进而根据定位信息再结合地图信息确定车辆的周围环境信息。其中，车辆的定位信息可以通过GNSS传感器或GNSS系统(例如可以是GPS系统，也可以是北斗系统或者其他定位系统等)确定，在此不做限制。可选的，获取车辆的周围环境信息还可以理解为：根据N个传感器中每个传感器前一时刻对应的目标图像数据确定车辆的周围环境信息。也就是说，可以通过对历史时刻(例如当前时刻的前一时刻)每个传感器对应的目标数据进行图像识别或点云数据处理，以确定车辆的周围环境信息。其中，针对传感器对应的目标数据的理解可参见后文中的描述，在此不进行展开。

S303、根据路径规划信息和/或周围环境信息从每个传感器采集的数据中采样传感器对应的目标数据。

在一些可行的实施方式中，根据路径规划信息和/或周围环境信息从每个传感器采集的数据中采样传感器对应的目标数据。也就是说，本申请可以根据路径规划信息从每个传感器采集的数据中采样传感器对应的目标数据，或者，根据周围环境信息从每个传感器采集的数据中采样传感器对应的目标数据，或者，根据路径规划信息和周围环境信息从每个传感器采集的数据中采样传感器对应的目标数据。为方便理解，以下主要以根据路径规划信息和周围环境信息从每个传感器采集的数据中采样传感器对应的目标数据为例进行示意性说明。

其中，上述N个传感器中包括至少一个传感器对应的目标数据的大小小于该至少一个传感器采集的数据的大小，即该至少一个传感器被舍弃的数据的大小大于0。在本申请实施例中，采样也可以描述为抽取，选择等，在此不做限制。其中采样规则或者抽取规则可以是随机采样，或者，也可以每个预设时间抽取或采样等，在此不做限制。

具体地，上述根据路径规划信息和/或周围环境信息从每个传感器采集的数据中采样传感器对应的目标数据可以理解为：根据路径规划信息和/或周围环境信息确定N个传感器中每个传感器对应的权重值。进而，根据每个传感器对应的权重值对每个传感器采集的数据进行采样，得到N个传感器中每个传感器对应的目标数据。

在一种可能的实现中，上述根据路径规划信息和/或周围环境信息确定N个传感器中每个传感器对应的权重值可以理解为：从权重值映射关系表中获取路径规划信息和/或周围环境信息对应的每个传感器对应的权重值，权重值映射关系表中包括路径规划信息和/或周围环境信息与每个传感器对应的权重值之间的映射关系。

示例性地，请参见图4，图4是本申请实施例提供的权重值映射关系表的示意图。如图4所示，假设传感器的数量为3，即N＝3，该3个传感器分别为传感器1，传感器2和传感器3，其中传感器1位于车辆的前方，传感器2位于车辆的后方，传感器3位于车辆的右侧方。又假设路径规划信息包括路径规划信息1，路径规划信息2，路径规划信息3，…，路径规划信息M，M为大于0的整数；周围环境信息包括周围环境信息1，周围环境信息2，周围环境信息3，…，周围环境信息R，R为大于0的整数。其中，路径规划信息1表示车辆左转，路径规划信息2表示车辆右转，路径规划信息3表示车辆右转，路径规划信息M表示车辆倒车。周围环境信息1表示红绿灯路口信息，周围环境信息2表示测速信息，周围环境信息3表示岔路信息，周围环境信息R表示限速信息。其中，不同路径规划信息和不同的周围环境信息之间可以相互组合，以生成路径规划信息和周围环境信息与每个传感器对应的权重值之间的映射关系。示例性地，假设权重值表示为Z

需要说明的是，本申请实施例中涉及的权重值可以理解为数据的采样比例，其中，假设第i个传感器对应的目标数据为Y

可选的，映射关系表也可以用于只根据路径规划信息确定N个传感器中每个传感器对应的权重值，这种情况下，在图4所示的基础上，映射关系表可以增加一列周围环境信息0，该列对应的权重值不考虑周围环境信息的影响。类似地，映射关系表也可以用于只根据周围环境信息确定N个传感器中每个传感器对应的权重值，这种情况下，在图4所示的基础上，映射关系表可以增加一行路径规划信息0，该行对应的权重值不考虑路径规划信息的影响。

示例性地，请参见图5，图5是本申请实施例提供的获取目标数据的场景示意图。假设传感器的数量为3，即N＝3，该3个传感器分别为传感器1，传感器2和传感器3，其中传感器1位于车辆的前方，传感器2位于车辆的后方，传感器3位于车辆的右侧方。其中，传感器1，传感器2和传感器3分别采集到30帧数据。

场景1：假设车辆当前的周围环境信息为红绿灯路口信息，例如，车辆当前所处的位置是在红绿灯处的最左侧车道等待绿灯，又假设路径规划信息为等待红灯结束，绿灯亮起以后车辆直行通过红绿灯路口，即期望的车辆行为是等待红灯结束，绿灯亮起以后车辆直行通过红绿灯路口。其中，根据车辆当前的路径规划信息和周围环境信息，再结合权重值映射关系表可以确定车辆前方的传感器1对应的权重值为1，车辆后方的传感器2对应的权重值为0.4，车辆右侧方的传感器3对应的权重值为0.3，也就是说，在路口等待红绿灯时，位于车辆的后方和右侧方的传感器所传输回来的数据，对于之后的无人驾驶的行驶来说不是很重要，因此，分别赋予了权重值0.4和权重值0.3，而位于车辆前方的传感器采集的数据对于之后的无人驾驶的行驶是重要的，因此赋予了最高权重值1。基于此，可以确定传感器1对应的目标数据的大小为30帧，传感器2对应的目标数据的大小为12帧，传感器3对应的目标数据的大小为9帧。因此可以将传感器1采集的30帧数据全部输入计算模型中进行处理，从传感器2采集的30帧数据中采样12帧数据输入计算模型中进行处理，从传感器3采集的30帧数据中采样9帧数据输入计算模型中进行处理。

场景2：假设车辆当前的周围环境信息为岔路信息，即车辆前方路段有岔路口，又假设路径规划信息为直行通过该岔路口，即期望的车辆行为是直行通过岔路口。其中，根据车辆当前的路径规划信息和周围环境信息，再结合权重值映射关系表可以确定车辆前方的传感器1对应的权重值为0.2，车辆后方的传感器2对应的权重值为0.2，车辆右侧方的传感器3对应的权重值为1，也就是说，在直行经过岔路口时，位于车辆的前方和后方的传感器所传输回来的数据，对于之后的无人驾驶的行驶来说不是很重要，因此，皆赋予了权重值0.2，而位于车辆右侧方的传感器采集的数据对于之后的无人驾驶的行驶尤为重要，因此赋予了最高权重值1。基于此，可以确定传感器1对应的目标数据的大小为6帧，传感器2对应的目标数据的大小为6帧，传感器3对应的目标数据的大小为30帧。因此可以从传感器1采集的30帧数据中采样6帧数据输入计算模型中进行处理，从传感器2采集的30帧数据中采样6帧数据输入计算模型中进行处理，将传感器3采集的30帧数据全部输入计算模型中进行处理。

需要说明的是，从数据中采样目标数据的规则可以是随机采样，或者，也可以是均匀采样，例如每隔预设时间采样一帧。其中，本申请实施例中涉及的计算模型可以是驾驶行为决策网络，即通过将每个传感器对应的目标数据输入该计算模型，通过该计算模型可以确定车辆的下一步驾驶行为或车辆的下一步操作或下一步的行驶决策。

在另一种实现中，根据路径规划信息和/或周围环境信息从每个传感器采集的数据中采样传感器对应的目标数据可以理解为：将路径规划信息和/或周围环境信息，以及N个传感器中每个传感器采集的数据输入采样网络，以获取采样网络输出的N个传感器中每个传感器对应的目标数据。其中，采样网络是通过强化学习的方式训练得到的。

下面针对本申请实施例中涉及的采样网络的训练过程进行详细说明。

假设有3个传感器，其中初始化每个传感器的初始权重值分别为1，即Camera_weight_1＝1，Camera_weight_2＝1，Camera_weight_3＝1。

初始化每个传感器的环境的当前时刻S_t，当前时刻的调度等级a_t，当前时刻的反馈奖励r_t，具体地：

S_t_1＝0，S_t_2＝0，S_t_3＝0；

a_t_1＝1，a_t_2＝1，a_t_3＝1；

r_t_1＝1，r_t_2＝1，r_t_3＝1。

假设每个传感器下一时刻(即t+1时刻)的反馈奖励值为：

r_t+1_1，r_t+1_2，r_t+1_3。

其中，每个传感器的反馈奖励值可以根据计算模型输出的车辆的行驶决策与所期望的车辆的行驶决策之间的相似度确定。其中，计算模型输出的车辆的行驶决策与期望的车辆的行驶决策之间的相似度可以通过欧式距离等确定，在此不做限制。通常来说，每个传感器的反馈奖励值的大小可以是预先定义的，例如最大可以设置为100等，在此不做限制。

其中，总的奖励值为R，R满足以下公式1：

R＝r_t+1_1*1/Camera_weight_1+r_t+1_2*1/Camera_weight_2+r_t+1_3*1/Camera_weight_3

通常来说，总的奖励值R的大小可以是预先定义的。

其中，假设车辆当前的周围环境信息为红绿灯路口信息，例如，车辆当前所处的位置是在红绿灯处的最左侧车道等待绿灯，又假设路径规划信息为等待红灯结束，绿灯亮起以后车辆直行通过红绿灯路口，即期望的车辆行为是等待红灯结束，绿灯亮起以后车辆直行通过红绿灯路口。

基于此，采样网络的训练过程为：

步骤1：将三个传感器分别采集得到的30帧数据输入到采样网络，得到采样网络输出的抽帧后的数据。

步骤2：将得到的抽帧后的数据输入至计算模型进行处理，得到计算模型输出的车辆的行驶决策，再根据该行驶决策确定下一时刻每个传感器的反馈奖励值。例如，假设经过计算模型处理后得到的汽车的行驶决策为等待红灯结束，绿灯亮起以后车辆直行通过红绿灯路口，那么根据这个行驶决策可以赋予位于车辆前方的传感器1的反馈奖励值为r_t+1_1＝100，赋予位于车辆后方的传感器2的反馈奖励值r_t+1_2＝30，赋予位于车辆右侧方的传感器3的反馈奖励值r_t+1_3＝30。

步骤3：将步骤2中确定的各个反馈奖励值带入到公式1中，由于强化学习的目的是使得总的奖励值R尽可能达到最大，因此，可以根据前一时刻的Camera_weight_1，Camera_weight_2，Camera_weight_3的值更新下一时刻的Camera_weight_1，Camera_weight_2，Camera_weight_3的值，例如，可以通过遗传算法，模拟退火算法更新下一时刻的Camera_weight_1，Camera_weight_2，Camera_weight_3的值。可理解的，还需要更新下一时刻的s_t+1和a_t+1的值。通常来说，每个传感器下一时刻a_t+1的值可以根据下一时刻的Camera_weight_1，Camera_weight_2，Camera_weight_3的值确定，例如，可以通过对下一时刻的Camera_weight_1，Camera_weight_2，Camera_weight_3的值进行排序后得到下一时刻每个传感器a_t+1的值。

步骤4：再次执行上述步骤1～步骤3，直到总的奖励值R稳定且无限趋近最大时，得到最终的采样网络。

S304、对N个传感器中每个传感器对应的目标数据进行处理。

在一些可行的实施方式中，对N个传感器中每个传感器对应的目标数据进行处理。这里，对每个传感器对应的目标数据进行处理可以理解为将每个传感器对应的目标数据依次输入计算模型中进行处理。示例性地，计算模型可以是驾驶行为决策网络，即通过将每个传感器对应的目标数据输入该计算模型，通过该计算模型可以确定车辆的下一步驾驶行为或车辆的下一步操作或下一步的行驶决策。

通常来说，一个传感器的数据可以通过一个线程进行调度处理。在一种实现中，可以根据不同传感器对应的权重值确定其对应的数据处理优先级，也就是说，N个传感器中每个传感器对应的目标数据的处理优先级与每个传感器对应的权重值正相关。具体地，某个传感器对应的权重值越大，该传感器对应的目标数据的处理优先级越高，或者，理解为某个传感器对应的权重值越大，用于调度该传感器的线程的优先级越高，其中优先级高的线程可以优先使用处理资源处理对应的目标数据，即某个线程的优先级越高，就会越早处理这个线程。

示例性地，针对上述场景1而言，假设传感器1通过线程1进行调度，传感器2通过线程2进行调度，传感器3通过线程3进行调度。根据传感器1对应的权重值1，传感器2对应的权重值0.4，传感器3对应的权重值0.3，可以分别赋予线程1的优先级为优先级2，赋予线程2的优先级为优先级1，赋予线程3的优先级为优先级0，其中优先级2＞优先级1＞0，因此，传感器1就会以30帧的速率并且以最高的线程优先级输入到之后的计算模型中，而传感器2会以12帧的速率并且以较次的优先级输入到计算模型中，传感器3会以9帧的速率并且以最低的优先级输入到计算模型中。此时计算模型就会优先得到传感器1的输入目标数据并对其进行处理，传感器2的目标数据的优先级略低于传感器1的目标数据的优先级，传感器3的目标数据优先级再略低于传感器2的目标数据的优先级。

在另一种实现中，可以根据不同传感器对应的目标数据的大小确定其对应的数据处理优先级，也就是说，N个传感器中每个传感器对应的目标数据的处理优先级与每个传感器对应的目标数据的大小正相关。

可理解的，当N个传感器中每个传感器采集数据的帧率相同时，或者，当N个传感器中存在传感器的数据采集帧率不同，但是通过预处理为相同帧率时，例如每个传感器的帧率皆为30帧每秒时，那么可以直接根据目标数据的大小确定其对应的数据处理优先级。通常来说，某个传感器对应的目标数据的大小越多，该传感器对应的目标数据的数据处理优先级越高。

举例来说，假设存在3个传感器分别为传感器1，传感器2和传感器3，其中，该3个传感器的帧率皆为每秒30帧。假设传感器1对应的目标数据的大小为30帧，传感器2对应的目标数据的大小为12帧，传感器3对应的目标数据的大小为9帧，因此可以确定传感器1对应的目标数据的数据处理优先级高于传感器2对应的目标数据的数据处理优先级，传感器2对应的目标数据的数据处理优先级高于传感器3对应的目标数据的数据处理优先级。

可理解的，当N个传感器中存在某个或某些传感器的数据采集帧率不同或者不统一时，还可以根据N个传感器中每个传感器对应的目标数据的大小和N个传感器中每个传感器采集的数据的大小确定每个传感器对应的权重值，进而根据不同传感器对应的权重值确定其对应的数据处理优先级。

举例来说，假设存在3个传感器分别为传感器1，传感器2和传感器3，其中，传感器1的帧率为每秒30帧，传感器2的帧率为每秒25帧，传感器3的帧率为每秒20帧。假设传感器1对应的目标数据的大小为30帧，传感器2对应的目标数据的大小为12帧，传感器3对应的目标数据的大小为9帧，因此可以确定传感器1对应的权重值为1，传感器2对应的权重值为0.48，传感器3对应的权重值为0.45，由于1＞0.48＞0.45，因此可以确定传感器1对应的目标数据的数据处理优先级高于传感器2对应的目标数据的数据处理优先级，传感器2对应的目标数据的数据处理优先级高于传感器3对应的目标数据的数据处理优先级。

在本申请实施例中，根据车辆当前的路径规划信息和/或周围环境信息对采集到的N个传感器中每个传感器采集的数据进行采样，以得到目标数据用于后续自动驾驶中行驶决策的判断等处理，可减少数据处理量，进而有利于提升数据处理效率，降低数据处理时延。具体地，本申请实施例可以根据路径规划信息和/或周围环境信息确定不同传感器对应的权重值，进而根据权重值对相应传感器采集的数据进行采样，得到每个传感器对应的目标数据。通过此种实现方式，针对当前场景下重要程度高的传感器，可保留较多的数据量，针对重要程度较低的传感器，保留较少的数据量，这样既可以降低数据处理量，进而提升数据处理效率，又可以不影响对目标数据进行处理后的数据处理结果的精度，例如对目标数据进行处理得到的行驶决策的精度，适用性更高。

下面将结合图6和图7对本申请提供的数据处理装置进行详细说明。

请参见图6，图6是本申请实施例提供的一种可能的数据处理装置的结构示意图。

可选的，该数据处理装置60可以为移动终端，例如车辆等独立设备，也可以为包含于独立设备中的器件，例如芯片、软件模块、或集成电路等。该数据处理装置60用于实现前述的数据处理方法，例如图3所示实施例中的数据处理方法。

一种可能的实施方式中，该数据处理装置600可以包括第一获取单元601、第二获取单元602和处理单元603。其中，处理单元603可以包括第一处理子单元(6031)和第二处理子单元(6032)。其中，第一处理子单元6031可以用于实现前述的数据处理方法的计算、或处理的功能，例如S303，和/或用于支持前述方法所描述的技术的其它过程，第二处理子单元6032可以用于实现前述的数据处理方法的计算、或处理的功能，例如S304，和/或用于支持前述方法所描述的技术的其它过程。第一获取单元601可以用于执行实现前述的数据处理方法中的数据获取操作，例如S301，和/或用于支持本文所描述的技术的其它过程，第二获取单元602可以用于执行实现前述的数据处理方法中的数据获取操作，例如S302，和/或用于支持本文所描述的技术的其它过程。一些可能实施场景中，第一获取单元601还可以由通信接口模块和/或收发模块代替，并且该接口模块和/或收发模块可以用于支持前述方法所描述的技术的其它过程。

一种可能的设计中，该数据处理装置60用于实现图3所示实施例中的数据处理方法。其中：

第一获取单元601，用于获取车辆上N个传感器中每个传感器采集的数据，所述N为正整数；

第二获取单元602，用于获取路径规划信息和/或所述车辆的周围环境信息；

处理单元603，用于根据所述路径规划信息和/或所述车辆的周围环境信息从每个传感器采集的数据中采样所述传感器对应的目标数据，其中所述N个传感器中至少一个传感器对应的目标数据的大小小于所述至少一个传感器采集的数据的大小；

所述处理单元603，用于对所述N个传感器中每个传感器对应的目标数据进行处理。

在一种可能的实现方式中，所述第二获取单元602具体用于：

获取所述车辆的定位信息；

根据所述定位信息以及地图信息确定所述车辆的周围环境信息。

在一种可能的实现方式中，所述处理单元603包括第一处理子单元6031，所述第一处理子单元6031具体用于：

根据所述路径规划信息和/或所述车辆的周围环境信息确定所述N个传感器中每个传感器对应的权重值；

根据所述每个传感器对应的权重值对所述每个传感器采集的数据进行采样，得到所述N个传感器中每个传感器对应的目标数据。

在一种可能的实现方式中，所述第一处理子单元6031具体还用于：

从权重值映射关系表中获取所述路径规划信息和/或所述周围环境信息对应的每个传感器对应的权重值，所述权重值映射关系表中包括路径规划信息和/或周围环境信息与每个传感器对应的权重值之间的映射关系。

在一种可能的实现方式中，第i个传感器对应的目标数据为Yi帧，其中：

Yi＝Xi×Zi；

其中，Xi表示所述第i个传感器采集的数据的帧数，Zi表示所述第i个传感器对应的权重值，0≤Zi≤1，i∈[1，N]。

在一种可能的实现方式中，所述N个传感器中每个传感器对应的目标数据的处理优先级与所述每个传感器对应的权重值正相关。

在一种可能的实现方式中，所述处理单元603包括第二处理子单元6032，所述第二处理子单元6032具体用于：

将所述路径规划信息和/或所述周围环境信息，以及所述N个传感器中每个传感器采集的数据输入采样网络；

获取所述采样网络输出的所述N个传感器中每个传感器对应的目标数据。

在一种可能的实现方式中，所述N个传感器中每个传感器对应的目标数据的处理优先级与所述每个传感器对应的目标数据的大小正相关。

在一种可能的实现方式中，所述第二处理子单元6032用于对所述N个传感器中每个传感器对应的目标数据进行处理。

在一种可能的实现方式中，所述第一获取单元601，所述第二获取单元602和所述第一处理子单元6031位于CPU中，所述第二处理子单元6032位于人工智能AI计算单元中，例如AI计算单元可以为AI core。

相关描述还可以参考图3中的说明。

请参见图7，图7是本申请实施例提供的又一种可能的数据处理装置的结构示意图。

该数据处理装置70可以为移动终端，例如车辆等独立设备，也可以为包含于独立设备中的器件，例如芯片、软件模块、或集成电路等。该数据处理装置70可以包括至少一个处理器701和通信接口702。可选的，还可以包括至少一个存储器703。进一步可选的，还可以包含连接线路704，其中，处理器701、通信接口702和/或存储器703通过连接线路704相连，通过连接线路704互相通信，传递控制和/或数据信号。其中：

(1)处理器701是进行算术运算和/或逻辑运算的模块，具体可以包含以下装置中的一项或者多项：中央处理器(central processing unit，CPU)、微电子控制单元(microcontroller unit，MCU)、应用处理器(application processor，AP)、时间数字转换器(time-to-digital converter，TDC)、电子控制单元(electronic control unit，ECU)、滤波器、图形处理器(graphics processing unit，GPU)、微处理器(microprocessor unit，MPU)、专用集成电路(application-specific integrated circuit，ASIC)、图像信号处理器(image signal processor，ISP)、数字信号处理器(digital signal processor，DSP)、现场可编程逻辑门阵列(field programmable gate array，FPGA)、复杂可编程逻辑器件(complex programmable logic device，CPLD)、协处理器(协助中央处理器完成相应处理和应用)、和/或神经网络处理器(neural-network processing unit，NPU)等。

(2)通信接口702可以用于为所述至少一个处理器提供信息输入或者输出。在一些可能的场景中，通信接口702可以包含接口电路。和/或，所述通信接口702可以用于接收外部发送的数据和/或向外部发送数据。例如，通信接口702可以包括诸如以太网电缆等的有线链路接口，也可以是无线链路(Wi-Fi、蓝牙、通用无线传输、车载短距通信技术以及其他短距无线通信技术等)接口。可选的，通信接口702还可以包括与接口耦合的发射器(如射频发射器、天线等)，或者接收器等。

可选地，若数据处理装置70为独立设备时，通信接口702可以包括接收器和发送器。其中，接收器和发送器可以为相同的部件，或者为不同的部件。接收器和发送器为相同的部件时，可以将该部件称为收发器。

可选地，若数据处理装置70为芯片或电路时，通信接口702可以包括输入接口和输出接口，输入接口和输出接口可以是相同的接口，或者可以分别是不同的接口。

可选地，通信接口702的功能可以通过收发电路或收发的专用芯片实现。处理器701可以通过专用处理芯片、处理电路、处理器或通用芯片实现。

(3)存储器703用于提供存储空间，存储空间中可以存储操作系统和计算机程序等数据。存储器703可以是随机存储器(random access memory，RAM)、只读存储器(read-onlymemory，ROM)、可擦除可编程只读存储器(erasable programmable read only memory，EPROM)、或便携式只读存储器(compact disc read-only memory，CD-ROM)等等中的一种或者多种的组合。

其中，以上列举的数据处理装置70中各模块或单元的功能和动作仅为示例性说明。

数据处理装置70中各功能单元可用于实现前述的数据处理方法，例如图3所示实施例所描述的方法。这里为了避免赘述，省略其详细说明。

可选的，处理器701，可以是专门用于执行前述方法的处理器(便于区别称为专用处理器)，也可以是通过调用计算机程序来执行前述方法的处理器(便于区别称为专用处理器)。可选的，至少一个处理器还可以既包括专用处理器也包括通用处理器。

可选的，在计算设备包括至少一个存储器703的情况下，若处理器701通过调用计算机程序来实现前述方法，该计算机程序可以存储在存储器703中。

本申请实施例还提供了一种芯片系统，该芯片系统包括处理器和通信接口，所述通信接口用于接收和/或发送数据，和/或，所述通信接口用于为所述处理器提供输入和/或输出。所述芯片系统用于实现前述的数据处理方法，例如图3所述的方法。

本申请实施例还提供了一种算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算设备运行时，使得该计算设备实现前述的数据处理方法，例如图3所述的方法。

本申请实施例还提供了一种终端，所述终端用于实现前述的数据处理方法，例如图3所述的方法。

可选的，所述终端可以包含数据处理装置(例如数据处理装置60、或数据处理装置70等)。

可选的，所述终端为车辆、无人机或者机器人。或者，所述终端可以为任意可能的智能家居设备、智能穿戴设备、智能制造设备等。

本申请实施例还提供了一种计算机程序产品，该计算机程序产品包括计算机指令，在被计算设备执行时，实现前述的数据处理方法。

本申请还提供了一种数据处理系统，所述数据处理系统包含数据处理装置和N个传感器，所述N个传感器部署在车辆中。可选的，数据处理装置可以集成在车辆的移动数据中心(mobile data center，MDC)中。

本申请还提供了一种数据处理系统，所述数据处理系统包含车辆和服务器，所述服务器包含数据处理装置，所述车辆包含N个传感器。

本申请实施例中，“示例性的”或者“例如”等词用于表示作例子、例证或说明。本申请中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其他实施例或设计方案更优选或更具优势。确切而言，使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

本申请中实施例提到的“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“以下至少一项(个)”或其类似表达，是指的这些项中的任意组合，包括单项(个)或复数项(个)的任意组合。例如，a、b、或c中的至少一项(个)，可以表示：a、b、c、(a和b)、(a和c)、(b和c)、或(a和b和c)，其中a、b、c可以是单个，也可以是多个。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A、同时存在A和B、单独存在B这三种情况，其中A、B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。

以及，除非有相反的说明，本申请实施例使用“第一”、“第二”等序数词是用于对多个对象进行区分，不用于限定多个对象的顺序、时序、优先级或者重要程度。例如，第一设备和第二设备，只是为了便于描述，而并不是表示这第一设备和第二设备的结构、重要程度等的不同，在某些实施例中，第一设备和第二设备还可以是同样的设备。

上述实施例中，根据上下文，术语“当……时”可以被解释为意思是“如果……”或“在……后”或“响应于确定……”或“响应于检测到……”。以上所述仅为本申请的可选实施例，并不用以限制本申请，凡在本申请的构思和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。