一种预测方法及装置

技术领域

本申请涉及机器视觉和自动驾驶领域，且更具体地，涉及一种预测方法及装置。

背景技术

在无人驾驶应用领域中，为了保证无人驾驶设备的安全驾驶，通常需要对无人驾驶设备周边环境中的障碍物进行未来轨迹预测，以便进行智能决策与规划。

目前，主要基于周边环境中障碍物的属性(比如，位置、朝向、速度)数据，通过预测模型输出预测结果，从而预测障碍物的未来轨迹。

但是，预测模型需要一定的时间进行预测，因此会存在一定的延时，而在延迟时间内障碍物的属性数据可能会发生变化，可能导致预测结果的准确性较低。

发明内容

为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种预测方法、装置、计算机可读存储介质及电子设备，通过对若干个预测模型在不同时刻分别开始预测得到的预测结果进行融合，从而提高预测结果的准确性。

根据本申请的一个方面，提供了一种预测方法，包括：

至少两个预测模型在各自对应的开始时刻开始预测，在所述至少两个预测模型各自对应的输出时刻输出第一预测结果，其中，所述至少两个预测模型各自对应的开始时刻不同，所述至少两个预测模型各自对应的输出时刻满足预设条件；

根据所述至少两个预测模型各自对应的第一预测结果，确定所述输出时刻后的各个预测时刻各自对应的第二预测结果。

根据本申请的第二方面，提供了一种预测装置，包括：

输出模块，用于至少两个预测模型在各自对应的开始时刻开始预测，在所述至少两个预测模型各自对应的输出时刻输出第一预测结果，其中，所述至少两个预测模型各自对应的开始时刻不同，所述至少两个预测模型各自对应的输出时刻满足预设条件；

预测模块，用于根据所述至少两个预测模型各自对应的第一预测结果，确定所述输出时刻后的各个预测时刻各自对应的第二预测结果。

根据本申请的第三方面，提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行上述的预测方法。

根据本申请的第四方面，提供了一种电子设备，所述电子设备包括：

处理器；

用于存储所述处理器可执行指令的存储器；

所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现上述的预测方法。

与现有技术相比，本申请提供的预测方法、装置、计算机可读存储介质及电子设备，至少包括以下有益效果：

本实施例通过对若干个预测模型在不同时刻分别开始预测输出的预测结果进行融合，从而降低预测模型延迟的影响，进而提高预测结果的准确性。

附图说明

通过结合附图对本申请实施例进行更详细的描述，本申请的上述及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。

图1是本申请一个或多个实施例适用的一种应用场景的示意图。

图2是本申请一示例性实施例提供的预测方法的流程示意图。

图3是本申请一示例性实施例提供的预测方法中步骤202的流程示意图。

图4是本申请一示例性实施例提供的预测方法中步骤2022的流程示意图一。

图5是本申请一示例性实施例提供的预测方法中步骤2022的流程示意图二。

图6是本申请一示例性实施例提供的预测装置的结构示意图。

图7是本申请另一示例性实施例提供的预测装置的结构示意图。

图8是本申请另一示例性实施例提供的预测装置中第二结果确定单元6022的结构示意图一。

图9是本申请另一示例性实施例提供的预测装置中第二结果确定单元6022的结构示意图二。

图10是本申请一示例性实施例提供的电子设备的结构图。

具体实施方式

下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。

在无人驾驶技术领域中，需要对无人驾驶设备进行智能决策和规划，从而确保无人驾驶设备的安全。为了使无人驾驶设备能够更准确的避开周围环境的障碍物，通常需要对这些障碍物的未来轨迹进行预测。

目前，在相关技术中，通常是根据障碍物在当前以及当前之前预设时段内的属性数据(比如，位置、朝向、速度、加速度等)，通过预测模型预测障碍物在未来多个预设时刻的位置信息，从而得到障碍物的未来轨迹。

但是，预测模型预测时，需要一定的时间对障碍物的属性数据进行处理，因此会存在一定的延时，而在延迟时间内该障碍物的属性数据可能会发生的变化，比如，物体的速度降低，物体的朝向发生改变，从而导致预测结果的准确性较低。

本公开则充分考虑到预测模型延迟的问题，通过对若干个预测模型在不同时刻分别开始预测输出的预测结果进行融合，以降低预测模型延迟的影响，从而提高预测结果的准确性。

图2是本申请一示例性实施例提供的预测方法的流程示意图。

本实施例可应用在电子设备上，具体可以应用于智能设备、服务器或一般计算机上，本领域技术人员应当理解的，智能设备包括但不限于自动驾驶汽车、无人机、智能机器人、无人船等。如图2所示，本申请一示例性实施例提供的预测方法至少包括如下步骤：

步骤201，至少两个预测模型在各自对应的开始时刻开始预测，在所述至少两个预测模型各自对应的输出时刻输出第一预测结果，其中，所述至少两个预测模型各自对应的开始时刻不同，所述至少两个预测模型各自对应的输出时刻满足预设条件。

本实施例适用于依赖当前时刻以及当前时刻之前预设时段内的电子设备周围环境的数据进行预测的场景，这些数据为电子设备能够获取的数据，通常是对电子设备上安装的传感器采集的数据进行处理得到的数据，比如可以是车道位置信息、障碍物位置、障碍物大小、障碍物朝向、障碍物速度等。举例来说，假设当前时刻为t

预测模型的数量为至少两个，比如可以是三个，各个预测模型的类型可以相同，比如，各个预测模型可以是神经网络，当然，神经网络可以是卷积神经网络(ConvolutionalNeural Networks，简称CNN)、循环神经网络(Recurrent Neural Network，简称RNN)、全连接神经网络(Full Connected Neural Networks，FCNN)、长短期记忆神经网络(LongShort-Term Memory，简称LSTM)中的任意一种或多种等，本发明对此不做限定。当然，各个预测模型的类型也可以不同，比如，部分预测模型是神经网络，部分预测模型是决策树模型。需要结合具体场景确定预测模型的类型，比如，障碍物的轨迹预测通常选用卷积神经网络和长短期记忆神经网络。显而易见的，每个预测模型可以是若干个模型的组合。

具体地，针对每个预测模型，获取预测模型对应的开始时刻以及开始时刻之前的预测时段内的电子设备周围环境的数据，将这些数据输入到预测模型中，显而易见的，这些数据为时间序列数据，其对应的结束时刻为该预测模型对应的开始时刻，然后，该预测模型在其对应的开始时刻开始预测，在其对应的输出时刻输出第一预测结果。其中，预测模型对应的开始时刻为预测模型开始预测的时刻，预测模型对应的输出时刻为预测模型完成预测后输出预测结果的时刻，第一预测结果指示了输出时刻之后未来时段内的预测信息。在这里，预测模型对应有预测时间间隔，基于预测模型上一次开始预测的时刻及预设预测时间间隔即可确定预测模型对应的开始时刻，其中，预测时间间隔为预测模型上次开始预测时刻和本次开始预测时刻的时差，即相邻两次开始预测时刻之间的时差。

具体地，考虑到预测模型无法对其对应的开始时刻和输出时刻之间的时段内的电子设备周围环境的数据进行数据处理，从而导致预测模型的预测结果无法反映电子设备周围环境的变化，基于上述考虑，各个预测模型各自对应的开始时刻不同，从而可更为准确的反映电子设备周围环境的变化，降低预测模型延迟的影响。为了确保各个预测模型分别对应的第一预测结果能够进行融合，各个预测模型各自对应的输出时刻满足预设条件。

在一种可能的实现方式中，各个预测模型各自对应的输出时刻满足预设条件包括：各个预测模型各自对应的输出时刻相等，相应的，预测模型开始预测的时刻越晚，其对应的开始时刻和输出时刻之间的时段越短。考虑到开始预测时刻越晚的预测模型忽略的观测数据越少，但是其对应的开始时刻和输出时刻之间的时段越短，为了保证其输出的第一预测结果的准确性，开始预测时刻越晚的预测模型输出的第一预测结果的结束时刻越早，即若干个预测模型各自对应的第一预测结果的结束时刻不同，结束时刻的早晚与预测模型的开始预测时刻的早晚成反比。其中，第一预测结果是时间序列数据，故第一预测结果的结束时刻指的是第一预测结果对应的最晚时刻。显而易见的，开始时刻和输出时刻之间的最短时段应当能够保证其对应的预测模型输出的第一预测结果的准确性。

在另一种可能的实现方式中，各个预测模型各自对应的输出时刻满足预设条件包括：各个预测模型各自对应的输出时刻不同，但是各个输出时刻之间的时差满足预设值。在这里，对各个预测模型各自对应的第一预测结果的结束时刻不做限定，可以相同，也可以不同，也可以与预测模型开始预测时刻成反比。

需要说明的是，预测模型在预测时，通常对应的有预测时间间隔，显而易见的，预测模型可以在其对应的输出时刻之前开始下一次的预测。对于若干个预测模型，最早开始预测的预测模型，可以在最晚开始预测的预测模型开始预测前或者开始预测时，开始下一次的预测。

在一种可能的具体场景中，电子设备周围环境的数据可以是障碍物自身的运动状态以及障碍物周围车道的相关信息，第一预测结果包括障碍物在各个时刻的位置坐标。

请参考图1，图1中的Pm1、Pm2、Pm3分别代表不同的预测模型，带箭头的直线为时间轴，t表示时间，预测模型Pm1、Pm2、Pm3分别在t

步骤202，根据所述至少两个预测模型各自对应的第一预测结果，确定所述输出时刻后的各个预测时刻各自对应的第二预测结果。

每个预测模型对应有一个第一预测结果，对各个预测模型分别对应的第一预测结果进行融合，即可确定出输出时刻后的若干个预测时刻各自对应的第二预测结果，考虑到第二预测结果融合了不同时刻及该时刻之前预设时段内的电子设备周围环境的数据，从而确保了第二预测结果的准确性。在这里，若干个预测时刻应当位于合理的时段内，通常是根据经验设定的任意合理的时段，例如，可以是未来1秒的时段，也可以是未来2秒的时段，还可以是未来1分钟的时段等等，本申请对若干个预测时刻对应的合理时段的具体设定方面不限定。

本实施例提供的预测方法的有益效果至少在于：

本实施例通过若干个预测模型在不同开始时刻开始预测，从而可更为准确的反映出电子设备周围环境的变化，之后，若干个预测模型分别输出第一预测结果，对若干个第一预测结果进行融合，从而确定出预测时刻的第二预测结果，相对于单一预测模型输出的预测结果，该第二预测结果的准确性相对较高。

图3示出了如图2所示的实施例中根据所述至少两个预测模型各自对应的第一预测结果，确定所述输出时刻后的各个预测时刻各自对应的第二预测结果步骤的流程示意图。

如图3所示，在上述图2所示实施例的基础上，本申请一个示例性实施例中，步骤202所示根据所述至少两个预测模型各自对应的第一预测结果，确定所述输出时刻后的各个预测时刻各自对应的第二预测结果步骤，具体可以包括如下步骤：

步骤2021，从所述至少两个预测模型各自对应的第一预测结果中，确定包含所述预测时刻的第三预测结果。

第一预测结果为时间序列数据，通常对应有一个未来时段，包括该时间段内的若干个时刻分别对应的预测信息。预测时刻有多个，为了确保能够更为准确的确定出每个预测时刻的预测结果，针对每个预测时刻，从若干个预测模型各自对应的第一预测结果中，确定出包括预测时刻的第一预测结果，并将第一预测结果确定为第三预测结果。从而从若干个第一预测结果中确定出预测时刻对应的第三预测结果。显而易见的，第一预测结果的结束时刻可以相同，也可以不同，也可以和预测模型的开始预测时刻早晚成反比。

步骤2022，根据所述预测时刻对应在所述第三预测结果上的预测信息，确定所述预测时刻对应的第二预测结果。

第三预测结果包括若干个未来时刻分别对应的预测信息，预测信息指示了预测模型的输出结果，比如，假设预测模型用于障碍物的轨迹预测，则预测时刻的预测信息可以为障碍物在该预测时刻的位置坐标，也可以是障碍物选择每条车道的概率，或者，右转、左转、直行分别对应的概率等。显而易见的，预测信息为数值，该数值具有一定的语义，根据该数值及其对应的语义能够进行电子设备的智能决策及路径规划。

当预测时刻对应一个第三预测结果时，将预测时刻对应在第三预测结果上的预测信息确定为预测时刻对应的第二预测结果。

当预测时刻对应两个或者两个以上第三预测结果时，将预测时刻对应在若干个第三预测结果上的预测信息进行融合，从而确定预测时刻对应的第二预测结果。

本实施例通过确定包含预测时刻的若干个第三预测结果，根据预测时刻对应在若干个第三预测结果上的预测信息，确定出预测时刻对应的第二预测结果，第二预测结果由于融合了不同预测模型分别对应的预测结果，从而提高预测结果的准确性。

图4示出了如图3所示的实施例中根据所述预测时刻对应在所述第三预测结果上的预测信息，确定所述预测时刻对应的第二预测结果步骤的流程示意图。

如图4所示，在上述图3所示实施例的基础上，本申请一个示例性实施例中，步骤2022所示根据所述预测时刻对应在所述第三预测结果上的预测信息，确定所述预测时刻对应的第二预测结果步骤，具体可以包括如下步骤：

步骤20221，当所述预测时刻对应至少两个所述第三预测结果时，从至少两个所述第三预测结果中确定出第四预测结果，所述第四预测结果对应的所述预测模型的开始预测时刻最晚。

当预测时刻对应两个或两个以上第三预测结果时，从这些第三预测结果中确定出第四预测结果，第四预测结果对应的预测模型的开始预测时刻最晚。具体地，确定这些第三预测结果各自对应的预测模型开始预测时刻的早晚，将开始预测时刻最晚的预测模型对应的第三预测结果，确定为第四预测结果，从而确定出忽略电子设备周围环境的数据最少的预测模型输出的预测结果，该预测结果的参考价值相对较大。请参考图1，在步骤201中对图1说明的基础上，假设预测时刻位于t

步骤20222，将所述预测时刻对应在所述第四预测结果上的预测信息确定为所述预测时刻对应的第二预测结果。

考虑到第四预测结果对应的预测模型开始预测时刻最晚，使得该预测模型对应的第四预测结果的准确性相对较高，因此，将预测时刻在第四预测结果上的预测信息确定为该预测时刻对应的第二预测结果，从而确保预测结果的准确性。请参考图1，在步骤201中对图1说明的基础上，预测模型Pm1、Pm2、Pm3在t

显而易见的，该实施例适合第一预测结果的结束时刻和预测模型开始预测时刻的早晚成反比的场景。

本实施例通过确定包含预测时刻同时开始预测时刻最晚的预测模型对应的预测结果，并确定预测时刻在该预测结果上的预测信息为其预测结果，从而提高预测结果的准确性。

图5示出了如图3所示的实施例中根据所述预测时刻对应在所述第三预测结果上的预测信息，确定所述预测时刻对应的第二预测结果步骤的流程示意图。

如图5所示，在上述图3所示实施例的基础上，本申请一个示例性实施例中，步骤2022所示根据所述预测时刻对应在所述第三预测结果上的预测信息，确定所述预测时刻对应的第二预测结果步骤，具体可以包括如下步骤：

步骤20223，当所述预测时刻对应至少两个所述第三预测结果时，根据至少两个所述第三预测结果各自对应的所述预测模型的开始预测时刻的早晚，确定每个所述第三预测结果对应的权重值。

当预测时刻对应两个或者两个以上第三预测结果时，根据若干个第三预测结果各自对应的预测模型的开始预测时刻的早晚，确定若干个第三预测结果各自对应的权重值，考虑到预测模型开始预测时刻的早晚决定了对电子设备周围环境的数据的忽略程度，为了合理的确定权重值的大小，在这里，权重值的大小和预测模型开始预测时刻的早晚成反比，即开始预测时刻越晚的预测模型对应的权重值越大，从而反映出预测模型开始预测时刻的早晚对于预测结果的影响程度。请参考图1，在步骤201中对图1说明的基础上，假设预测时刻位于t

步骤20224，针对每个所述第三预测结果，确定所述预测时刻对应在所述第三预测结果上的预测信息。

将第三预测结果上与预测时刻相同时刻的预测信息，作为该预测时刻的预测信息，确保预测信息的参考价值。

步骤20225，根据每个所述第三预测结果对应的权重值，对所述预测时刻对应在每个所述第三预测结果上的预测信息进行加权平均，以确定所述预测时刻对应的第二预测结果。

考虑到若干个预测模型开始预测时刻不同，以及输出时刻，导致若干个预测模型输出预测结果的准确性存在差异，为了更好的融合不同预测模型的预测结果，可对预测结果进行加权平均，进一步提高预测结果的准确性。

请参考图1，在步骤201中对图1说明的基础上，假设预测时刻位于t

显而易见的，该实施例对第三预测结果的结束时刻不做限定，可以相同，可以不同，与可以和预测模型开始预测时刻的早晚成反比。

该实施例通过确定若干个预测结果的权重值，基于权重值对若干个预测结果进行加权平均，从而融合若干个预测模型分别对应的预测结果，进而提高预测结果的准确性。

基于与本申请方法实施例相同的构思，本申请实施例还提供了一种预测装置。

图6示出了本申请一示例性实施例提供的预测装置的结构示意图。

如图6所示，本申请一示例性实施例提供的预测装置，包括：

输出模块601，用于至少两个预测模型在各自对应的开始时刻开始预测，在所述至少两个预测模型各自对应的输出时刻输出第一预测结果，其中，所述至少两个预测模型各自对应的开始时刻不同，所述至少两个预测模型各自对应的输出时刻满足预设条件；

预测模块602，用于根据所述至少两个预测模型各自对应的第一预测结果，确定所述输出时刻后的各个预测时刻各自对应的第二预测结果。

如图7所示，在另一个示例性实施例中，所述预测模块602包括：

第一结果确定单元6021，用于从所述至少两个预测模型各自对应的第一预测结果中，确定包含所述预测时刻的第三预测结果；

第二结果确定单元6022，用于根据所述预测时刻对应在所述第三预测结果上的预测信息，确定所述预测时刻对应的第二预测结果。

如图8所示，在另一个示例性实施例中，所述第二结果确定单元6022包括：

第一结果确定子单元60221，用于当所述预测时刻对应至少两个所述第三预测结果时，从至少两个所述第三预测结果中确定出第四预测结果，所述第四预测结果对应的所述预测模型的开始预测时刻最晚；

第二结果确定子单元60222，用于将所述预测时刻对应在所述第四预测结果上的预测信息确定为所述预测时刻对应的第二预测结果。

如图9所示，在另一个示例性实施例中，所述第二结果确定单元6022包括：

权重值确定子单元60223，用于当所述预测时刻对应至少两个所述第三预测结果时，根据至少两个所述第三预测结果各自对应的所述预测模型的开始预测时刻的早晚，确定每个所述第三预测结果对应的权重值；

信息确定子单元60224，用于针对每个所述第三预测结果，确定所述预测时刻对应在所述第三预测结果上的预测信息；

第三结果确定子单元60225，用于根据每个所述第三预测结果对应的权重值，对所述预测时刻对应在每个所述第三预测结果上的预测信息进行加权平均，以确定所述预测时刻对应的第二预测结果。

图10图示了根据本申请实施例的电子设备的结构图。

如图10所示，电子设备100包括一个或多个处理器101和存储器102。

处理器101可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备100中的其他组件以执行期望的功能。

存储器102可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器101可以运行所述程序指令，以实现上文所述的本申请的各个实施例的预测方法以及/或者其他期望的功能。

在一个示例中，电子设备100还可以包括：输入装置103和输出装置104，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。

当然，为了简化，图10中仅示出了该电子设备100中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备100还可以包括任何其他适当的组件。

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的预测方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的预测方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。