掌桥专利:专业的专利平台
掌桥专利
首页

一种噪声确定方法、装置、计算机设备和存储介质

文献发布时间:2023-06-19 16:09:34



技术领域

本公开涉及多传感器融合技术领域,具体而言,涉及一种噪声确定方法、装置、计算机设备和存储介质。

背景技术

多传感器融合是自动驾驶车辆在复杂场景中进行鲁棒性感知必不可少的部分。然而,传感器的测量数据往往携带有噪声,噪声的影响会导致测量数据出现异常,通常情况下,可以利用噪声寻找测量数据中的异常数据。因此,准确估计噪声,能够准确找到测量数据中的异常数据,进而提高多传感器融合结果。

现有的噪声估计的方法主要分为两类,即在线的噪声估计,以及离线的噪声估计。其中,在线的噪声估计可以利用自适应卡尔曼滤波算法,在线估计测量数据的噪声。在线估计当前测量数据的噪声需要用到历史测量数据,比如,当前测量数据的噪声为历史测量误差数据的均值,然而,该计算得到的当前测量数据的噪声存在时间上的延迟,不够准确,因此,无法准确检测出测量数据中的异常数据,降低传感器融合结果。

离线的噪声估计可以将样本测量数据以及该样本测量数据对应的测量误差数据离线存储在k-维树(kd-tree)中,在线运行算法时,对每个传感器的测量数据,会从kd-tree中查找k个最近样本测量数据以及对应的样本误差数据,利用样本误差数据估计噪声,但是,这类算法往往需要较大的内存空间来存储大量离线的样本测量数据以及该样本测量数据对应的测量误差数据,导致算法运行速度受限,降低噪声估计效率。

发明内容

本公开实施例至少提供一种噪声确定方法、装置、计算机设备和存储介质。

第一方面,本公开实施例提供了一种噪声确定方法,包括:

获取预设设备采集的测量数据,以及预先构建的所述预设设备对应的决策树模型;所述决策树模型中包括多个内部节点、每个内部节点对应的最优切分信息、多个叶子节点,以及每个叶子节点对应的噪声参数信息;

基于每个内部节点对应的最优切分信息,确定所述测量数据对应的目标叶子节点;

基于所述目标叶子节点对应的噪声参数信息,确定所述测量数据的目标噪声信息。

本方面,预先构建了一个决策树模型,该决策树模型中包括的叶子节点能够表示预设设备采集的测量数据的噪声参数信息,一次构建,能够反复估计该预设设备所采集的所有数据的噪声。决策树模型中仅存储最优切分信息和噪声参数信息,数据量较少,在决策树模型存储较少数据的情况下,能够提高算法运行效率;另外,决策树模型中存储的噪声参数信息是基于预设设备的样本测量数据得到的,能够较为全面的表征测量数据的噪声的信息,在实际进行噪声估计时,无需利用历史测量数据,调高了噪声估计的效率。

一种可选的实施方式中,构建所述决策树模型的步骤包括:

获取所述预设设备采集的样本数据集,并基于所述样本数据集,确定多个内部节点、每个内部节点对应的最优切分信息以及多个叶子节点;

确定每个所述叶子节点对应的噪声参数信息;

基于确定的所述多个内部节点、多个叶子节点、每个内部节点对应的最优切分信息,以及每个叶子节点对应的噪声参数信息,构建所述决策树模型。

该实施方式,内部节点对应的最优切分信息能够指示测量数据的噪声分布(该噪声分布不能准确表征测量数据的实际噪声),叶子节点对应的噪声参数信息能够指示测量数据较为准确的噪声分布,利用多个内部节点、多个叶子节点、每个内部节点对应的最优切分信息,以及每个叶子节点对应的噪声参数信息,能够构建出较小时间复杂度的决策树模型,在后续应用中能够提高噪声估计的效率。

一种可选的实施方式中,所述基于所述样本数据集,确定多个内部节点、每个内部节点对应的最优切分信息以及多个叶子节点,包括:

迭代执行如下步骤,以确定多个内部节点、每个内部节点对应的最优切分信息以及多个叶子节点,其中每次迭代生成一个内部节点或一个叶子节点:

基于所述样本数据集,确定多个预设切分信息;

针对每个预设切分信息,基于所述预设切分信息,将所述样本数据集分割为多个数据子集,分别确定每个数据子集对应的噪声子信息;

基于每个数据子集对应的噪声子信息,确定所述样本数据集对应于所述预设切分信息的噪声分布信息;其中,所述噪声分布信息用于表征所述样本数据集对应于所述预设切分信息的噪声相似度;

基于每个预设切分信息对应的噪声分布信息,生成一个内部节点或一个叶子节点,并在生成所述内部节点的情况下,确定所述内部节点对应的最优切分信息。

该实施方式,利用预设切分信息,能够将样本数据集分割为多个数据子集,同一个数据子集中各个样本测量数据的噪声分布相似,通过判断多个数据子集对应的噪声信息(比如,噪声参数,即噪声均值或者噪声方差等,或者噪声分布等)是否相似;利用判断结果,即噪声相似度,能够准确生成内部节点和叶子节点。

一种可选的实施方式中,所述样本数据集中包括多个样本测量数据,以及每个所述样本测量数据分别对应的测量误差数据;

确定所述数据子集对应的噪声子信息,包括:

基于所述数据子集中每个样本测量数据对应的测量误差数据,确定所述数据子集对应的噪声子信息。

该实施方式,利用每个样本测量数据对应的测量误差数据,能够准确地确定出表征数据子集中样本测量数据的噪声的噪声子信息。

一种可选的实施方式中,基于每个预设切分信息对应的噪声分布信息,生成一个内部节点,并确定所述内部节点对应的最优切分信息,包括:

在所有预设切分信息对应的噪声分布信息均不符合预设条件的情况下,生成一个内部节点,并将所述噪声分布信息指示的具有最高的噪声相似度的预设切分信息作为所述内部节点对应的最优切分信息。

该实施方式,利用噪声分布信息能够准确生成决策树模型的节点,如果预设切分信息对应的噪声分布信息均不符合预设条件,则表示当前节点对应的噪声分布不够集中,不能够作为叶子节点,因此可以直接将噪声分布信息指示的具有最高的噪声相似度的预设切分信息作为内部节点对应的最优切分信息,即生成内部节点。

一种可选的实施方式中,基于每个预设切分信息对应的噪声分布信息,生成一个叶子节点,包括:

在至少一个预设切分信息对应的噪声分布信息符合预设条件的情况下,生成一个叶子节点。

该实施方式,利用噪声分布信息能够准确生成决策树模型的节点,如果至少一个预设切分信息对应的噪声分布信息符合预设条件,说明该预设切分信息分割的多个数据子集中样本测量数据的噪声服从同一个分布,也即噪声相似,因此可以直接生成叶子节点,该叶子节点中包括多个数据子集对应的噪声参数信息。

一种可选的实施方式中,还包括:

在第N次迭代过程中,当次迭代所有预设切分信息对应的噪声分布信息均不符合预设条件的情况下,基于当次迭代中生成的内部节点对应的最优切分信息,将所述样本数据集分割为多个样本数据子集,并将每个样本数据子集均作为第N+1次迭代过程中使用的样本数据集;其中,N为正整数。

该实施方式,最优切分信息能够将样本数据集分割为多个样本数据子集,基于此种分割方式,最终能够构建出准确查找到测量数据对应的噪声参数信息的决策树模型。

一种可选的实施方式中,所述样本数据集中包括多个样本测量数据,所述样本测量数据包括多个维度的特征值;所述预设切分信息包括预设特征阈值和预设维度;

所述基于所述预设切分信息,将所述样本数据集分割为多个数据子集,包括:

将所述样本数据集中,预设维度的特征值小于或等于预设特征阈值的样本测量数据作为目标测量数据,并基于筛选出来的目标测量数据生成一个数据子集;

基于所述样本数据集中除所述目标测量数据以外的样本测量数据,生成另一个数据子集。

该实施方式,利用预设特征阈值和预设维度,能够从样本数据集中准确地筛选出同属一个噪声分布的目标测量数据,确定数据子集,并设定筛选后剩余的样本测量数据另一个数据子集。

一种可选的实施方式中,所述噪声参数信息包括噪声均值和噪声方差;所述样本数据集中包括多个样本测量数据,以及每个所述样本测量数据分别对应的测量误差数据;

所述确定每个所述叶子节点对应的噪声参数信息,包括:

针对每个叶子节点,基于所述叶子节点对应的样本数据集中的各个测量误差数据,确定噪声均值;

基于所述噪声均值和各个测量误差数据,确定噪声方差。

该实施方式,由于测量误差数据是利用样本测量数据以及其相关联的测量数据(比如同一预设设备采集到一段时间内的数据)之间的误差,利用叶子节点对应的样本数据集中的各个测量误差数据,能够准确地确定同属一个噪声分布的样本测量数据的噪声均值;利用噪声均值和各个测量误差数据确定噪声方差,该噪声方差能够表征同属一个噪声分布的样本测量数据对应的噪声方差。

一种可选的实施方式中,在基于所述目标叶子节点对应的噪声参数信息,确定所述测量数据的目标噪声信息之后,还包括:

确定所述测量数据与所述目标噪声信息指示的噪声之间的偏离程度;

获取所述测量数据属于异常数据的预设概率阈值;

基于所述预设概率阈值,确定偏离程度阈值;

在所述偏离程度大于或等于所述偏离程度阈值的情况下,确定所述测量数据属于所述异常数据。

该实施方式,由于偏离程度服从一规则分布,利用测量数据属于异常数据的预设概率阈值,能够从规则分布表中找到与用于评判测量数据属于异常数据的指标,即偏离程度阈值。根据偏离程度阈值和偏离程度,能够准确判断测量数据是否属于异常数据,也即在偏离程度大于或等于偏离程度阈值的情况下,确定测量数据属于异常数据;在偏离程度小于或等于偏离程度阈值的情况下,确定测量数据不属于异常数据。

一种可选的实施方式中,在确定所述测量数据的目标噪声信息之后,还包括:

针对车辆中多个传感器设备分别采集的测量数据,确定每个所述测量数据的目标噪声信息;

基于每个所述测量数据的目标噪声信息,确定每个所述测量数据的融合权重;

基于每个所述测量数据的融合权重,对多个所述测量数据进行融合处理,确定测量融合数据,以使所述车辆基于所述测量融合数据确定运行环境信息。

该实施方式,利用较为准确的目标噪声信息,能够提高多传感器融合过程中测量数据的融合权重的准确度,进而提高测量融合数据的准确性,保证车辆基于准确的测量融合数据,精准预测出车辆运行环境的运行环境信息。

第二方面,本公开实施例还提供一种噪声确定装置,包括:

信息获取模块,用于获取预设设备采集的测量数据,以及预先构建的所述预设设备对应的决策树模型;所述决策树模型中包括多个内部节点、每个内部节点对应的最优切分信息、多个叶子节点,以及每个叶子节点对应的噪声参数信息;

节点确定模块,用于基于每个内部节点对应的最优切分信息,确定所述测量数据对应的目标叶子节点;

噪声估计模块,用于基于所述目标叶子节点对应的噪声参数信息,确定所述测量数据的目标噪声信息。

一种可选的实施方式中,所述装置还包括模型构建模块,用于获取所述预设设备采集的样本数据集,并基于所述样本数据集,确定多个内部节点、每个内部节点对应的最优切分信息以及多个叶子节点;

确定每个所述叶子节点对应的噪声参数信息;

基于确定的所述多个内部节点、多个叶子节点、每个内部节点对应的最优切分信息,以及每个叶子节点对应的噪声参数信息,构建所述决策树模型。

一种可选的实施方式中,所述模型构建模块,用于迭代执行如下步骤:

基于所述样本数据集,确定多个预设切分信息;

针对每个预设切分信息,基于所述预设切分信息,将所述样本数据集分割为多个数据子集,分别确定每个数据子集对应的噪声子信息;

基于每个数据子集对应的噪声子信息,确定所述样本数据集对应于所述预设切分信息的噪声分布信息;其中,所述噪声分布信息用于表征所述样本数据集对应于所述预设切分信息的噪声相似度;

基于每个预设切分信息对应的噪声分布信息,生成一个内部节点或一个叶子节点,并在生成所述内部节点的情况下,确定所述内部节点对应的最优切分信息。

一种可选的实施方式中,所述样本数据集中包括多个样本测量数据,以及每个所述样本测量数据分别对应的测量误差数据;

所述模型构建模块,用于基于所述数据子集中每个样本测量数据对应的测量误差数据,确定所述数据子集对应的噪声子信息。

一种可选的实施方式中,所述模型构建模块,用于在所有预设切分信息对应的噪声分布信息均不符合预设条件的情况下,生成一个内部节点,并将所述噪声分布信息指示的具有最高的相似度的预设切分信息作为所述内部节点对应的最优切分信息。

一种可选的实施方式中,所述模型构建模块,用于在至少一个预设切分信息对应的噪声分布信息符合预设条件的情况下,生成一个叶子节点。

一种可选的实施方式中,所述模型构建模块,还用于在第N次迭代过程中,当次迭代所有预设切分信息对应的噪声分布信息均不符合预设条件的情况下,基于当次迭代中生成的内部节点对应的最优切分信息,将所述样本数据集分割为多个样本数据子集,并将每个样本数据子集均作为第N+1次迭代过程中使用的样本数据集;其中,N为正整数。

一种可选的实施方式中,所述样本数据集中包括多个样本测量数据,所述样本测量数据包括多个维度的特征值;所述预设切分信息包括预设特征阈值和预设维度;

所述模型构建模块,用于将所述样本数据集中,预设维度的特征值小于或等于预设特征阈值的样本测量数据作为目标测量数据,并基于筛选出来的目标测量数据生成一个数据子集;

基于所述样本数据集中除所述目标测量数据以外的样本测量数据,生成另一个数据子集。

一种可选的实施方式中,所述噪声参数信息包括噪声均值和噪声方差;所述样本数据集中包括多个样本测量数据,以及每个所述样本测量数据分别对应的测量误差数据;

所述模型构建模块,用于针对每个叶子节点,基于所述叶子节点对应的样本数据集中的各个测量误差数据,确定噪声均值;

基于所述噪声均值和各个测量误差数据,确定噪声方差。

一种可选的实施方式中,所述装置还包括异常数据确定模块,用于在基于所述目标叶子节点对应的噪声参数信息,确定所述测量数据的目标噪声信息之后,确定所述测量数据与所述目标噪声信息指示的噪声之间的偏离程度;

获取所述测量数据属于异常数据的预设概率阈值;

基于所述预设概率阈值,确定偏离程度阈值;

在所述偏离程度大于或等于偏离程度阈值的情况下,确定所述测量数据属于所述异常数据。

一种可选的实施方式中,所述装置还包括数据融合模块,用于在确定所述测量数据的目标噪声信息之后,针对车辆中多个传感器设备分别采集的测量数据,确定每个所述测量数据的目标噪声信息;

基于每个所述测量数据的目标噪声信息,确定每个所述测量数据的融合权重;

基于每个所述测量数据的融合权重,对多个所述测量数据进行融合处理,确定测量融合数据,以使所述车辆基于所述测量融合数据确定运行环境信息。

第三方面,本公开实施例还提供一种计算机设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当计算机设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行上述第一方面,或第一方面中任一种可能的噪声确定方法的步骤。

第四方面,本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述第一方面,或第一方面中任一种可能的噪声确定方法的步骤。

关于上述噪声确定装置、计算机设备和存储介质的效果描述参见上述噪声确定方法的说明,这里不再赘述。

为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。

附图说明

为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。

图1示出了本公开实施例所提供的一种噪声确定方法的流程图;

图2示出了本公开实施例所提供的决策树的具体结构示意图;

图3示出了本公开实施例所提供的决策树模型的具体结构示意图;

图4示出了本公开实施例所提供的一种噪声确定装置的示意图;

图5示出了本公开实施例所提供的一种计算机设备的结构示意图。

具体实施方式

为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。

另外,本公开实施例中的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。

在本文中提及的“多个或者若干个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

经研究发现,现有的噪声估计的方法主要分为两类,即在线的噪声估计,以及离线的噪声估计。其中,在线的噪声估计可以利用自适应卡尔曼滤波算法,在线估计测量数据的噪声。在线估计当前测量数据的噪声需要用到历史测量数据,比如,当前测量数据的噪声为历史测量误差数据的均值,然而,该计算得到的当前测量数据的噪声存在时间上的延迟,不够准确,因此,无法准确检测出测量数据中的异常数据,降低传感器融合结果。

离线的噪声估计可以将样本测量数据以及该样本测量数据对应的测量误差数据离线存储在k-维树(kd-tree)中,在线运行算法时,对每个传感器的测量数据,会从kd-tree中查找k个最近样本测量数据以及对应的样本误差数据,利用样本误差数据估计噪声,但是,这类算法往往需要较大的内存空间来存储大量离线的样本测量数据以及该样本测量数据对应的测量误差数据,导致算法运行速度受限,降低噪声估计效率。

基于上述研究,本公开提供了一种噪声确定方法,预先构建了一个决策树模型,该决策树模型中包括的叶子节点能够表示预设设备采集的测量数据的噪声的噪声参数信息,因此,一次构建,能够反复使用,估计噪声。决策树模型中仅存储最优切分信息和噪声参数信息,由于噪声参数信息相比较测量数据的数据量较少,比如,多个测量数据对应一个噪声参数信息,因此,在决策树模型存储较少数据的情况下,能够提高算法运行效率;另外,利用最优切分信息能够快速查找到测量数据对应的噪声参数信息,估计出测量数据的噪声,能够提高噪声估计效率。另外,决策树模型中存储的噪声参数信息是基于样本测量数据得到的能够较为全面的表征测量数据的噪声的信息,无需利用历史测量数据,利用噪声参数信息估计出的噪声无延迟。

应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。

为便于对本实施例进行理解,首先对本公开实施例所公开的一种噪声确定方法进行详细介绍,本公开实施例所提供的噪声确定方法的执行主体一般为具有一定计算能力的计算机设备。在一些可能的实现方式中,该噪声确定方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

下面以执行主体为计算机设备为例对本公开实施例提供的噪声确定方法加以说明。

参见图1所示,为本公开实施例提供的一种噪声确定方法的流程图,所述方法包括步骤S101~S103,其中:

S101:获取预设设备采集的测量数据,以及预先构建的预设设备对应的决策树模型;决策树模型中包括多个内部节点、每个内部节点对应的最优切分信息、多个叶子节点,以及每个叶子节点对应的噪声参数信息。

本步骤中,预设设备可以包括能够采集周围环境信息的传感器,或者包含信息采集程序的设备等,比如,激光雷达、相机、超声波传感器、里程计、惯性测量单元(InertialMeasurement Unit,IMU)、全球定位系统(Global Positioning System,GPS)等。

针对自动驾驶应用场景,测量数据可以包括传感器采集到的环境图像,导航位置,车辆里程等。

预设设备对应的决策树模型可以是利用该预设设备所采集到的样本数据集所构建的。不同预设设备对应不同决策树模型。决策树模型,比如,可以为决策树(DecisionTree)算法模型,该决策树算法模型是一种树形结构,包括多个内部节点和多个叶子节点。本公开实施例中预先构建的决策树模型中包括不同层级的多个内部节点和多个叶子节点,叶子节点为末级节点。内部节点存储有最优切分信息,叶子节点中存储有噪声参数信息。利用多个不同层级的内部节点中的最优切分信息,能够不断指示测量数据的噪声分布(该噪声分布不能准确表征测量数据的实际噪声),直到确定叶子节点对应的噪声参数信息,也即确定噪声参数信息指示的测量数据较为准确的噪声分布(该噪声分布能准确表征测量数据的实际噪声)。

这里,同一预设设备采集到的多个数据可以服从同一个噪声参数信息所确定的噪声分布,因此,多个测量数据可以对应一个噪声参数信息。

示例性的,最优切分信息可以包括预设特征阈值和预设维度;其中,预设维度用于指示该预设维度对应的特征值。根据当前内部节点中的预设特征阈值和预设维度,可以确定测量数据噪声所属的噪声分布,也即确定决策树模型中当前内部节点的下一内部节点;或者,当前内部节点的下一级叶子节点。

示例性的,噪声参数信息可以包括噪声均值和噪声方差、或者噪声分布等。如果噪声参数信息包括噪声均值和噪声方差,则可以利用噪声均值和噪声方差可以确定噪声分布,噪声分布可以表征预设设备采集到的数据的噪声。如果噪声参数信息包括噪声分布,则可以直接利用该噪声分布表征噪声。这里,噪声分布可以为噪声的一种表示方式。

S102:基于每个内部节点对应的最优切分信息,确定测量数据对应的目标叶子节点。

参见图2所示,其为决策树的具体结构示意图,包括多个内部节点21和多个叶子节点22,其中,内部节点21中还包括根节点211。针对多个内部节点中的某一个内部节点212,与该内部节点212相关联的内部节点包括该内部节点212的父节点212-1、该内部节点212的子节点212-2和子节点212-3。这里,除根节点以外的其他内部节点都包含父节点和子节点。根节点只有子节点。

可以基于每个内部节点对应的最优切分信息,从根节点开始,依次确定与测量数据对应的内部节点,直到确定目标叶子节点。

示例性的,可以将测量数据输入决策树模型,从根节点开始,根据根节点对应的最优切分信息,确定与测量数据对应的、根节点的子节点A;这里,根节点的子节点A也为内部节点A,根据内部节点A对应的最优切分信息,确定与测量数据对应的、内部节点A的子节点。根据决策树模型依次向下遍历,直到找到测量数据对应的目标叶子节点B。

S103:基于目标叶子节点对应的噪声参数信息,确定测量数据的目标噪声信息。

目标噪声信息可以包括噪声参数信息,或者,包括基于噪声参数信息确定的噪声。示例性的,如果噪声参数信息包括噪声均值和噪声方差,目标噪声信息可以为噪声均值和噪声方差所确定出的噪声分布,噪声分布表征噪声。如果噪声参数信息包括噪声分布,目标噪声信息可以为噪声参数信息,即噪声分布。

示例性的,噪声分布可以为自动驾驶场景中,传感器检测的测量数据的噪声所服从的某一高斯分布(噪声参数包括该测量数据所确定的噪声均值和噪声方差)。

上述S101~S103预先构建了一个决策树模型,该决策树模型中包括的叶子节点能够表示预测设备采集的测量数据的噪声的噪声参数信息,因此,一次构建,能够反复使用,估计噪声。决策树模型中仅存储最优切分信息和噪声参数信息,由于噪声参数信息相比较测量数据的数据量较少,比如,多个测量数据对应一个噪声参数信息,因此,在决策树模型存储较少数据的情况下,能够提高算法运行效率;另外,利用最优切分信息能够快速查找到测量数据对应的噪声参数信息,估计出测量数据的噪声,能够提高噪声估计效率。另外,决策树模型中存储的噪声参数信息是基于样本测量数据得到的能够较为全面的表征测量数据的噪声的信息,无需利用历史测量数据,利用噪声参数信息估计出的噪声无延迟。

本公开实施例可以按照下述步骤构建决策树模型:

S1011:获取预设设备采集的样本数据集,并基于样本数据集,确定多个内部节点、每个内部节点对应的最优切分信息以及多个叶子节点。

本步骤中,样本数据集可以包括预设设备采集的样本测量数据,以及样本测量数据对应的测量误差数据。确定样本测量数据对应的测量误差数据,具体的,获取一段连续时间内,预设设备采集到样本测量数据x之前的历史时段中的多个历史样本测量数据,记为x′

样本数据集D={(x

可以基于样本数据集中的样本测量数据,以及样本测量数据对应的测量误差数据,确定根节点以及根节点对应的最优切分信息;之后,根据根节点的最优切分信息,将样本数据集分割为多个数据子集;利用多个数据子集中的样本测量数据,以及样本测量数据对应的测量误差数据,确定根节点的子节点,以及根节点的每个子节点分别对应的最优切分信息;依次确定每个内部节点的子节点,直到得到叶子节点。

S1012:确定每个叶子节点对应的噪声参数信息。

可选地,在确定了叶子节点的情况下,确定该叶子节点的父节点,基于该父节点,确定叶子节点对应的样本数据子集;基于叶子节点对应的样本数据子集,确定噪声参数信息。

示例性的,叶子节点对应的样本数据子集可以包括叶子节点的父节点的最优切分信息指示的多个样本测量数据,根据样本数据子集中的样本测量数据和样本测量数据对应的测量误差数据,确定噪声参数信息。

噪声参数信息可以包括噪声均值和噪声方差,可选地,还可以基于叶子节点对应的样本数据集中的各个测量误差数据,确定噪声均值;基于噪声均值和各个测量误差数据,确定噪声方差。

示例性的,已知叶子节点对应的父节点对应的样本数据子集,记为D

其中,T表示转置,(y

S1013:基于确定的多个内部节点、多个叶子节点、每个内部节点对应的最优切分信息,以及每个叶子节点对应的噪声参数信息,构建决策树模型。

在确定内部节点过程中,标记每个内部节点的父节点和子节点,父节点为子节点的上一级内部节点,依照层级关系,能够构建出树形结构模型,即决策树模型。

示例性的,在生成决策树模型之后,令节点个数为Q,则在实际应用过程中,针对一个测量数据,在决策树模型中查找到噪声参数信息的时间复杂度T=log

上述S1011~S1013,利用多个内部节点、多个叶子节点、每个内部节点对应的最优切分信息,以及每个叶子节点对应的噪声参数信息,能够构建出较小时间复杂度的决策树模型,在后续应用中能够提高噪声估计的效率。

在一些实施例中,迭代执行如下步骤,以确定多个内部节点、每个内部节点对应的最优切分信息以及多个叶子节点,其中每次迭代生成一个内部节点或一个叶子节点,具体地,可以基于样本数据集,确定多个预设切分信息;针对每个预设切分信息,基于预设切分信息,将样本数据集分割为多个数据子集,分别确定每个数据子集对应的噪声子信息;基于每个数据子集对应的噪声子信息,确定样本数据集对应于预设切分信息的噪声分布信息;基于每个预设切分信息对应的噪声分布信息,生成一个内部节点或一个叶子节点,并在生成内部节点的情况下,确定内部节点对应的最优切分信息。

这里,噪声分布信息用于表征样本数据集对应于预设切分信息的噪声相似度,具体的,表征同一样本数据集分割后的不同数据子集对应的噪声分布是否相近;预设切分信息可以用于分割样本数据集;或者,也可以用于分割样本数据集分割后的样本数据子集。

利用预设切分信息,能够将样本数据集分割为多个数据子集,示例性的,假设同一个数据子集中各个样本测量数据的噪声分布相似,针对利用预设切分信息分割得到的多个数据子集,判断多个数据子集对应的噪声信息(比如,噪声参数,即噪声均值或者噪声方差等,或者噪声分布等)是否相似;若判断结果表示噪声分布不相似,则生成内部节点,并继续分割样本数据子集,重复判断过程,若判断结果表示噪声分布相似,则说明该预设切分信息分割的多个数据子集中样本测量数据的噪声服从同一个分布,可以直接生成叶子节点。这种利用预设切分信息分割样本数据集的方式能够较为准确地生成内部节点和叶子节点。

在一些实施例中,预设切分信息可以包括预设特征阈值和预设维度、或者切分点。其中,切分点可以表示样本测量数据的分割位置。比如,切分点为3,可以从样本数据集中的第三个样本测量数据(或第三个样本测量数据的测量误差数据)分割为前三个样本测量数据以及前三个样本测量数据的测量误差数据为一个数据子集(包括第三个样本测量数据以及第三个样本测量数据的测量误差数据),剩下的样本测量数据以及样本测量数据的测量误差数据为一个数据子集。

一个预设切分信息可以包括多个切分点,示例性的,在切分点为25和50的情况下,从样本数据集中的第25个样本测量数据分割为前25个样本测量数据以及前25个样本测量数据的测量误差数据为一个数据子集(包括第25个样本测量数据和第25个样本测量数据的测量误差数据),第26~50个样本测量数据以及第26~50个样本测量数据的测量误差数据为一个数据子集(包括第50个样本测量数据和第50个样本测量数据的测量误差数据),剩下的样本测量数据以及样本测量数据的测量误差数据为一个数据子集。

在另一些实施例中,针对预设特征阈值s在取值范围内的任意一个s,以及预设维度j在取值范围内的任意一个j,可以随机组合确定一个预设切分信息。这里,针对样本数据集,可以确定n×N个预设切分信息。

利用预设特征阈值s和预设维度j,分割样本数据集。具体的,可以将样本数据集中,预设维度的特征值小于或等于预设特征阈值的样本测量数据作为目标测量数据,并基于筛选出来的目标测量数据生成一个数据子集;基于样本数据集中除目标测量数据以外的样本测量数据,生成另一个数据子集。

延续上例,已知样本数据集包括D={(x

预设特征阈值s和预设维度j可以是基于样本数据集中的样本测量数据确定的。示例性的,样本测量数据

分割得到了多个数据子集的情况下,针对每个数据子集,可以基于数据子集中每个测量数据分别对应的测量误差数据,确定数据子集对应的噪声子信息。其中,噪声子信息可以包括噪声参数μ和噪声方差ε;或者,噪声分布。

可以按照公式2和公式3确定数据子集对应的噪声子信息,具体的,确定分割后的数据子集,得到数据子集中样本测量数据的测量误差数据,按照公式2和公式3计算出数据子集对应的噪声参数μ和噪声方差ε,进而确定噪声子信息。

确定样本数据集对应于预设切分信息的噪声分布信息,具体的,可以基于每个数据子集分别对应的噪声子信息,确定每个数据子集对应的噪声分布;之后,根据每个数据子集对应的噪声分布确定噪声分布信息,利用L(j,s)表示噪声分布信息。这里,两个噪声分布越相似,L(j,s)的值越小,噪声相似度越高。

延续上例,已知数据子集R

其中,argmin表示遍历求最小值,即计算得到最小

针对样本数据集包括D={(x

基于每个预设切分信息对应的噪声分布信息L(j,s),生成一个内部节点、确定内部节点对应的最优切分信息,或生成一个叶子节点。具体实施时,在所有预设切分信息对应的噪声分布信息均不符合预设条件的情况下,生成一个内部节点,并将噪声分布信息指示的具有最高噪声相似度对应的预设切分信息作为内部节点对应的最优切分信息。也即,将噪声分布信息指示的L(j,s)的最小值对应的预设切分信息作为内部节点对应的最优切分信息。

预设条件可以包括噪声分布信息指示的L(j,s)小于或等于预设阈值。这里,预设阈值可以根据实际应用场景以及经验值设定,本公开实施例不进行具体限定。

延续上例,如果n×3个预设切分信息中的每个预设切分信息对应的噪声分布信息指示的L(j,s)均大于预设阈值,则可以将n×3个噪声分布信息指示的L(j,s)中的最小L(j,s)对应的预设切分信息作为内部节点对应的最优切分信息。

又或者,在至少一个预设切分信息对应的噪声分布信息符合预设条件的情况下,生成一个叶子节点。

利用噪声分布信息能够准确生成决策树模型的节点,如果至少一个预设切分信息对应的噪声分布信息符合预设条件,说明该预设切分信息分割的多个数据子集中样本测量数据的噪声服从同一个分布,也即噪声相似,因此可以直接生成叶子节点,该叶子节点中包括多个数据子集对应的噪声参数信息

延续上例,如果n×3个预设切分信息中存在至少一个预设切分信息对应的噪声分布信息L(j,s)小于或等于预设相似度,则可以确定小于或等于预设相似度的噪声分布信息L(j,s)对应的预设切分信息;之后,不再利用该预设切分信息分割样本数据集,并生成一个叶子节点。之后,可以利用未被分割的样本数据集中的每个样本测量数据的测量误差数据,生成叶子节点对应的噪声参数信息,比如,按照公式2和公式3计算噪声均值和噪声方差,确定噪声参数信息。

在一些实施例中,在第N次迭代过程中,当次迭代在所有预设切分信息对应的噪声分布信息均不符合预设条件的情况下,基于当次迭代中生成的内部节点对应的最优切分信息,将样本数据集分割为多个样本数据子集,并将每个样本数据子集均作为第N+1次迭代过程中使用的样本数据集;其中,N为正整数。也即返回上述“基于样本数据集,确定多个预设切分信息”的步骤,继续确定内部节点或叶子节点。

示例性的,在确定的预设切分信息对应的噪声分布信息L(j,s)均大于预设阈值的情况下,可以基于最优切分信息指示的切分点,将样本数据集分割为多个样本数据子集;或者,也可以基于最优切分信息中的预设特征阈值和预设维度,将样本数据集分割为多个样本数据子集。这里,基于最优切分信息分割样本数据集的过程可以参见上述基于预设切分信息分割划分样本数据集的过程,重复部分不再赘述。

在所有预设切分信息对应的噪声分布信息均不符合预设条件的情况下,每分割一次样本数据集,得到的多个样本数据子集分别对应当前生成的内部节点的多个下一级待生成的子节点。

计算叶子节点中的噪声参数信息需要样本数据子集中包括多个样本测量数据的测量误差数据。在一些实施例中,如果样本数据子集分割后的数据子集中包括的样本测量数据的数量小于预设数量,则直接生成叶子节点,不再继续分割该样本数据子集。这里,预设数量可以根据经验值设定,本公开实施例不进行具体限定。

针对上述实施例,可以参见图3所示,其为决策树模型的具体结构示意图。可以根据该决策树模型查找叶子节点对应的噪声参数信息。

示例性的,已知测量数据

在一些实施例中,在确定了目标噪声信息之后,还可以根据目标噪声信息,判断测量数据是否为异常数据。具体实施时,可以确定测量数据与目标噪声信息指示的噪声之间的偏离程度;获取测量数据属于异常数据的预设概率阈值;基于预设概率阈值,确定偏离程度阈值;在偏离程度大于或等于偏离程度阈值的情况下,确定测量数据属于异常数据。

测量数据与目标噪声信息指示的噪声之间的偏离程度可以包括,测量数据与该测量数据对应的目标噪声信息中噪声均值之间的马氏距离;由于马氏距离服从卡方分布,因此,根据预设概率阈值,可以从卡方分布表中得到与预设概率阈值对应的马氏距离阈值,即偏离程度阈值。之后,如果偏离程度大于或等于偏离程度阈值,则可以确定测量数据属于异常数据;如果偏离程度小于偏离程度阈值,则可以确定测量数据不属于异常数据。

可以按照公式5确定马氏距离r:

r=(μ-x

其中,ε

在一些实施例中,在确定了目标噪声信息之后,还可以根据多个测量数据分别对应的目标噪声信息,对多个测量数据进行融合处理。具体实施时,针对车辆中多个传感器设备分别采集的测量数据,确定每个测量数据的目标噪声信息;基于每个测量数据的目标噪声信息,确定每个测量数据的融合权重;基于每个测量数据的融合权重,对多个测量数据进行融合处理,确定测量融合数据,以使车辆基于测量融合数据确定运行环境信息。

确定融合权重的方式,可以利用卡尔曼滤波算法,将多个测量数据分别对应的目标噪声信息指示的噪声进行卡尔曼滤波处理,可以得到每个测量数据的融合权重;利用每个测量数据的融合权重,对多个测量数据进行融合处理,确定测量融合数据。这里,利用较为准确的目标噪声信息,能够提高多传感器融合过程中测量数据的融合权重的准确度,进而提高测量融合数据的准确性。

以自动驾驶场景为例,测量融合数据,可以是车辆通过多个传感器设备感知到的周围运行环境信息。利用该测量融合数据,能够得到精准的环境感知数据,实现高精度自动驾驶。

本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。

基于同一发明构思,本公开实施例中还提供了与噪声确定方法对应的噪声确定装置,由于本公开实施例中的装置解决问题的原理与本公开实施例上述噪声确定方法相似,因此装置的实施可以参见方法的实施,重复之处不再赘述。

参照图4所示,为本公开实施例提供的一种噪声确定装置的示意图,所述装置包括:信息获取模块401、节点确定模块402和噪声估计模块403;其中,

信息获取模块401,用于获取预设设备采集的测量数据,以及预先构建的所述预设设备对应的决策树模型;所述决策树模型中包括多个内部节点、每个内部节点对应的最优切分信息、多个叶子节点,以及每个叶子节点对应的噪声参数信息;

节点确定模块402,用于基于每个内部节点对应的最优切分信息,确定所述测量数据对应的目标叶子节点;

噪声估计模块403,用于基于所述目标叶子节点对应的噪声参数信息,确定所述测量数据的目标噪声信息。

一种可选的实施方式中,所述装置还包括模型构建模块404,用于获取所述预设设备采集的样本数据集,并基于所述样本数据集,确定多个内部节点、每个内部节点对应的最优切分信息以及多个叶子节点;

确定每个所述叶子节点对应的噪声参数信息;

基于确定的所述多个内部节点、多个叶子节点、每个内部节点对应的最优切分信息,以及每个叶子节点对应的噪声参数信息,构建所述决策树模型。

一种可选的实施方式中,所述模型构建模块404,用于迭代执行如下步骤:

基于所述样本数据集,确定多个预设切分信息;

针对每个预设切分信息,基于所述预设切分信息,将所述样本数据集分割为多个数据子集,分别确定每个数据子集对应的噪声子信息;

基于每个数据子集对应的噪声子信息,确定所述样本数据集对应于所述预设切分信息的噪声分布信息;其中,所述噪声分布信息用于表征所述样本数据集对应于所述预设切分信息的噪声相似度;

基于每个预设切分信息对应的噪声分布信息,生成一个内部节点或一个叶子节点,并在生成所述内部节点的情况下,确定所述内部节点对应的最优切分信息。

一种可选的实施方式中,所述样本数据集中包括多个样本测量数据,以及每个所述样本测量数据分别对应的测量误差数据;

所述模型构建模块404,用于基于所述数据子集中每个样本测量数据对应的测量误差数据,确定所述数据子集对应的噪声子信息。

一种可选的实施方式中,所述模型构建模块404,用于在所有预设切分信息对应的噪声分布信息均不符合预设条件的情况下,生成一个内部节点,并将所述噪声分布信息指示的具有最高的相似度对应的预设切分信息作为所述内部节点对应的最优切分信息。

一种可选的实施方式中,所述模型构建模块404,用于在至少一个预设切分信息对应的噪声分布信息符合预设条件的情况下,生成一个叶子节点。

一种可选的实施方式中,所述模型构建模块404,还用于在第N次迭代过程中,当次迭代所有预设切分信息对应的噪声分布信息均不符合预设条件的情况下,基于当次迭代中生成的内部节点对应的最优切分信息,将所述样本数据集分割为多个样本数据子集,并将每个样本数据子集均作为第N+1次迭代过程中使用的样本数据集;其中,N为正整数。

一种可选的实施方式中,所述样本数据集中包括多个样本测量数据,所述样本测量数据包括多个维度的特征值;所述预设切分信息包括预设特征阈值和预设维度;

所述模型构建模块404,用于将所述样本数据集中,预设维度的特征值小于或等于预设特征阈值的样本测量数据作为目标测量数据,并基于筛选出来的目标测量数据生成一个数据子集;

基于所述样本数据集中除所述目标测量数据以外的样本测量数据,生成另一个数据子集。

一种可选的实施方式中,所述噪声参数信息包括噪声均值和噪声方差;所述样本数据集中包括多个样本测量数据,以及每个所述样本测量数据分别对应的测量误差数据;

所述模型构建模块404,用于针对每个叶子节点,基于所述叶子节点对应的样本数据集中的各个测量误差数据,确定噪声均值;

基于所述噪声均值和各个测量误差数据,确定噪声方差。

一种可选的实施方式中,所述装置还包括异常数据确定模块405,用于在基于所述目标叶子节点对应的噪声参数信息,确定所述测量数据的目标噪声信息之后,确定所述测量数据与所述目标噪声信息指示的噪声之间的偏离程度;

获取所述测量数据属于异常数据的预设概率阈值;

基于所述预设概率阈值,确定偏离程度阈值;

在所述偏离程度大于或等于偏离程度阈值的情况下,确定所述测量数据属于所述异常数据。

一种可选的实施方式中,所述装置还包括数据融合模块406,用于在确定所述测量数据的目标噪声信息之后,针对车辆中多个传感器设备分别采集的测量数据,确定每个所述测量数据的目标噪声信息;

基于每个所述测量数据的目标噪声信息,确定每个所述测量数据的融合权重;

基于每个所述测量数据的融合权重,对多个所述测量数据进行融合处理,确定测量融合数据,以使所述车辆基于所述测量融合数据确定运行环境信息。

关于装置中的各模块的处理流程、以及各模块之间的交互流程的描述可以参照上述方法实施例中的相关说明,这里不再详述。

基于同一技术构思,本申请实施例还提供了一种计算机设备。参照图5所示,为本申请实施例提供的计算机设备的结构示意图,包括:

处理器51、存储器52和总线53。其中,存储器52存储有处理器51可执行的机器可读指令,处理器51用于执行存储器52中存储的机器可读指令,所述机器可读指令被处理器51执行时,处理器51执行下述步骤:S101:获取预设设备采集的测量数据,以及预先构建的决策树模型;决策树模型中包括多个内部节点、每个内部节点对应的最优切分信息、多个叶子节点,以及每个叶子节点对应的噪声参数信息;S102:基于每个内部节点对应的最优切分信息,确定测量数据对应的目标叶子节点;S103:基于目标叶子节点对应的噪声参数信息,确定测量数据的目标噪声信息。

上述存储器52包括内存521和外部存储器522;这里的内存521也称内存储器,用于暂时存放处理器51中的运算数据,以及与硬盘等外部存储器522交换的数据,处理器51通过内存521与外部存储器522进行数据交换,当计算机设备运行时,处理器51与存储器52之间通过总线53通信,使得处理器51在执行上述方法实施例中所提及的执行指令。

本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的噪声确定方法的步骤。其中,该存储介质可以是易失性或非易失的计算机可读取存储介质。

本公开实施例还提供一种计算机程序产品,包括计算机指令,所述计算机指令被处理器执行时实现上述的噪声确定方法的步骤。其中,计算机程序产品可以是任何能实现上述噪声确定方法的产品,该计算机程序产品中对现有技术做出贡献的部分或全部方案可以以软件产品(例如软件开发包(Software Development Kit,SDK))的形式体现,该软件产品可以被存储在一个存储介质中,通过包含的计算机指令使得相关设备或处理器执行上述噪声确定方法的部分或全部步骤。

所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个模块或组件可以结合,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或模块的间接耦合或通信连接,可以是电性,机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本公开各个实施例中的各功能模块可以集成在一个处理模块中,也可以是各个模块单独物理存在,也可以两个或两个以上模块集成在一个模块中。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-OnlyMemory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是:以上所述实施例,仅为本公开的具体实施方式,用以说明本公开的技术方案,而非对其限制,本公开的保护范围并不局限于此,尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应所述以权利要求的保护范围为准。

技术分类

06120114720300