一种多传感器目标数据融合方法、系统及计算机可读存储介质
文献发布时间：2023-06-19 09:29:07
技术领域
本发明涉及自动驾驶传感器数据融合领域，具体是一种多传感器目标数据 融合方法、系统及计算机可读存储介质。
背景技术
当前，基于多传感器融合实现对环境目标的感知几乎已经成为了行业的公 认方案。一方面当前基于单种模态的传感器不能实现对环境目标全方位的精确 感知，另一方面各个模态的传感器具有其特定的优点，也具有缺点，所以基于 多传感融合可以取长补短，实现对环境更精确的感知。
自动驾驶使用的传感器主要可以分为3类：第一类是视觉传感器，第二类 是毫米波雷达，第三类是激光雷达。视觉传感器对于目标的选取具有天然的优 势。当前基于深度学习的从图像中抓取目标的漏检率几乎超过人眼，但是其也 存在一定的误识别，对于过远和过近的目标其都不能很好的识别；同时对于目 标距离的探测具有很强的挑战。视觉传感器的使用对于环境条件也有一定的要 求。毫米波雷达具有很好的距离测量特性，同时在各种环境下都有很好的表现； 但是其对于目标的识别和认知较困难，易漏检和误检。激光传感器同样具有极 强的距离测量特性，但是其特性易受环境的影响，数据量大，对于其的处理当 前仍是一个难点。所以基于多传感融合是实现自动驾驶的一种好的方案，也是 成为了技术研究的热点。
当前多传感器目标融合多使用目标的绝对属性进行关联融合，但是各个传 感器具有不同的特性，对于目标的绝对属性的测量存在很大的差异，且传感器 本身测量噪声较大，所以关联准确率较低。
发明内容
本发明的目的在于提供了一种多传感器目标数据融合方法、系统及计算机 可读存储介质，以实现多传感器的目标数据融合，输出最优化的融合结果。
本发明的技术方案为：
本发明提供了一种多传感器目标数据融合方法，包括：
获取各传感器所采集的传感目标数据；
分别对所接收到的各目标数据按照设定的目标过滤规则进行传感目标过 滤；
对接收到的过滤后的各目标数据进行时间同步，并将经过时间同步后的目 标数据与历史存储且已经过时间同步的多次历史目标数据相加，得到经过时间 同步的第二目标数据追踪链，按照设定的目标关联规则依次对每一传感器对应 的第二目标数据追踪链中的传感目标与上一次目标关联结果中的融合目标进 行目标关联，获得目标关联结果；
基于目标关联结果，按照预先设定的传感器探测结果优先级排序组合形成 一个或多个最优观测目标，并使用所述最优观测对上一次目标关联结果中的融 合目标进行卡尔曼滤波后进行输出。
优选地，按照设定的目标关联规则依次对每一传感器对应的第二目标数据 追踪链中的传感目标与上一次目标关联结果中的融合目标进行目标关联的具 体步骤为：
依次对每一传感器对应的第二目标数据追踪链中的传感目标与上一次目 标关联结果中的融合目标进行目标关联，直至完成最后一个传感器对应的第二 目标数据追踪链的目标关联；每完成一个传感器的第二目标数据追踪链的目标 关联，则将对应的输出结果作为下一个传感器对应的第二目标数据追踪链执行 目标关联时所使用到的上一次目标关联结果；
其中，各传感器对应的第二目标数据追踪链与上一次目标关联结果中的融 合目标进行目标关联的步骤具体为：先对第二目标数据追踪链中的各传感目标 的trackid值和上一次目标关联结果中的融合目标的trackid值进行比对，判断 是否存在trackid值相同的传感目标和融合目标；若存在，则确定trackid值相 同的传感目标和融合目标相关联，并将所确定的关联关系进行存储；在经过 trackid值比对后，若剩余有trackid值不同的传感目标和融合目标，则进一步 按照预先设定的关联距离计算公式依次计算剩余的各传感目标和剩余的各融 合目标之间的关联距离；若计算出的关联距离小于设定关联距离，则确定关联 距离对应的一个传感目标和一个融合目标相关联，并将所确定的关联关系进行 存储；
在所有传感器都经过trackid值比对和关联距离比对后，若仍剩余有未完成 目标关联的一个或多个融合目标，则执行：将未完成目标关联的一个或多个融 合目标的pretimes变量加1；再进一步判断未完成目标关联的一个或多个融合 目标的pretimes变量加1后的数值是否小于设定变量值；若小于，则将未完成 目标关联的一个或多个融合目标的pretimes变量更新后的结果进行存储；若大 于或等于，则清除未完成目标关联的一个或多个融合目标，使目标关联结果中 不存在pretimes变量大于或等于设定变量值的融合目标；
在所有传感器都经过trackid值比对和关联距离比对后，若仍剩余有未完成 目标关联的一个或多个传感目标；则执行：将未完成目标关联的一个或多个传 感目标作为新的融合目标进行存储。
优选地，预先设定的关联距离associationDis计算公式具体为：
其中，
diff＝mean(fusionObiChain
min Length＝min(size(fusionObiChain
fusionObiChain
sensorObiChain
fusionObiChain
size(fusionObiChain
sensorObiChain
size(sensorObiChain
min Length为上一次目标关联结果中的融合目标的目标数据追踪链的长度和 传感目标的第二目标数据追踪链的长度的最小值；
mean(fusionObiChain
mean(sensorObiChain
diff表示融合目标的目标数据追踪链中各个属性的均值和传感目标的第二 目标数据追踪链中各个属性的均值之间的差值。
优选地，按照设定的目标属性优先排序组合形成一个或多个最优观测目标 的步骤具体为：
针对一个最优观测目标，基于预先设定的传感器探测结果优先级排序，从 各个传感器所探测的数据中筛选出最优观测目标的各属性的最优探测值；再将 一个最优探测目标的全部属性最优探测值组合最优探测目标的最优属性集合。
优选地，对所接收到的对应目标数据按照设定的目标过滤规则进行传感目 标过滤的步骤具体为：
对接收到的目标数据与历史存储的多次历史目标数据相加，获得第一目标 数据追踪链；
基于第一目标数据追踪链和设定的目标过滤规则，对目标数据进行传感目 标过滤。
本发明实施例还提供了一种多传感器目标数据融合系统，包括：
多个单传感目标输入模块、多个单传感目标追踪模块、多传感目标关联模 块和多传感目标融合模块；
其中，各单传感目标输入模块分别与一个传感器相连，用于获取对应单传 感器所采集的传感目标数据；
各单传感目标追踪模块分别与一个单传感目标输入模块相连，用于对所接 收到的对应目标数据按照设定的目标过滤规则进行传感目标过滤；
多传感目标关联模块分别和各单传感目标追踪模块，多传感目标关联模块 在每接收到一个单传感目标输入模块发送的过滤后的目标数据时，均执行：对 接收到的目标数据进行时间同步，并将经过时间同步后的目标数据与历史存储 且已经过时间同步的多次历史目标数据相加，得到经过时间同步的第二目标数 据追踪链，按照设定的目标关联规则对第二目标数据追踪链中的传感目标与上 一次目标关联结果中的融合目标进行目标关联，获得目标关联结果；
多传感目标融合模块每接收到一次多传感目标关联模块发送的目标关联 结果，即执行一次按照预先设定的传感器探测结果优先级排序组合形成一个或 多个最优观测目标，并利用所述最优观测目标对上一次目标关联结果中的融合 目标进行卡尔曼滤波后进行输出。
优选地，多传感目标关联模块按照设定的目标关联规则依次对每一传感器 对应的第二目标数据追踪链中的传感目标与上一次目标关联结果中的融合目 标进行目标关联的具体步骤为：
多传感目标关联模块依次对每一传感器对应的第二目标数据追踪链中的 传感目标与上一次目标关联结果中的融合目标进行目标关联，直至完成最后一 个传感器对应的第二目标数据追踪链的目标关联；每完成一个传感器的第二目 标数据追踪链的目标关联，则将对应的输出结果作为下一个传感器对应的第二 目标数据追踪链执行目标关联时所使用到的上一次目标关联结果；
其中，多传感目标关联模块对各传感器对应的第二目标数据追踪链与上一 次目标关联结果中的融合目标进行目标关联的步骤具体为：先对第二目标数据 追踪链中的各传感目标的trackid值和上一次目标关联结果中的融合目标的 trackid值进行比对，判断是否存在trackid值相同的传感目标和融合目标；若 存在，则确定trackid值相同的传感目标和融合目标相关联，并将所确定的关 联关系进行存储；在经过trackid值比对后，若剩余有trackid值不同的传感目 标和融合目标，则进一步按照预先设定的关联距离计算公式依次计算剩余的各 传感目标和剩余的各融合目标之间的关联距离；若计算出的关联距离小于设定 关联距离，则确定关联距离对应的一个传感目标和一个融合目标相关联，并将 所确定的关联关系进行存储到；
在所有传感器都经过trackid值比对和关联距离比对后，若仍剩余有未完成 目标关联的一个或多个融合目标，则执行：将未完成目标关联的一个或多个融 合目标的pretimes变量加1；再进一步判断未完成目标关联的一个或多个融合 目标的pretimes变量加1后的数值是否小于设定变量值；若小于，则将未完成 目标关联的一个或多个融合目标的pretimes变量更新后的结果进行存储；若大 于或等于，则清除未完成目标关联的一个或多个融合目标，使目标关联结果中 不存在pretimes变量大于或等于设定变量值的融合目标；
在所有传感器都经过trackid值比对和关联距离比对后，若仍剩余有未完成 目标关联的一个或多个传感目标，则执行：将未完成目标关联的一个或多个传 感目标作为新的融合目标进行存储。
优选地，多传感目标融合模块按照预先设定的目标属性优先排序组合形成 一个或多个最优观测目标的步骤具体为：
针对一个最优观测目标，多传感目标融合模块基于预先设定的传感器探测 结果优先级排序，从各个传感器所探测的数据中筛选出最优观测目标的各属性 的最优探测值；再将一个最优探测目标的全部属性最优探测值组合最优探测目 标的最优属性集合。
优选地，单传感目标追踪模块对所接收到的对应目标数据按照设定的目标 过滤规则进行传感目标过滤的步骤具体为：
单传感目标追踪模块对接收到的目标数据与历史存储的多次历史目标数 据相加，获得第一目标数据追踪链；
基于第一目标数据追踪链和设定的目标过滤规则，对目标数据进行传感目 标过滤。
本发明实施例还提供了一种计算机可读存储介质，其内存储有计算机程序， 所述计算机程序被控制器调用执行如上述的多传感器目标数据融合方法的步 骤。
本发明的有益效果为：
本发明基于目标数据追踪链进行各个传感器的传感目标的关联，在进行目 标数据融合前，首先从所以传感器中获取同一目标的所有信息，在基于最全的 数据下对目标数据基于各个传感器的特性进行最优的融合。
附图说明
图1为本发明系统的结构框图。
具体实施方式
下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了 本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被 这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本 发明，并且能够将本发明的范围完整的传达给本领域的技术人员。
参照图1，本发明实施例提供了一种多传感器目标融合系统，该系统包括：
多个单传感目标输入模块、多个单传感目标追踪模块、多传感目标关联模 块和多传感目标融合模块；其中，各单传感目标输入模块分别与一个传感器相 连，多个单传感目标追踪模块分别与一个单传感目标输入模块相连，多传感目 标关联模块分别和多个但传感目标输入模块相连，多传感目标关联模块和多传 感目标融合模块相连。
其中，各单传感目标输入模块相连的传感器按照设计的采集周期，周期性 地进行数据采集。对于多个传感器来说，采集数据的周期可能相同，也可能不 同。
对于各个传感器来说，其在针对传感目标采集到原始数据后，传输给与其 相邻的单传感目标输入模块，单传感目标输入模块在接收到传感器发送的原始 数据后，按照标定的解析方式进行数据解析，得到针对各个传感目标的目标数 据。
进一步地，单传感目标输入模块将解析后获得的目标数据输出给与其相连 的单传感目标追踪模块，其中，单传感目标输入模块输出给单传感目标追踪模 块的数据格式定义为：vector
与上述的单传感目标输入模块相连的单传感目标追踪模块在接收到单传 感目标输入模块当次输入的目标数据后，基于各个objData中所包含的传感目 标的trackid值，进行历史数据追踪，追踪出该单传感目标输入模块前几次输 出的相同trackid值的历史目标数据，然后，将trackid值相同的目标数据和历 史数据进行相加，形成该传感目标的第一目标数据追踪链。
然后，单传感目标追踪模块按照预先设定的过滤规则，对单传感目标输入 模块当次输入的多个目标数据进行传感目标过滤，将不满足过滤要求的部分目 标数据进行清除。其中，对于一个传感目标的目标数据来说，通过该传感目标 的目标数据追踪链来判断该传感目标的目标数据是否满足规则。本实施例中， 主要是对传感器输出的一些明显错误目标的目标数据进行过滤，该目标过滤规 则根据设计需求和实验经验进行设计，常用规则例如：
(1)、objPosX (2)、objPosXFlu 其中，flu表示传感器在前后两次采集数据中，同一传感目标的同一属性的 变化值。 经过上述过滤方式后，单传感目标追踪模块将针对当次采集的目标数据过 滤后的目标数据发送给多传感目标关联模块。同时，单传感目标追踪模块记录 当次过滤后的目标数据。 多传感目标关联模块在接收到当次的目标数据后，从存储的数据中获取上 一次目标关联结果，同时，获取整车数据。其中，上一次目标关联结果的数据 格式为：vector 多传感目标关联模块进一步利用匀速模块对接收到的目标数据、上一次目 标关联结果和整车数据进行时间同步，其中，进行时间同步的具体方式为现有 技术所记载的方式。在同步到当前时间点后，将经过时间同步的目标数据加上 历史经过时间同步的历史目标数据形成第二目标数据追踪链，第二目标数据追 踪链的最大长度设置为10，也即，历史经过时间同步的历史目标数据为多传 感目标关联模块在当次时间同步之前的前9次同步数据。 在获得第二目标数据追踪链后，开始进行目标关联的步骤，本实施例中， 通过举例说明，假设多传感目标关联模块进行处理后，获得传感器A和传感 器B对应的第二目标数据追踪链。假设，传感器A的第二目标数据追踪链中 记录有3个传感目标的数据，分别为传感目标1，传感目标2和传感目标3， 其中，传感目标1的trackid值为m1，传感目标2的trackid值为m2，传感目 标3的trackid值为m3；上一次目标关联结果中记录有3个融合目标，分别为 融合目标1，融合目标2，融合目标3，融合目标1至3的trackid值为分别为 m1,m4,m5。针对传感器A的第二目标数据追踪链和上一次目标关联结果中的 融合目标进行目标关联的目标就是为了确定传感目标1至3与融合目标1至3 的关联关系。 进行目标关联时，首先进行trackid值追踪，判断是否存在trackid值相同 的传感目标和融合目标；若存在，则确定trackid值相同的传感目标和融合目 标相关联。经过tackid值比对后，可以确定融合目标1和传感目标1的trackid 值均为m1，则可以确定融合目标1和传感目标1关联，此时，将传感目标1 和融合目标1的关联关系记录到待输出的关联结果中。 经过trackid值比对后，对于剩余的融合目标2至3以及传感目标2和3 之间的关联关系还无法确定。此时，需要进一步按照预先设定的关联距离计算 公式传感目标2和融合目标2的关联距离、传感目标2和融合目标3的关联距 离以及传感目标3和融合目标2的关联距离、传感目标3和融合目标3的关联 距离的关联距离。 本实施例中，预先设定的关联距离associationDis计算公式具体为：
其中， diff＝mean(fusionObiChain min Length＝min(size(fusionObiChain fusionObiChain sensorObiChain 其中， fusionObiChain size(fusionObiChain sensorObiChain size(sensorObiChain min Length为上一次目标关联结果中的融合目标的目标数据追踪链的长度和 传感目标的第二目标数据追踪链的长度的最小值； mean(fusionObiChain mean(sensorObiChain diff表示融合目标的目标数据追踪链中各个属性的均值和传感目标的第二 目标数据追踪链中各个属性的均值之间的差值，i为目标数据追踪链和第二目 标数据追踪链中的数据点总次数(例如，目标数据追踪链和第二目标数据追踪 链中各记录有9次数据点，i为9)。 假设经过上述计算，发现传感目标2和融合目标3的关联距离小于设定关 联距离，则确定传感目标2和融合目标3关联，将传感目标2和融合目标3 关联的信息记录到待输出的目标关联结果中。 经过关联距离计算后，发现传感目标3在上一次关联结果中不存在关联的 目标，以及融合目标3在本次的第二目标数据追踪链中也不存在关联的目标。 此时，针对融合目标3来说，将其pretimes变量加1；在pretimes变量增加后， 若融合目标3的pretimes变量达到设定变量值3，则将该融合目标3及其相关 数据进行清除；若融合目标3的pretimes变量小于3，则将其记录到待输出的 目标关联结果中。另外，针对传感目标3来说，将其作为一个新的融合目标记 录到待输出的目标关联结果中。 基于上述实例，假设融合目标3的pretimes变量增加后变为2。则多传感 目标关联模块输出到多传感目标融合模块的关联结果中具体记录有：新的融合 目标1(包含有传感目标1和融合目标1关联的信息)，新的融合目标2((包 含有传感目标2和融合目标2关联的信息))，新的融合目标3(为原有的融合 目标3，且其pretimes变量等于2)，新的融合目标4(该融合目标4为新增的 融合目标，对应于传感目标3)。多传感目标关联模块同时将该关联结果进行 存储，用作下一次目标关联时使用。 进一步地，假设传感器B的第二数据追踪链中存在传感目标4至6，经过 上述trackid值追踪和关联距离计算。最终确认，传感目标4和新的融合目标1 关联，传感目标5和新的融合目标2关联，传感目标6和新的融合目标4关联。 此时，所形成的目标关联关系即为最终的目标关联结果。 多传感目标融合模块在获取到最终的关联结果后，即确定存在3个目标需 要进行属性取值，将则三个目标确定为最优观测目标，此时，需要对3个最优 观测目标的各属性值进行取值。此时，按照预先设定的传感器探测结果优先级 排序(该排序中，记录有每一传感器对某类目标探测时的探测属性取值优先级 顺序，例如，记录有毫米波雷达对于其它车辆与本车之间的距离的探测值作为 最优属性值；再例如，对于某一类目标的纵向位置属性，设计有“max Priority SensorObj＝max Priority(associationObjs,posX),comObj posX＝max Proprity Obj posX)”的属性选取原则)，从传感器A和B探测的数据中，分别取出3个最 优观测目标的各属性的最优探测值，最后组成三个具有最优属性集合的最优探 测目标。并将这三个带有最优属性集合的最优探测目标进行卡尔曼滤波，然后， 将卡尔曼滤波结果作为3个目标的最终的融合结果。 本发明基于上述系统，提供了一种多传感目标数据融合方法，该方法具体 包括： 一种多传感器目标数据融合方法，包括： 获取各传感器所采集的传感目标数据； 分别对所接收到的各目标数据按照设定的目标过滤规则进行传感目标过 滤； 对接收到的过滤后的各目标数据进行时间同步，并将经过时间同步后的目 标数据与历史存储且已经过时间同步的多次历史目标数据相加，得到经过时间 同步的第二目标数据追踪链，按照设定的目标关联规则依次对每一传感器对应 的第二目标数据追踪链中的传感目标与上一次目标关联结果中的融合目标进 行目标关联，获得目标关联结果； 基于目标关联结果，按照预先设定的传感器探测结果优先级排序组合形成 一个或多个最优观测目标，并对最优观测目标进行卡尔曼滤波后进行输出。 其中，按照设定的目标关联规则依次对每一传感器对应的第二目标数据追 踪链中的传感目标与上一次目标关联结果中的融合目标进行目标关联的具体 步骤为： 依次对每一传感器对应的第二目标数据追踪链中的传感目标与上一次目 标关联结果中的融合目标进行目标关联，直至完成最后一个传感器对应的第二 目标数据追踪链的目标关联；每完成一个传感器的第二目标数据追踪链的目标 关联，则将对应的输出结果作为下一个传感器对应的第二目标数据追踪链执行 目标关联时所使用到的上一次目标关联结果； 其中，各传感器对应的第二目标数据追踪链与上一次目标关联结果中的融 合目标进行目标关联的步骤具体为：先对第二目标数据追踪链中的各传感目标 的trackid值和上一次目标关联结果中的融合目标的trackid值进行比对，判断 是否存在trackid值相同的传感目标和融合目标；若存在，则确定trackid值相 同的传感目标和融合目标相关联，并将所确定的关联关系进行存储； 在经过trackid值比对后，若剩余有trackid值不同的传感目标和融合目标， 则进一步按照预先设定的关联距离计算公式依次计算剩余的各传感目标和剩 余的各融合目标之间的关联距离；若计算出的关联距离小于设定关联距离，则 确定关联距离对应的一个传感目标和一个融合目标相关联，并将所确定的关联 关系进行存储到； 在所有传感器都经过trackid值比对和关联距离比对后，若仍剩余有未完成 目标关联的一个或多个融合目标，则执行：将未完成目标关联的一个或多个融 合目标的pretimes变量加1；再进一步判断未完成目标关联的一个或多个融合 目标的pretimes变量加1后的数值是否小于设定变量值；若小于，则将未完成 目标关联的一个或多个融合目标的pretimes变量更新后的结果进行存储；若大 于或等于，则清除未完成目标关联的一个或多个融合目标，使目标关联结果中 不存在pretimes变量大于或等于设定变量值的融合目标； 在所有传感器都经过trackid值比对和关联距离比对后，若仍剩余有未完成 目标关联的一个或多个传感目标，则执行：将未完成目标关联的一个或多个传 感目标作为新的融合目标进行存储。 其中，预先设定的关联距离associationDis计算公式具体为：
其中， diff＝mean(fusionObiChain min Length＝min(size(fusionObiChain fusionObiChain sensorObiChain 其中， fusionObiChain size(fusionObiChain sensorObiChain size(sensorObiChain min Length为上一次目标关联结果中的融合目标的目标数据追踪链的长度和 传感目标的第二目标数据追踪链的长度的最小值； mean(fusionObiChain mean(sensorObiChain diff表示融合目标的目标数据追踪链中各个属性的均值和传感目标的第二 目标数据追踪链中各个属性的均值之间的差值。 其中，按照设定的目标属性优先排序组合形成一个或多个最优观测目标的 步骤具体为： 针对一个最优观测目标，基于预先设定的传感器探测结果优先级排序，从 各个传感器所探测的数据中筛选出最优观测目标的各属性的最优探测值；再将 一个最优探测目标的全部属性最优探测值组合最优探测目标的最优属性集合。 其中，对所接收到的对应目标数据按照设定的目标过滤规则进行传感目标 过滤的步骤具体为： 对接收到的目标数据与历史存储的多次历史目标数据相加，获得第一目标 数据追踪链； 基于第一目标数据追踪链和设定的目标过滤规则，对目标数据进行传感目 标过滤。 本发明基于目标数据追踪链进行各个传感器的传感目标的关联，在进行目 标数据融合前，首先从所以传感器中获取同一目标的所有信息，在基于最全的 数据下对目标数据基于各个传感器的特性进行最优的融合。 本发明实施例还提供了一种计算机可读存储介质，其内存储有计算机程序， 所述计算机程序被控制器调用执行如上述的多传感器目标数据融合方法的步 骤。 上述实施例只对其中一些本发明的一个或多个实施例进行了描述，但是本 领域普通技术人员应当了解，本发明可以在不偏离其主旨与范围内以许多其他 的形式实施。因此，所展示的例子与实施方式被视为示意性的而非限制性的， 在不脱离如所附各权利要求所定义的本发明精神及范围的情况下，本发明可能 涵盖各种的修改与替换。