多传感器的感知信息融合方法及相关设备

技术领域

本申请涉及通信技术领域，尤其涉及一种多传感器的感知信息融合方法、装置、存储介质及电子设备。

背景技术

随着传感器功能的成熟以及通信技术的普及，可以通过传感器感知目标区域内的物体信息，并将该物体信息传输至控制单元。例如，在智慧交通、无人驾驶等应用场景中，通过传感器获取道路上车辆以及行人等交通参与者的位置、尺寸以及运动状态等感知信息，从而可以根据该感知信息确定道路中车辆行驶状况，协调道路信号控制，进而提高道路管理质量和效率。

在待感知区域较大的应用场景，单个传感器的感知区域通常不能满足覆盖要求。因此，一般在待感知区域设置多个传感器，且为了保证多个传感器的感知区域完全覆盖待感知区域，在设置多个传感器时，需要保证多个传感器之间存在重叠区域。为了获取待感知区域的目标感知信息，需要对多个传感器的感知信息进行融合。在获取多个传感器的感知信息时，由于待感知区域的范围大且感知信息的数据量多，在融合通信的过程中存在带宽需求过大的问题。

发明内容

本申请实施例提供了一种多传感器的感知信息融合方法、装置、存储介质及电子设备，可以降低融合通信中的带宽需求。

所述技术方案如下：

第一方面，本申请实施例提供了一种多传感器的感知信息融合方法，所述方法包括：

基于至少一个传感器的感知范围以及位置关系，建立分层融合拓扑结构；

分别获取各所述传感器感知到的感知信息；

采用所述分层融合拓扑结构对各所述感知信息进行分层融合，生成目标融合信息。

第二方面，本申请实施例提供了一种多传感器的感知信息融合装置，所述装置包括：

结构建立模块，用于基于至少一个传感器的感知范围以及位置关系，建立分层融合拓扑结构；

信息获取模块，用于分别获取各所述传感器感知到的感知信息；

信息生成模块，用于采用所述分层融合拓扑结构对各所述感知信息进行分层融合，生成目标融合信息。

第三方面，本申请实施例提供一种计算机存储介质，所述计算机存储介质存储有多条指令，所述指令适于由处理器加载并执行上述的方法步骤。

第四方面，本申请实施例提供一种电子设备，可包括：处理器和存储器；其中，所述存储器存储有计算机程序，所述计算机程序适于由所述处理器加载并执行上述的方法步骤。

本申请一些实施例提供的技术方案带来的有益效果至少包括：

在本申请一个或多个实施例中，基于至少一个传感器的感知范围以及位置关系，建立分层融合拓扑结构，分别获取各所述传感器感知到的感知信息，采用所述分层融合拓扑结构对各所述感知信息进行分层融合，生成目标融合信息。其中，相比于对所有感知信息进行一次融合的方法，采用分层融合拓扑结构对感知信息进行融合，可以减少在融合通信过程中感知信息的数据量，从而降低了融合通信中的带宽需求。此外，基于传感器的感知范围以及位置关系，建立分层融合拓扑结构，可以缩短通信距离，从而提高通信效率，进一步的降低融合通信中的带宽需求。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种多传感器的感知信息融合方法的系统架构图；

图2是本申请实施例提供的一种多传感器的感知信息融合方法的场景示意图；

图3是本申请实施例提供的一种多传感器的感知信息融合方法的流程示意图；

图4是本申请实施例提供的一种传感器分组的举例示意图；

图5是本申请实施例提供的另一种多传感器的感知信息融合方法的流程示意图；

图6是本申请实施例提供的一种调整分层融合拓扑结构的举例示意图；

图7是本申请实施例提供的另一种多传感器的感知信息融合方法的流程示意图；

图8是本申请实施例提供的第一融合信息获取方法的流程示意图；

图9是本申请实施例提供的一种周期同步的举例示意图；

图10是本申请实施例提供的一种即时同步的举例示意图；

图11是本申请实施例提供的一种感知目标关联的举例示意图；

图12是本申请实施例提供的一种第一重叠区域的举例示意图；

图13是本申请实施例提供的一种二分图分割的举例示意图；

图14是本申请实施例提供的另一种多传感器的感知信息融合方法的流程示意图；

图15是本申请实施例提供的一种相邻矩阵的举例示意图；

图16是本申请实施例提供的一种网格划分的举例示意图；

图17是本申请实施例提供的一种多传感器的感知信息融合装置的结构示意图；

图18是本申请实施例提供的另一种多传感器的感知信息融合装置的结构示意图；

图19是本申请实施例提供的一种信息生成模块的结构示意图；

图20是本申请实施例提供的一种信息融合单元的结构示意图；

图21是本申请实施例提供的一种关联识别模块的结构示意图；

图22是本申请实施例提供的另一种多传感器的感知信息融合装置的结构示意图；

图23是本申请实施例提供的另一种多传感器的感知信息融合装置的结构示意图；

图24是本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本申请的描述中，需要理解的是，术语“第一”、 “第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。在本申请的描述中，需要说明的是，除非另有明确的规定和限定，“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。此外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。

本申请实施例提供的多传感器的感知信息方法可以解决上述的一个或多个问题。图1示出了应用于本申请实施例的多传感器的感知信息融合方法的系统架构图。如图1所示，本申请实施例的电子设备包括多传感器以及多个融合单元，将多个传感器划分为多个分组，各融合单元按照预设的融合层数划分为多个融合层。具体的，以N个融合层为例，其中，N可以为大于1的自然数，如2、5以及11等，第1融合层可以包括i1个融合单元，第2融合层可以包括i2个融合单元，依次至第N-1融合层可以包括in-1个融合单元，第N融合层可以包括1个目标融合单元，可以理解的是，i1、i2、…in-1等可以为大于1的自然数，其中，将各传感器划分为多个第一分组，每个第一分组对应第1融合层中的一个融合单元，该融合单元分别与该第一分组内的各传感器具有通信连接，用于获取该第一分组内各传感器对应的感知信息，并进行融合得到该第一分组对应的融合信息（也即该融合单元对应的融合信息）。进一步的，将第1融合层中的各融合单元划分为多个第二分组，每个第二分组对应第2融合层中的一个融合单元，该融合单元分别与该第一分组内的各融合单元具有通信连接，用于获取该第一分组内各融合单元对应的融合信息，并进行融合得到该第二分组对应的融合信息（也即该融合单元对应的融合信息）。易于理解的是，将第M融合层中各融合单元划分为多个第M+1分组，每个第M+1分组对应第M+1层中的一个融合单元，该融合单元分别与第M分组内的各融合单元具有通信连接，用于获取该第M+1分组内各融合单元对应的融合信息，并进行融合得到该第M+1分组对应的融合信息（也即该融合单元对应的融合信息），其中，M为1~N-2中的任一自然数，也即第M融合层为第1融合层至第N-2融合层中的任意一层。需要说明的是，在第N-1融合层时，将第N-1融合层中各融合单元与第N融合层中的目标融合单元具有通信连接，该目标融合单元可以获取该第N-1融合层中各融合单元对应的融合信息，并进行融合得到目标融合信息。

根据一些实施例，图2示出应用于本申请实施例的多传感器的感知信息融合方法的场景示意图。如图2所示，当多传感器应用于智慧交通时，考虑当地路况以及环境条件设置多个传感器在待感知区域内，在分叉路口设置多个传感器，各传感器的感知区域重叠覆盖在三条交汇的道路上。其中，传感器包括但不限于摄像机、雷达以及红外检测仪等，可以根据各传感器的感知范围以及位置关系对各传感器进行分组，将具有邻接关系的传感器划分在同一分组，将具有相离关系的传感器划分在不同分组。根据分组获取传感器的感知信息，从而避免所有感知信息集中传输至融合单元，进而降低了融合通信中的带宽需求。其中，各传感器以及各融合单元之间的通信方式可以为有线通信，也可以为无线通信，其中，当无线通信的方式可以为采用第四代移动通信系统(the 4th generation mobilecommunication system，4G)、第五代移动通信技术(5th-Generation wirelesscommunication technology，5G)新空口(New Radio，NR)系统或未来的通信系统，也可以用于其他各种无线通信系统，例如，窄带物联网(Narrow Band-Internet of Things，NB-IoT)系统、全球移动通讯系统(Global System of Mobilecommunication，GSM)、增强型数据速率GSM演进(Enhanced Data rate for GSM Evolution，EDGE)系统、宽带码分多址(Wideband Code Division Multiple Access，WCDMA)系统、码分多址2000(CodeDivisionMultiple Access，CDMA2000)系统、时分同步码分多址(Time Division-Synchronization Code Division Multiple Access，TD-SCDMA)系统、通用分组无线业务(General PacketRadio Service，GPRS)、长期演进(Long Term Evolution，LTE)系统、LTE频分双工(Frequency Division Duplex，FDD)系统、LTE时分双工(Time Division Duplex，TDD)、通用移动通信系统(Universal Mobile Telecommunication System，UMTS)等进行数据传输。

下面结合具体的实施例对本申请进行详细说明。

在一个实施例中，如图3所示，特提出了一种多传感器的感知信息融合方法，该方法可依赖于计算机程序实现，可运行于基于冯诺依曼体系的多传感器的感知信息融合装置上。该计算机程序可集成在应用中，也可作为独立的工具类应用运行。

具体的，该多传感器的感知信息融合方法包括：

S101：基于至少一个传感器的感知范围以及位置关系，建立分层融合拓扑结构。

在一些可行的实施例中，传感器是生成感知信息，并将感知信息转换成电信号或其他形式的数据进行输出的检测装置。其中，该感知信息可以包括感知目标的位置信息、运动信息以及尺寸信息。感知目标是在感知区域中被传感器所感知到的物体，基于传感器应用场景，感知目标有所不同。例如，当传感器应用于智慧交通或无人驾驶领域时，感知目标至少包括车辆以及行人等。当传感器应用于工业生成领域时，感知目标可以为工业生产中的产品或器械。

其中，感知范围是指传感器所能检测的区域范围，位置关系可以是传感器之间的相对位置关系，例如，传感器A在传感器B的正北方向30米；也可以是绝对位置关系，例如，以一静止物体为参考物，传感器A在该静止物体的正北方向20米，传感器B在该静止物体的正南方向10米。

具体的，基于各传感器的感知范围以及位置关系，建立分层融合拓扑结构。分层融合结构是指由传感器与融合单元按照预设的分组融合方式以及分层融合方式组成的融合结构。其中，融合单元是对接收到的信息进行融合的处理单元，可以理解的是，当融合单元与传感器建立通信连接时，融合单元接收到的信息可以是传感器感知到的感知信息；当基于预设的融合层，融合单元与下一融合层中的融合单元建立通信连接时，融合单元接收到的信息可以是下一融合层中的融合单元生成的融合信息。

在本申请实施例中，预设的分组融合方式以及分层融合方式可以基于传感器的感知范围以及位置关系设置。具体的，在确定各传感器的感知范围以及位置关系后，可以生成各传感器之间的第一拓扑关系，该第一拓扑关系可以以各传感器之间的空间联系，如邻接关系、重合关系以及相离关系等，基于该第一拓扑关系对各传感器进行分组，将具有邻接关系的传感器划分至一个分组，将具有相离关系的的传感器划分至不同分组，如图4所示，一种可行的传感器分组的举例示意图，确定传感器的感知范围以传感器为中心的圆形区域为例，各传感器分别位于各支路以及各支路的交汇处，因此，分别将每一支路的传感器划分为一个分组，得到分组1、分组2以及分组3，再将位于各支路之间的交汇处的传感器划分为一个分组，得到分组4。其中，可以理解的是，所述感知范围的示意形状不限于圆形，还可以为扇形或者其他形状，本申请不做限制。

进一步的，对各传感器进行分组，得到多个第一分组，各第一分组分别与第1融合层中的融合单元建立通信连接，可以理解的是，各传感器之间的第一拓扑关系，使得各第一分组之间具有第二拓扑关系，也即第1融合层中的融合单元具有第二拓扑关系，该第二拓扑关系可以是各第一分组之间的空间联系。

更进一步的，感知信息在分组融合的同时，将每一融合层生成的融合信息传输至上一融合层，再进行分组融合，可以理解的是，由于第1融合层中的融合单元具有第二拓扑关系，在各融合层之间以及各融合层内的融合单元之间也具有第三拓扑关系。因此，可以建立第一拓扑关系、第二拓扑关系以及第三拓扑关系对应的分层融合拓扑结构。

S102：分别获取各所述传感器感知到的感知信息。

根据一些实施例，基于不同类型的传感器，获取感知信息的方式也不同。以红外检测仪为例，红外检测仪通过对感知目标红外成像，生成红外图像，并对该红外图像分析处理，得到该红外图像中感知目标对应的感知信息。

可选的，以雷达为例，雷达可以采用调频连续波（Frequency ModulatedContinuous Wave，FMCW）体制，向外发送特定频率的毫米波，并接收回波。当雷达接收感知目标反射回来的回波，计算发射波和回波之间的频率差，得到关于感知目标表面的位置和速度信息的点数据集合，即点云，并采用聚类算法和跟踪算法对点云进行计算，从而得到感知目标对应的感知信息。

在本申请实施例中，可以通过分层融合拓扑结构中的第1融合层中的各融合单元获取所对应的第一分组中各传感器感知到的感知信息。例如，一个融合单元获取传感器A、传感器B以及传感器C，则记录SA、SB以及SC，以及感知信息对应的时间戳TA、TB以及TC。

S103：采用所述分层融合拓扑结构对各所述感知信息进行分层融合，生成目标融合信息。

在分层融合拓扑结构中，各传感器将感知到的感知信息发送至对应的融合单元进行融合，各融合单元将生成的融合信息发送至对应的上一融合层中的融合单元进行融合，从而实现了感知信息的分层融合，并生成目标融合信息，其中，目标融合信息是指对各感知信息进行分层融合后最终得到的融合信息，包括检测区域内各感知目标对应的感知信息。

在本申请实施例中，基于至少一个传感器的感知范围以及位置关系，建立分层融合拓扑结构，分别获取各所述传感器感知到的感知信息，采用所述分层融合拓扑结构对各所述感知信息进行分层融合，生成目标融合信息。其中，相比于对所有感知信息进行一次融合的方法，采用分层融合拓扑结构对感知信息进行融合，可以减少在融合通信过程中感知信息的数据量，从而降低了融合通信中的带宽需求。此外，基于传感器的感知范围以及位置关系，建立分层融合拓扑结构，可以缩短通信距离，从而提高通信效率，进一步的降低融合通信中的带宽需求。

请参见图5，图5是本申请提出的一种多传感器的感知信息融合方法的另一种实施例的流程示意图。具体的：

S201：基于至少一个传感器的感知范围以及位置关系，建立分层融合拓扑结构。

具体可参见S101，此处不再赘述。

S202：分别获取各所述传感器感知到的感知信息。

具体可参见S102，此处不再赘述。

S203：基于所述分层融合拓扑结构，将多个所述感知信息划分为多个分组，所述分组包括至少两个，将各所述分组中所包含的感知信息进行融合，得到至少两个第一融合信息。

具体的，对多个所述感知信息进行分组的方法可以为：按照传感器的拓扑关系对多个传感器进行划分得到多个分组，每个分组包括至少两个传感器，因此，每个第一分组中至少两个传感器感知到的感知目标的感知信息为一个分组，从而对所述感知信息进行分组。

S204：将所述至少两个第一融合信息分别作为所述感知信息，并执行所述将多个所述感知信息划分为多个分组，将各所述分组中所包含的感知信息进行融合的步骤。

当所述第一融合信息包括至少两个时，需要对所述第一融合信息再次融合，从而通过重复分组并融合， 实现分层融合。具体的，将所述第一融合信息作为感知信息，并执行所述将多个所述感知信息划分为多个分组，将各所述分组中所包含的感知信息进行融合的步骤。需要说明的是，分组以及分层的过程是基于建立的分层拓扑结构进行的，也即，按照各传感器对应的第一分组将传感器感知到的感知信息划分为多个分组，在每一融合层中，将生成的第一融合信息作为感知信息发送至上一融合层，并执行将多个所述感知信息划分为多个分组，将各所述分组中所包含的感知信息进行融合的步骤。

其中，执行所述将多个所述感知信息划分为多个分组，将各所述分组中所包含的感知信息进行融合的步骤具体可参见S203，此处不再赘述。

S205：当所述第一融合信息只包括一个时，得到目标融合信息。

当所述第一融合信息只包括一个时，是指在重复分组以及分层融合的过程中，得到最终融合结果，也即目标融合信息。

S206：基于所述目标融合信息，调整所述分层融合拓扑结构。

根据一些实施例，可以通过目标融合信息确定各传感器的信息密集度，也即各传感器中感知信息的数据量。在一些应用场景中，如交通道路上，在三条支路中，支路A的车流量大，使得位于支路A的传感器感知到的感知信息的数据量大，而支路B以及支路C的车流量少，使得位于支路A的传感器感知到的感知信息的数据量大。

为了进一步解决融合通信过程中带宽需求过大的问题，调整分层融合拓扑结构，例如，在分层融合拓扑结构中，可以将信息密度大的传感器调整至信息密度小的传感器对应的分组中，也可以对信息密度大的传感器进一步分组或增加融合层，所增加的融合层中的融合单元接收融合通信中带宽需求较大的信息数据，可以是感知信息，也可以是第一融合信息。

示意性的，图6示出了一种可行的调整分层融合拓扑结构的举例示意图，如图6所示，传感器包括A、B、C、D、E、F、G、H、I、J、K以及L，其中，传感器B和传感器C感知到的感知信息的数据量多，传感器A、传感器D以及传感器F感知到的感知信息的数据量一般，传感器E、传感器G、传感器H、传感器I、传感器J、传感器K以及传感器L的感知信息的数据量少，在初始的分层拓扑结构中，融合单元1获取传感器A、传感器B、传感器C以及传感器D对应的感知信息，在融合通信的过程中，感知信息的数据量较大，使得带宽需求较大。

易于理解的是，融合单元3获取传感器J、传感器K以及传感器L对应的感知信息，在融合通信的过程中，感知信息的数据量较小，使得带宽需求较小。因此，可以基于各传感器之间的拓扑关系以及各传感器对应的感知信息的数据量，重新对传感器进行分组，使得避免在获取感知信息的过程中各融合单元所对应的带宽需求不均衡（一部分融合单元对应的带宽需求过大，一部分融合单元对应的带宽需求较小），可以确定分组为以传感器A、传感器B以及传感器C为一个分组，以传感器D、传感器E、传感器F以及传感器G为一个分组，以传感器H、传感器I、传感器J、传感器K以及传感器L为一个分组。

可选的，在第一融合层增加一个融合单元，并对传感器A、传感器B、传感器C以及传感器D进一步分组，得到以传感器A以及传感器B为一个分组对应融合单元1，以传感器C以及传感器D为一个分组对应融合单元2。进一步的，可以增加一个融合层，该融合层中的融合单元5与融合单元1以及融合单元2建立通信连接并对融合单元1对应的融合信息以及融合单元2对应的融合信息进行融合。

在本申请实施例中，基于至少一个传感器的感知范围以及位置关系，建立分层融合拓扑结构，分别获取各所述传感器感知到的感知信息，采用所述分层融合拓扑结构对各所述感知信息进行分层融合，生成目标融合信息。其中，相比于对所有感知信息进行一次融合的方法，采用分层融合拓扑结构对感知信息进行融合，可以减少在融合通信过程中感知信息的数据量，从而降低了融合通信中的带宽需求。此外，基于传感器的感知范围以及位置关系，建立分层融合拓扑结构，可以缩短通信距离，从而提高通信效率，进一步的降低融合通信中的带宽需求。更近一步的，可以通过读取目标融合信息调整分层融合拓扑结构，从而更加精确的解决带宽需求的问题。

请参见图7，图7是本申请提出的一种多传感器的感知信息融合方法的另一种实施例的流程示意图。具体的：

S301：基于至少一个传感器的感知范围以及位置关系，建立分层融合拓扑结构。

具体可参见S101，此处不再赘述。

S302：分别获取各所述传感器感知到的感知信息。

具体的，传感器感知到的感知信息包括传感器感知到的感知目标对应的感知信息，将各传感器的感知目标的感知信息分别保存至阵列中，如下：

其中，

根据一些实施例，每一感知目标的感知信息包括该感知目标的位置信息（如感知目标的中心点在传感器所设置的坐标系中的坐标）、运动信息（如感知目标的航向角、速度以及加速度）以及尺寸信息（感知目标的长度、宽度以及高度）。

S303：基于所述分层融合拓扑结构，将多个所述感知信息划分为多个分组，所述分组包括至少两个，将各所述分组中所包含的感知信息进行融合，得到至少两个第一融合信息。

根据一些实施例，请参见图8，图8是一种第一融合信息获取方法的流程示意图。具体的：

S3031：获取各分组中各感知信息的时间戳，并基于所述时间戳对各所述感知信息进行同步，得到各同步感知信息。

需要说明的是，所述时间戳是指传感器在一个感知周期中获取感知目标的感知信息的时间；在本申请中，时间戳可以为按照预设规则在该感知周期中选择特定的时刻作为该感知信息的时间戳。其中，预设规则可以为选择该周期中的起始时刻或结束时刻作为该感知信息的时间戳，也可以为选择距离该起始时刻的预设时段的时刻作为该感知信息的时间戳。所述时间戳可以作为感知信息的子感知信息保存至该感知信息中。

具体的，由于各传感器之间感知信息存在时间差，因此，需要基于所述时间戳对各所述感知信息进行同步。其中，对各所述感知信息进行同步的方法为：计算所述分组中目标分组对应的同步时间戳；计算所述同步时间戳与所述目标分组中各所述时间戳的差值，基于所述差值对各所述感知信息进行运动补偿，得到所述目标分组的同步感知信息；获取所述分组中的下一个分组，将所述下一个分组作为所述目标分组，并执行所述计算所述分组中目标分组对应的同步时间戳的步骤；当不存在下一个分组时，生成各分组对应的同步感知信息。

易于理解的是，在一个分组中，将各感知信息同步至同步时间戳的同步感知信息的方法包括周期同步以及即时同步。

其中，周期同步是指在一个获取各传感器的感知信息的周期中，基于各感知信息的时间戳计算同步时间戳，计算所述同步时间戳与所述目标分组中各所述时间戳的差值，基于所述差值对各所述感知信息进行运动补偿，得到所述目标分组的同步感知信息；获取所述分组中的下一个分组，将所述下一个分组作为所述目标分组，并执行所述计算所述分组中目标分组对应的同步时间戳的步骤；当不存在下一个分组时，生成各分组对应的同步感知信息。

如图9所示，一种周期同步的举例示意图，以三个传感器为例，需要对传感器1、传感器2以及传感器3进行同步，由于各传感器的感知信息到达融合单元的时间不同，周期同步方法是在一个同步周期中，传感器3、传感器2以及传感器1的感知信息依次到达融合单元，获取所到达的感知信息的时间戳，并计算各时间戳对应的同步时间戳，在每一同步周期内对所到达的感知信息进行同步。

需要说明的是，计算同步时间戳的方法为：确定所述分组中最先获取的感知信息的第一目标时间戳；计算各所述时间戳与所述第一目标时间戳的第一差值，确定各所述第一差值中小于时间差阈值的第二差值；将各所述第二差值对应的第一时间戳保存至第一集合；计算各所述第一时间戳的第一平均值，将所述第一平均值作为第二目标时间戳；计算各所述时间戳中除各所述第一时间戳之外的第二时间戳与所述第二目标时间戳的第三差值，确定各所述第三差值中小于所述时间差阈值的各第四差值；将各所述第四差值对应的各第三时间戳保存至第二集合；计算所述第一集合中各所述第一时间戳以及所述第二集合中各所述第三时间戳的时间戳平均值，将所述时间戳平均值作为所述同步时间戳。

其中，即时同步是指在一个同步周期内融合单元每获取一个传感器的感知信息，就对已获取的感知信息进行一次同步。如图10所示，一种即时同步的举例示意图，需要对传感器1、传感器2以及传感器3进行同步，由于各传感器的感知信息到达融合单元的时间不同，融合单元每获取其中一个传感器的感知信息，就对已获取的感知信息进行一次同步。

具体的，将以获取的感知信息作为周期同步方法中一个同步周期中的感知信息进行同步，可参见周期同步方法，此处不再赘述。

需要说明的是，运动补偿的方式可以为以匀速直线运动对感知信息进行运动补偿，也可以为以匀加速直线运动对感知信息进行补偿。例如，以匀速直线运动对感知信息进行运动补偿，感知信息中运动信息以及尺寸信息保持不变，对位置信息进行同步，该位置信息为待感知区域的预设坐标系中坐标（x，y，z），运动信息包括速度（

其中，

S3032：基于各所述同步感知信息，按照优先级的高低顺序对所述感知目标进行排序。

优先级是指所述感知目标之间的优先级，其中，优先级是按照所述感知目标的同步感知信息计算得到的。

具体的，获取所述同步感知信息中的各子感知信息；按照预设的各子感知信息对应的权重，将各所述子感知信息分别与所述权重进行加权求和，得到所述同步感知信息的优先级；按照所述优先级的高低顺序对所述感知目标进行排序。

例如，计算一个感知目标的优先级，该感知目标的同步感知信息包括感知目标与传感器的位置距离DistCenter（x）、感知目标的尺寸信息Area（x）、该传感器对感知目标的持续检测时间liveTime（x）以及感知目标的检测置信度Confidence（x）。易于理解的是，感知目标与传感器的位置距离越小，则优先级越高；感知目标的尺寸信息越接近与感知目标对应类别的参考尺寸信息，则优先级越高；该传感器对感知目标的持续检测时间，则优先级越高；感知目标的检测置信度越高，则则优先级越高。因此，优先级计算函数为：

其中，

S3033：按照所述优先级的高低顺序依次计算每两个感知目标之间的融合置信度。

所述融合置信度是表示两个感知目标之间融合的可信度的量值。

具体的，计算所述融合置信度的方法包括：按照所述优先级的高低顺序依次获取每两个感知目标的感知信息；基于所述两个感知目标的感知信息，计算所述两个感知目标之间的重叠度以及相似度；按照所述重叠度以及所述相似度加权计算，得到两个感知目标之间的融合置信度。

根据一些实施例，重叠度是指用于表示两个感知目标的重合程度的量值，其中，重叠度的计算方法可以为两个感知目标的重叠区域的面积与非重叠区域的面积的比值，也可以为两个感知目标的重叠区域的面积与所占总区域的面积的比值。

根据一些实施例，相似度是指用于表示两个感知目标的外形相似性的量值，也可以是用于表示两个感知目标的轮廓相似性的量值。其中，相似度的计算方法包括但不限于：欧几里得距离（Eucledian Distance）、曼哈顿距离（Manhattan Distance）、明可夫斯基距离（Minkowski distance）、余弦相似度（Cosine Similarity）以及皮尔森相关系数(Pearson Correlation Coefficient)。

例如，两个感知目标之间的重叠度为

其中，

S3034：当所述融合置信度大于融合置信度阈值时，则将所述两个感知目标对应的同步感知信息进行融合，得到融合感知信息，并将所述融合感知信息作为所述两个感知目标中高优先级的感知目标的同步感知信息，删除所述两个感知目标中低优先级的感知目标的同步感知信息。

当融合置信度大于融合置信度时，则确定两个感知目标在待感知区域内实际上是一个感知目标，因此，对两个感知目标进行融合。

具体的，所述感知信息包括尺寸信息、位置信息以及运动信息，对两个感知目标的感知信息进行融合：将所述高优先级的感知目标的尺寸信息作为所述融合感知信息中的尺寸信息；若所述两个感知目标的持续感知时间大于时间阈值，则将所述两个感知目标的位置信息按照所述持续感知时间的权重进行加权计算，得到所述融合感知信息中的位置信息，将所述两个感知目标的运动信息按照所述持续感知时间的权重进行加权计算，得到所述融合感知信息中的运动信息；若所述两个感知目标的持续感知时间小于时间阈值，则计算所述两个感知目标的位置信息的平均值以及运动信息的平均值，将所述位置信息的平均值作为所述融合感知信息中的位置信息，将所述运动信息的平均值作为所述融合感知信息中的运动信息。

可选的，当确定多个感知目标之间的融合置信度大于融合置信度阈值时，则对多个感知目标进行融合。其中，待融合感知目标中包括：高优先级感知目标（记为集合

尺寸信息融合：计算集合

位置信息融合：按照两个感知目标中位置信息融合的方法进行加权计算或平均值计算，具体可参照上述的计算方法，此处不在赘述。

尺寸信息融合：按照两个感知目标中位置信息融合的方法进行加权计算或平均值计算，具体可参照上述的计算方法，此处不在赘述。

S3035：当所述融合置信度小于融合置信度阈值时，则保留所述两个感知目标的同步感知信息。

当所述融合置信度小于融合置信度阈值时，则确定两个感知目标在待感知区域内也是两个感知目标，因此，不对两个感知目标进行融合，且保留两个感知目标的同步感知信息。

S3036：将各所述分组中所保留的同步感知信息作为所述第一融合信息。

通过融合置信度阈值判断所获取的同步感知信息对应的感知目标在实际的待感知区域内是否是一个感知目标，若是，则进行融合，并保留融合信息；若否，则同时保留两个感知目标的同步感知信息。因此，最终保留结果为所述第一融合信息。

S304：将所述至少两个第一融合信息分别作为所述感知信息，并执行所述将多个所述感知信息划分为多个分组，将各所述分组中所包含的感知信息进行融合的步骤。

具体可参见S204，此处不再赘述。

S305：当所述第一融合信息只包括一个时，得到目标融合信息。

具体可参见S205，此处不再赘述。

S306：对所述目标融合信息中的感知目标进行关联重识别。

具体的，在分层融合拓扑结构中，至少两个传感器对应的感知区域之间存在重叠区域。由于在重叠区域，不同传感器针对同一感知目标感知到的感知信息中的标识号（Identity Document，ID）不同，从而丢失感知目标的相对属性，无法对感知目标进行全局跟踪。

如图11所示，在T-1 时刻的目标融合信息中，传感器A感知到小车的第一感知信息，小车在T时刻的目标融合信息中，传感器A感知到小车的第二感知信息，传感器B感知到小车的第三感知信息，传感器B感知到小车的第四感知信息，其中，传感器A对小车进行局部跟踪，第一感知信息以及第二感知信息的标识号为“车1”，传感器B对小车进行局部跟踪，第三感知信息以及第四感知信息的标识号为“车2”。因此，小车在行驶过传感器A以及传感器B的重叠区域时，会丢失相对位置属性，从而无法对小车全局跟踪。

为解决上述问题，在本申请实施例中，对所述目标融合信息中的感知目标进行关联重识别。具体的，获取所述目标融合信息中位于所述第一重叠区域的感知目标。其中，相邻的所述传感器的感知区域之间有第一重叠区域，计算位于所述第一重叠区域的感知目标的关联度，若两个感知目标的关联度大于关联阈值，则确定所述两个感知目标为相关联的感知目标。

需要说明的是，第一重叠区域是指相邻的传感器的感知区域的重叠区域，其中，相邻的传感器包括至少两个，也即，第一重叠区域可以是两个相邻传感器的的感知区域的重叠区域，也可以是三个相邻传感器的感知区域的重叠区域。示意性的，如图12所示，一种第一重叠区域的举例示意图，包括传感器A、传感器B、传感器C以及传感器D，其中，传感器A、传感器B以及传感器D的感知区域重叠，传感器B以及传感器C的感知区域重叠，则在各传感器中的第一重叠区域包括传感器A和传感器B对应的第一重叠区域、传感器B和传感器C对应的第一重叠区域、传感器B和传感器D对应的第一重叠区域、传感器A和传感器B对应的第一重叠区域以及传感器A、传感器B和传感器D对应的第一重叠区域。

如图11所示，在T时刻，小车位第一重叠区域，在T时刻的目标融合信息中，传感器A感知到的小车的第二感知信息与传感器B感知到的小车第三感知信息相融合，并将T时刻目标融合信息中小车的感知信息与T-1时刻目标融合信息中小车的感知信息相关联。

可选的，关联度的计算方法可以为：建立位于第一重叠区域的各感知目标的关联矩阵，其中，关联矩阵是基于感知目标的位置信息、运动信息、尺寸信息以及类别信息建立的，具体计算关联矩阵中的感知目标的距离公式如下：

dist（x，y）=N（x，y）*distAsso（x，y）

其中，N（x，y）表示两个感知目标之间的邻接关系，distAsso（x，y）表示两个物体之间的距离。具体的，如果两个感知目标之间相邻接，则N（x，y）取值为１，否，则N（x，y）取值大于1。为了方便计算，可以直接将非邻接关系的两个物体的距离取值为“无穷大”，从而，减少不必要的计算。distAsso（x，y）由位置距离，运动方向距离，尺寸距离以及类别距离进行加权计算得到的。

可选的，关联算法还可以为图形神经网络（Graph Neural Network，GNN）算法。

其中，可以采用标准匈牙利算法进行处理，从而保证全局最优匹配。同时，通过设置应用场景相关的合理阈值，可以进一步提高算法的关联效率。如图13所示，一种二分图分割的举例示意图，A{1，..，5}表示传感器1的感知目标，B{1，..，5}表示传感器2的感知目标。将一个大的全局二分图分割为多个互不重叠的子图进行处理，即将{A1，...A5， B1，...，B5}的二分匹配划分为{A1，...，A3， B1，...， B3}和{A4，A5， B4， B5}的两个子图的二分匹配，可以提高关联效率。

S307：获取所述相关联的感知目标的感知信息，读取所述感知信息中所述感知目标的标识号。

易于理解的，在待感知区域内，感知目标被各传感器连续感知，而不仅在单个传感器中被感知，感知目标在第一重叠区域中移动时，对该感知目标的识别并未断开，无需在新的一个传感器中重新识别该感知目标。通过关联重识别的方法，获取所述相关联的感知目标的感知信息，读取所述感知信息中所述感知目标的标识号，并将所读取标识号修改为一个统一的标识号，可以使得一个感知目标在多个传感器中只有一个标识号，并且在多个传感器中持续被识别，从而实现感知目标的全局跟踪。

S308：按照所述感知信息的感知时间的先后顺序，在所述标识号中确定最先感知的所述感知信息的目标标识号。

所述感知时间的先后顺序是指传感器识别到感知目标的先后顺序。

具体的，确定感知目标最先被传感器识别而生成的目标标识号。例如，小车从传感器1的感知区域行驶的传感器2的感知区域，则小车最先被传感器1感知到，并生成第一标识号，此时，第一标识号则为最先感知的所述感知信息的目标标识号。

S309：将所述目标标识号作为所述相关联的感知目标的标识号。

易于理解的，为了避免感知目标在不同传感器中丢失相对位置属性，将所述目标标识号作为所述相关联的感知目标的标识号。

例如，在小车行驶至传感器1与传感器2的重叠区域时，传感器1对小车进行局部跟踪，因此，此时小车的标识号仍为第一标识号，而传感器2感知到小车，并为小车生成第二标识号，其中，第二标识号对应的第二感知信息和第二标识号对应的第一感知信息实际上为不同传感器针对同一传感器识别得到的感知信息。因此，第一感知信息对应的感知目标与第二感知信息对应的感知目标相关联，将第二标识号替换为第一标识号。

在本申请实施例中，基于至少一个传感器的感知范围以及位置关系，建立分层融合拓扑结构，分别获取各所述传感器感知到的感知信息，采用所述分层融合拓扑结构对各所述感知信息进行分层融合，生成目标融合信息。其中，相比于对所有感知信息进行一次融合的方法，采用分层融合拓扑结构对感知信息进行融合，可以减少在融合通信过程中感知信息的数据量，从而降低了融合通信中的带宽需求。此外，基于传感器的感知范围以及位置关系，建立分层融合拓扑结构，可以缩短通信距离，从而提高通信效率，进一步的降低融合通信中的带宽需求。更近一步的，可以通过读取目标融合信息调整分层融合拓扑结构，从而更加精确的解决带宽需求的问题。另外，对目标融合信息中的感知目标进行关联重识别，可以实现感知目标的全局跟踪。

请参见图14，图14是本申请提出的一种多传感器的感知信息融合方法的另一种实施例的流程示意图。具体的：

S401：基于至少一个传感器的感知范围以及位置关系，建立分层融合拓扑结构。

具体可参见S101，此处不再赘述。

S402：分别获取各所述传感器感知到的感知信息。

具体可参见S102，此处不再赘述。

S403：采用所述分层融合拓扑结构对各所述感知信息进行分层融合，生成目标融合信息。

具体可参见S103，此处不再赘述。

S404：对所述目标融合信息中的感知目标进行关联重识别。

具体可参见S306，此处不再赘述。

S405：对多个所述传感器的感知区域进行网格划分，所述目标融合信息覆盖所述感知区域。

多个传感器的感知区域包括重叠区域和非重叠区域，因此，对多个所述传感器的感知区域进行网格划分时，需要先建立多个所述传感器之间的拓扑关系。

具体的，该拓扑关系以邻接矩阵的方式表示。例如，如图15所示，一种相邻矩阵的举例示意图，其中，传感器1、传感器2以及传感器3之间相邻接，传感器N与传感器M相邻接，则相邻矩阵表示如下：

其中，取值为“1”表示传感器i和传感器j之间有邻接关系，否则，表示传感器i和传感器j之间不邻接。

在建立拓扑关系后，对多个所述传感器的感知区域进行网格划分。如图16所示，一种网格划分的举例示意图，对传感器N和传感器M的感知区域进行网格划分，其中，包括传感器N独自覆盖区域，传感器M独自覆盖区域以及传感器M和传感器N的重叠覆盖区域。

S406：读取所述目标融合信息中每一网格对应的融合信息；

由于目标融合信息中重叠区域的感知目标信息相融合，因此，可以通过读取所示目标融合信息中每一网格对应的融合信息，根据确定该网格是否位于传感器之间的重叠区域。

S407：基于所述融合信息更新网格划分，并确定所更新的网格中的第二重叠区域。

具体的，可以累积融合信息在该网格中感知目标的标识号的关联情况，从而生成更加精确的，自适应的网格拓扑关系，自适应调整融合算法中的关联半径相关的超参数，并可以按照预设时间对网格进行逐步更新。

S408：比对所述第一重叠区域与所述第二重叠区域，检测多个所述传感器中各传感器的偏移状态。

所述第一重叠区域是指在设置传感器时，各传感器之间的重叠区域。所述第二重叠区域是指基于融合信息所确定的当前各传感器之间的重叠区域，

根据一些实施例，通过比对所述第一重叠区域与所述第二重叠区域，可以确定各传感器是否发生偏移，从而，在传感器由于工作环境以及设备老化等原因导致多个传感器的感知区域发生改变时，可以及时检测到，并手动或自动对传感器进行调整，从而保证多个传感器的感知区域在待感知区域中实现最大无缝覆盖。

在本申请实施例中，基于至少一个传感器的感知范围以及位置关系，建立分层融合拓扑结构，分别获取各所述传感器感知到的感知信息，采用所述分层融合拓扑结构对各所述感知信息进行分层融合，生成目标融合信息。其中，相比于对所有感知信息进行一次融合的方法，采用分层融合拓扑结构对感知信息进行融合，可以减少在融合通信过程中感知信息的数据量，从而降低了融合通信中的带宽需求。此外，基于传感器的感知范围以及位置关系，建立分层融合拓扑结构，可以缩短通信距离，从而提高通信效率，进一步的降低融合通信中的带宽需求。更近一步的，可以通过读取目标融合信息调整分层融合拓扑结构，从而更加精确的解决带宽需求的问题。另外，对目标融合信息中的感知目标进行关联重识别，可以实现感知目标的全局跟踪。

下面将结合图17，对本申请实施例提供的多传感器的感知信息融合装置进行详细介绍。需要说明的是，图17所示的多传感器的感知信息融合装置，用于执行本申请图1~图16所示实施例的方法，为了便于说明，仅示出了与本申请实施例相关的部分，具体技术细节未揭示的，请参照本申请图1~图14所示的实施例。

请参见图17，其示出本申请实施例的多传感器的感知信息融合装置的结构示意图。该多传感器的感知信息融合装置1可以通过软件、硬件或者两者的结合实现成为电子设备的全部或一部分。根据一些实施例，该多传感器的感知信息融合装置1包括结构建立模块11、信息获取模块12以及信息生成模块13，其中：

结构建立模块11，用于基于至少一个传感器的感知范围以及位置关系，建立分层融合拓扑结构；

信息获取模块12，用于分别获取各所述传感器感知到的感知信息；

信息生成模块13，用于采用所述分层融合拓扑结构对各所述感知信息进行分层融合，生成目标融合信息。

可选的，如图18所示，所述装置1，还包括：

结构调整模块14，用于基于所述目标融合信息，调整所述分层融合拓扑结构。

可选的，如图19所示，所述信息生成模块13，包括：

信息融合单元131，用于基于所述分层融合拓扑结构，将多个所述感知信息划分为多个分组，所述分组包括至少两个，将各所述分组中所包含的感知信息进行融合，得到至少两个第一融合信息；

步骤执行单元132，用于将所述至少两个第一融合信息分别作为所述感知信息，并执行所述将多个所述感知信息划分为多个分组，将各所述分组中所包含的感知信息进行融合的步骤；

信息得到单元133，用于当所述第一融合信息只包括一个时，得到所述目标融合信息。

可选的，如图20所示，所述信息融合单元131包括：

信息同步子单元1311，用于获取各所述分组中各所述感知信息的时间戳，并基于所述时间戳对各所述感知信息进行同步，得到各同步感知信息；

目标排序子单元1312，用于基于各所述同步感知信息，按照优先级的高低顺序对所述感知目标进行排序；

置信度计算子单元1313，用于按照所述优先级的高低顺序依次计算每两个感知目标之间的融合置信度；

信息删除子单元1314，用于当所述融合置信度大于融合置信度阈值时，则将所述两个感知目标对应的同步感知信息进行融合，得到融合感知信息，并将所述融合感知信息作为所述两个感知目标中高优先级的感知目标的同步感知信息，删除所述两个感知目标中低优先级的感知目标的同步感知信息；

信息保留子单元1315，用于当所述融合置信度小于融合置信度阈值时，则保留所述两个感知目标的同步感知信息；

融合信息子单元1316，将各所述分组中所保留的同步感知信息作为所述第一融合信息。

可选的，所述信息同步子单元1311，具体用于：

计算所述分组中目标分组对应的同步时间戳；

计算所述同步时间戳与所述目标分组中各所述时间戳的差值，基于所述差值对各所述感知信息进行运动补偿，得到所述目标分组的同步感知信息；

获取所述分组中的下一个分组，将所述下一个分组作为所述目标分组，并执行所述计算所述分组中目标分组对应的同步时间戳的步骤；

当不存在下一个分组时，生成各分组对应的同步感知信息。

可选的，所述信息同步子单元1311，具体用于：

确定所述分组中最先获取的感知信息的第一目标时间戳；

计算各所述时间戳与所述目标时间戳的第一差值，确定各所述第一差值中小于时间差阈值的第二差值；

将各所述第二差值对应的第一时间戳保存至第一集合；

计算各所述第一时间戳的第一平均值，将所述第一平均值作为第二目标时间戳；

计算各所述时间戳中除各所述第一时间戳之外的第二时间戳与所述第二目标时间戳的第三差值，确定各所述第三差值中小于所述时间差阈值的各第四差值；

将各所述第四差值对应的各第三时间戳保存至第二集合；

计算所述第一集合中各所述第一时间戳以及所述第二集合中各所述第三时间戳的时间戳平均值，将所述时间戳平均值作为所述同步时间戳。

可选的，所述目标排序子单元1312，具体用于：

获取所述同步感知信息中的各子感知信息；

按照预设的各子感知信息对应的权重，将各所述子感知信息分别与所述权重进行加权求和，得到所述同步感知信息的优先级；

按照所述优先级的高低顺序对所述感知目标进行排序。

可选的，置信度计算子单元1313，具体用于：

按照所述优先级的高低顺序依次获取每两个感知目标的感知信息；

基于所述两个感知目标的感知信息，计算所述两个感知目标之间的重叠度以及相似度；

按照所述重叠度以及所述相似度加权计算，得到两个感知目标之间的融合置信度。

可选的，所述信息删除子单元1314，具体用于：

将所述高优先级的感知目标的尺寸信息作为所述融合感知信息中的尺寸信息；

若所述两个感知目标的持续感知时间大于时间阈值，则将所述两个感知目标的位置信息按照所述持续感知时间的权重进行加权计算，得到所述融合感知信息中的位置信息，将所述两个感知目标的运动信息按照所述持续感知时间的权重进行加权计算，得到所述融合感知信息中的运动信息；

若所述两个感知目标的持续感知时间小于时间阈值，则计算所述两个感知目标的位置信息的平均值以及运动信息的平均值，将所述位置信息的平均值作为所述融合感知信息中的位置信息，将所述运动信息的平均值作为所述融合感知信息中的运动信息。

可选的，所述装置1，还包括：

关联识别模块15，用于对所述目标融合信息中的感知目标进行关联重识别。

可选的，如图21所示，所述关联识别模块15，包括：

目标获取单元151，用于获取所述目标融合信息中位于所述第一重叠区域的感知目标；

关联度计算单元152，用于计算位于所述第一重叠区域的感知目标的关联度；

目标确定单元153，用于若两个感知目标的关联度大于关联阈值，则确定所述两个感知目标为相关联的感知目标。

可选的，如图22所示，所述装置1还包括：

标识号读取模块16，用于相邻的所述传感器的感知区域之间有第一重叠区域，获取所述相关联的感知目标的感知信息，读取所述感知信息中所述感知目标的标识号；

标识号确定模块17，用于按照所述感知信息的感知时间的先后顺序，在所述标识号中确定最先感知的所述感知信息的目标标识号；

目标标识号模块18，用于将所述目标标识号作为所述相关联的感知目标的标识号。

可选的，如图23所示，所述装置1还包括：

网格划分模块19，用于对多个所述传感器的感知区域进行网格划分，所述目标融合信息覆盖所述感知区域；

信息读取模块20，用于读取所述目标融合信息中每一网格对应的融合信息；

网格更新模块21，用于基于所述融合信息更新网格划分，并确定所更新的网格中的第二重叠区域；

状态检测模块22，用于比对所述第一重叠区域与所述第二重叠区域，检测多个所述传感器中各传感器的偏移状态。

需要说明的是，上述实施例提供的多传感器的感知信息融合装置在执行多传感器的感知信息融合方法时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的多传感器的感知信息融合装置与多传感器的感知信息融合方法实施例属于同一构思，其体现实现过程详见方法实施例，这里不再赘述。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

在本申请实施例中，基于至少一个传感器的感知范围以及位置关系，建立分层融合拓扑结构，分别获取各所述传感器感知到的感知信息，采用所述分层融合拓扑结构对各所述感知信息进行分层融合，生成目标融合信息。其中，相比于对所有感知信息进行一次融合的方法，采用分层融合拓扑结构对感知信息进行融合，可以减少在融合通信过程中感知信息的数据量，从而降低了融合通信中的带宽需求。此外，基于传感器的感知范围以及位置关系，建立分层融合拓扑结构，可以缩短通信距离，从而提高通信效率，进一步的降低融合通信中的带宽需求。

本申请实施例还提供了一种计算机存储介质，所述计算机存储介质可以存储有多条指令，所述指令适于由处理器加载并执行如上述图1~图16所示实施例的所述多传感器的感知信息融合方法，具体执行过程可以参见图1~图16所示实施例的具体说明，在此不进行赘述。

本申请还提供了一种计算机程序产品，该计算机程序产品存储有至少一条指令，所述至少一条指令由所述处理器加载并执行如上述图1~图16所示实施例的所述多传感器的感知信息融合方法，具体执行过程可以参见图1~图16所示实施例的具体说明，在此不进行赘述。

请参见图24，为本申请实施例提供了一种电子设备的结构示意图。如图24所示，所述电子设备1000可以包括：至少一个处理器1001，至少一个网络接口1004，用户接口1003，存储器1005，至少一个通信总线1002。

其中，通信总线1002用于实现这些组件之间的连接通信。

其中，用户接口1003可以包括显示屏（Display）、摄像头（Camera），可选用户接口1003还可以包括标准的有线接口、无线接口。

其中，网络接口1004可选的可以包括标准的有线接口、无线接口（如WI-FI接口）。

其中，处理器1001可以包括一个或者多个处理核心。处理器1001利用各种借口和线路连接整个服务器1000内的各个部分，通过运行或执行存储在存储器1005内的指令、程序、代码集或指令集，以及调用存储在存储器1005内的数据，执行服务器1000的各种功能和处理数据。可选的，处理器1001可以采用数字信号处理（Digital Signal Processing，DSP）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）、可编程逻辑阵列（Programmable Logic Array，PLA）中的至少一种硬件形式来实现。处理器1001可集成中央处理器（Central Processing Unit，CPU）、图像处理器（Graphics Processing Unit，GPU）和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器1001中，单独通过一块芯片进行实现。

其中，存储器1005可以包括随机存储器（Random Access Memory，RAM），也可以包括只读存储器（Read-Only Memory）。可选的，该存储器1005包括非瞬时性计算机可读介质（non-transitory computer-readable storage medium）。存储器1005可用于存储指令、程序、代码、代码集或指令集。存储器1005可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令（比如触控功能、声音播放功能、图像播放功能等）、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器1005可选的还可以是至少一个位于远离前述处理器1001的存储装置。如图24所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及多传感器的感知信息融合应用程序。

在图24所示的电子设备1000中，用户接口1003主要用于为用户提供输入的接口，获取用户输入的数据；而处理器1001可以用于调用存储器1005中存储的多传感器的感知信息融合应用程序，并具体执行以下操作：

基于至少一个传感器的感知范围以及位置关系，建立分层融合拓扑结构；

分别获取各所述传感器感知到的感知信息；

采用所述分层融合拓扑结构对各所述感知信息进行分层融合，生成目标融合信息。

在一个实施例中，所述处理器1001在执行所述采用所述分层融合拓扑结构对各所述感知信息进行分层融合，生成目标融合信息之后，还执行以下操作：

基于所述目标融合信息，调整所述分层融合拓扑结构。

在一个实施例中，所述处理器1001在执行所述采用所述分层融合拓扑结构对各所述感知信息进行分层融合，生成目标融合信息，具体执行以下操作：

基于所述分层融合拓扑结构，多个所述感知信息划分为多个分组，所述分组包括至少两个，将各所述分组中所包含的感知信息进行融合，得到至少两个第一融合信息；

将所述至少两个第一融合信息分别作为所述感知信息，并执行所述将多个所述感知信息划分为多个分组，将各所述分组中所包含的感知信息进行融合的步骤；

当所述第一融合信息只包括一个时，得到所述目标融合信息。

在一个实施例中，所述处理器1001在执行所述将各所述分组中所包含的感知信息进行融合，得到至少两个第一融合信息时，具体执行以下操作：

获取各所述分组中各所述感知信息的时间戳，并基于所述时间戳对各所述感知信息进行同步，得到各同步感知信息；

基于各所述同步感知信息，按照优先级的高低顺序对所述感知目标进行排序；

按照所述优先级的高低顺序依次计算每两个感知目标之间的融合置信度；

当所述融合置信度大于融合置信度阈值时，则将所述两个感知目标对应的同步感知信息进行融合，得到融合感知信息，并将所述融合感知信息作为所述两个感知目标中高优先级的感知目标的同步感知信息，删除所述两个感知目标中低优先级的感知目标的同步感知信息；

当所述融合置信度小于融合置信度阈值时，则保留所述两个感知目标的同步感知信息；

将各所述分组中所保留的同步感知信息作为所述第一融合信息。

在一个实施例中，所述处理器1001在执行所述基于所述时间戳对各所述感知信息进行同步，得到各同步感知信息时，具体执行以下操作：

计算所述分组中目标分组对应的同步时间戳；

计算所述同步时间戳与所述目标分组中各所述时间戳的差值，基于所述差值对各所述感知信息进行运动补偿，得到所述目标分组的同步感知信息；

获取所述分组中的下一个分组，将所述下一个分组作为所述目标分组，并执行所述计算所述分组中目标分组对应的同步时间戳的步骤；

当不存在下一个分组时，生成各分组对应的同步感知信息。

在一个实施例中，所述处理器1001在执行所述计算所述分组中目标分组对应的同步时间戳时，具体执行以下操作：

确定所述分组中最先获取的感知信息的第一目标时间戳；

计算各所述时间戳与所述目标时间戳的第一差值，确定各所述第一差值中小于时间差阈值的第二差值；

将各所述第二差值对应的第一时间戳保存至第一集合；

计算各所述第一时间戳的第一平均值，将所述第一平均值作为第二目标时间戳；

计算各所述时间戳中除各所述第一时间戳之外的第二时间戳与所述第二目标时间戳的第三差值，确定各所述第三差值中小于所述时间差阈值的各第四差值；

将各所述第四差值对应的各第三时间戳保存至第二集合；

计算所述第一集合中各所述第一时间戳以及所述第二集合中各所述第三时间戳的时间戳平均值，将所述时间戳平均值作为所述同步时间戳。

在一个实施例中，所述处理器1001在执行所述基于各所述同步感知信息，并按照优先级的高低顺序对所述感知目标进行排序时，具体执行以下操作：

获取所述同步感知信息中的各子感知信息；

按照预设的各子感知信息对应的权重，将各所述子感知信息分别与所述权重进行加权求和，得到所述同步感知信息的优先级；

按照所述优先级的高低顺序对所述感知目标进行排序。

在一个实施例中，所述处理器1001在执行所述按照所述优先级的高低顺序依次计算每两个感知目标之间的融合置信度时，具体执行以下操作：

按照所述优先级的高低顺序依次获取每两个感知目标的感知信息；

基于所述两个感知目标的感知信息，计算所述两个感知目标之间的重叠度以及相似度；

按照所述重叠度以及所述相似度加权计算，得到两个感知目标之间的融合置信度。

在一个实施例中，所述处理器1001在执行所述感知信息包括尺寸信息、位置信息以及运动信息，所述将所述两个感知目标对应的同步感知信息进行融合，得到融合感知信息时，具体执行以下操作：

将所述高优先级的感知目标的尺寸信息作为所述融合感知信息中的尺寸信息；

若所述两个感知目标的持续感知时间大于时间阈值，则将所述两个感知目标的位置信息按照所述持续感知时间的权重进行加权计算，得到所述融合感知信息中的位置信息，将所述两个感知目标的运动信息按照所述持续感知时间的权重进行加权计算，得到所述融合感知信息中的运动信息；

若所述两个感知目标的持续感知时间小于时间阈值，则计算所述两个感知目标的位置信息的平均值以及运动信息的平均值，将所述位置信息的平均值作为所述融合感知信息中的位置信息，将所述运动信息的平均值作为所述融合感知信息中的运动信息。

在一个实施例中，所述处理器1001在执行所述采用所述分层融合拓扑结构对各所述感知信息进行分层融合，生成目标融合信息之后，还执行以下操作：

对所述目标融合信息中的感知目标进行关联重识别。

在一个实施例中，所述处理器1001在执行所述对所述目标融合信息中的感知目标进行关联重识别时，具体执行以下操作：

相邻的所述传感器的感知区域之间有第一重叠区域，获取所述目标融合信息中位于所述第一重叠区域的感知目标；

计算位于所述第一重叠区域的感知目标的关联度；

若两个感知目标的关联度大于关联阈值，则确定所述两个感知目标为相关联的感知目标。

在一个实施例中，所述处理器1001在执行所述确定所述第一重叠区域中相关联的感知目标之后，还执行以下操作：

获取所述相关联的感知目标的感知信息，读取所述感知信息中所述感知目标的标识号；

按照所述感知信息的感知时间的先后顺序，在所述标识号中确定最先感知的所述感知信息的目标标识号；

将所述目标标识号作为所述相关联的感知目标的标识号。

在一个实施例中，所述处理器1001在执行多传感器的感知信息融合应用程序时，还执行以下操作：

对多个所述传感器的感知区域进行网格划分，所述目标融合信息覆盖所述感知区域；

读取所述目标融合信息中每一网格对应的融合信息；

基于所述融合信息更新网格划分，并确定所更新的网格中的第二重叠区域；

比对所述第一重叠区域与所述第二重叠区域，检测多个所述传感器中各传感器的偏移状态。

在本申请实施例中，基于至少一个传感器的感知范围以及位置关系，建立分层融合拓扑结构，分别获取各所述传感器感知到的感知信息，采用所述分层融合拓扑结构对各所述感知信息进行分层融合，生成目标融合信息。其中，相比于对所有感知信息进行一次融合的方法，采用分层融合拓扑结构对感知信息进行融合，可以减少在融合通信过程中感知信息的数据量，从而降低了融合通信中的带宽需求。此外，基于传感器的感知范围以及位置关系，建立分层融合拓扑结构，可以缩短通信距离，从而提高通信效率，进一步的降低融合通信中的带宽需求。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。

以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。