依赖桥梁塔柱的桥面交通流全视场感知系统及方法

技术领域

本发明涉及桥梁监控领域，尤其是涉及一种依赖桥梁塔柱的桥面交通流全视场感知系统及方法。

背景技术

缆索承重桥梁是通过索体结构，支承桥梁的主梁，实现大跨径的桥梁结构体系，主要包括斜拉桥、悬索桥和斜拉-悬索协作体系桥梁。斜拉桥是将主梁用许多拉索直接拉在桥塔上的一种桥梁，是由承压的塔、受拉的索和承弯的梁体组合起来的一种结构体系。其可看作是拉索代替支墩的多跨弹性支承连续梁。其可使梁体内弯矩减小，降低建筑高度，减轻了结构重量，节省了材料。斜拉桥主要由索塔、主梁、斜拉索组成。悬索桥指的是以通过索塔悬挂并锚固于两岸(或桥两端)的缆索(或钢链)作为上部结构主要承重构件的桥梁。其缆索几何形状由力的平衡条件决定，一般接近抛物线。从缆索垂下许多吊杆，把桥面吊住，在桥面和吊杆之间常设置加劲梁，同缆索形成组合体系，以减小荷载所引起的挠度变形。斜拉-悬索协作体系桥由斜拉桥和悬索桥结合衍生而成，它吸收了两者的优点，具有大的跨越能力。

桥面交通流信息获取以及交通流特征对于交通规划、交通管理、桥梁管理养护等至关重要，对于斜拉桥而言，由于一般跨径较大，传统的交通监控视野小、高度低，不仅难以满足全桥面的监控覆盖，而且视野内的大型车辆对小型车辆存在遮挡，影响交通流观测和识别。对于悬索桥而言，通常跨径数百米至千米以上，因此特大视域下的全桥交通流感知获取非常困难，通过传统交通监控的方式其视野小、高度低、缺少处理能力，一方面无法满足全桥面的监控覆盖。

因此如何实现缆索承重桥梁桥面交通流全视场监测是目前本领域亟需解决的技术问题。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种依赖桥梁塔柱的桥面交通流全视场感知系统及方法，其中通过将视觉成像阵列设于桥体的塔柱和/或两个塔柱之间的连接构件上，以此构成桥体两端的视觉场，通过视觉信息获取组件和视觉信息处理组件的耦合实现缆索承重桥梁桥面交通流全视场感知。

本技术方案在构思时还考虑了以下因素：高度低的监控摄像将存在大型车对小型车的遮挡问题，从源头上阻碍了交通流特征提取精度，此外，监控摄像仅进行视频数据传输，未配置高性能数据处理模块，不能对车流进行实时的分析和结构化特征提取。

本发明的目的可以通过以下技术方案来实现：

本发明的第一个目的是保护一种依赖桥梁塔柱的桥面交通流全视场感知系统，包括视觉信息获取组件和视觉信息处理组件；

所述视觉信息获取组件包括相互电连接的视觉成像阵列和同步采集器，所述视觉成像阵列设于桥体的塔柱和/或两个塔柱之间的连接构件上，以此构成桥体两端的视觉场；

在垂向高度上，所述视觉成像阵列与桥面之间的高度差大于7m；

所述视觉信息处理组件包括相互连接的数据传输模块和数据处理模块；

所述数据传输模块与视觉成像阵列无线或有线通信连接，以此按照对应的帧率，通过单帧截取的方式从视觉成像阵列生成的视频流中获取图像并传输至所述数据处理模块，通过所述数据处理模块获得桥体的桥面的动态全景图像，并进一步获得所述桥体的动态桥面交通流特征。

进一步地，所述视觉成像阵列由多个成像单元构成，每个所述成像单元均与所述同步采集器电连接，以此各个实现每帧视频图像信息的时间同步。

作为发明的第一种实施方式，所述塔柱对应的桥塔为框架式桥塔、门式桥塔、H形桥塔中的一种；

所述视觉成像阵列设于塔柱和/或两个塔柱之间的横梁上。

作为发明的第二种实施方式，所述塔柱对应的桥塔为倒Y形桥塔、A形桥塔、独柱桥塔中的一种；

所述视觉成像阵列设于塔柱上，并使得成像单元在垂向上构成线性阵列排布。

作为发明的第三种实施方式，所述塔柱对应的桥塔为桁架式桥塔，所述视觉成像阵列设于塔柱之间的一个或多个横联的交叉点位处，并使得成像单元在垂向上构成线性阵列排布；

作为发明的第四种实施方式，所述塔柱对应的桥塔为宝石形桥塔，所述视觉成像阵列设于塔柱之间的一个或多个横联的中部，并使得成像单元在垂向上构成线性阵列排布。

进一步地，每个所述成像单元以特定的空间角度朝向桥面，并分别获取桥面特定区域上的实时视频流信息；

每个所述成像单元通过姿态调节单元固定于塔柱和/或两个塔柱之间的连接构件上，所述姿态调节单元为具有一个或多个调节关节的机械臂。

进一步地，所述桥面交通流全视场感知系统还包括存储组件，所述存储组件与所述视觉信息处理组件无线或有线通信连接。

进一步地，所述存储组件包括分别与数据传输模块、数据处理模块无线或有线通信连接的交通流特征存储模块、视频流信息存储模块；

所述存储组件还包括分别与交通流特征存储模块、视频流信息存储模块无线或有线通信连接云存储器；

桥面交通流全视场感知系统还包括相互连接的人机交互界面和视觉设备控制模块；

所述视觉设备控制模块分别与各个姿态调节单元无线或有线通信连接，以此实现各个成像单元的姿态调整与成像参数调整。

本发明的第二个目的是保护一种依赖桥梁塔柱的桥面交通流全视场感知系统，其特征在于，包括以下步骤：

S1：通过视觉设备控制模块分别对各个成像单元进行姿态调整与成像参数调整，通过设于桥体的塔柱和/或两个塔柱之间的连接构件上的视觉成像阵列，分别获取桥体的桥面特定区域上的实时视频流信息，并通过同步采集器进行时间同步；

S2：通过数据传输模块将视觉成像阵列获取的视频流信息传输至数据处理模块，通过所述数据处理模块获得桥体的桥面的动态全景图像，并进一步获得所述桥体的动态桥面交通流特征；

S3：通过存储组件对所述桥体的动态桥面交通流特征进行存储，并通过人机交互界面进行显示。

进一步地，S1中通过人机交互界面将调控指令集传输至设备控制模块，设备控制模块向各个成像单元对应的姿态调节单元发出姿态调整动作指令，并向各个成像单元发出参数调节指令，以此实现各个成像单元进行姿态调整与成像参数调整。

进一步地，S2中数据传输模块按照对应的帧率，通过单帧截取的方式从视觉成像阵列生成的视频流中获取图像并传输至所述数据处理模块，同时数据传输模块将视频流存储至存储组件。

进一步地，S2中数据处理模块对于每个成像单元观测区域，选取4个以上的桥面控制点，通过透视投影变换，对桥面观测区域进行校正，通过控制点间的实际距离与图像中对应的像素距离，换算图像中像素的实际尺寸，并对应到桥面物理坐标系中，将所有同时刻图像均进行处理，形成覆盖全桥面范围的全景图像。

进一步地，对于全景图像，数据处理模块基于深度学习方法检测桥面车辆，通过卡尔曼滤波方法进行车辆多目标跟踪，获取交通流中的车辆类型、尺寸和速度，形成标准化数据，最后对标准化数据进行统计分析，得到桥面交通流特征。

与现有技术相比，本发明具有以下技术优势：

1)本技术方案通过将视觉成像阵列设于桥体的塔柱和/或两个塔柱之间的连接构件上，以此构成桥体两端的视觉场，通过视觉信息获取组件和视觉信息处理组件的耦合实现缆索承重桥梁桥面交通流全视场感知，为缆索承重桥梁桥面全桥面交通流监测提供了技术支持。

2)本技术方案中的每个成像单元以特定的空间角度朝向梁式桥面，并分别获取梁式桥的桥面特定区域上的实时视频流信息，并可以通过人机交互界面及视觉设备控制模块实现对每个成像单元的姿态和视觉信息获取参数进行适应性的调整，以此实现最佳的缆索承重桥梁桥面全桥面的交通流监测方式。

附图说明

图1为本技术方案中依赖桥梁塔柱的桥面交通流全视场感知系统的结构示意图；

图2为本技术方案中基于斜拉桥框架式桥塔的视觉场的模型示意图；

图3为本技术方案中基于悬索桥框架式桥塔的视觉场的模型示意图；

图4为本技术方案中视频流数据处理流程示意图；

图5为本技术方案中基于A形桥塔的视觉场的模型示意图；

图6为本技术方案中基于独柱形桥塔的视觉场的模型示意图；

图7为本技术方案中基于桁架式的视觉场的模型示意图；

图8为本技术方案中基于宝石形桥塔的视觉场的模型示意图；

图中：1、视觉信息获取组件，2、视觉信息处理组件，3、桥体，4、存储组件，5、视觉设备控制模块，6、人机交互界面，11、视觉成像阵列，12、同步采集器，21、数据传输模块，22、数据处理模块，31、塔柱，32、横梁，41、交通流特征存储模块，42、视频流信息存储模块，43、云存储器，5、视觉设备控制模块，6、人机交互界面。

具体实施方式

下面结合附图和具体实施例对本发明进行详细说明。

实施例1

本实施例中的依赖桥梁塔柱的桥面交通流全视场感知系统，包括视觉信息获取组件1和视觉信息处理组件2，在垂向高度上，视觉成像阵列11与桥面之间的高度差大于7m。本实施例中塔柱31对应的桥塔为框架式桥塔(图2与图3)、门式桥塔、H形桥塔中的一种以及类似结构。

视觉信息获取组件1包括相互电连接的视觉成像阵列11和同步采集器12，视觉成像阵列11设于桥体3的塔柱31和/或两个塔柱31之间的连接构件上，以此构成桥体3两端的视觉场。

视觉信息处理组件2包括相互连接的数据传输模块21和数据处理模块22，参见图1。数据传输模块21与视觉成像阵列11无线或有线通信连接，以此按照对应的帧率，通过单帧截取的方式从视觉成像阵列11生成的视频流中获取图像并传输至数据处理模块22，通过数据处理模块22获得桥体3的桥面的动态全景图像，并进一步获得桥体3的动态桥面交通流特征。

视觉成像阵列11由多个成像单元构成，每个成像单元均与同步采集器12电连接，以此各个实现每帧视频图像信息的时间同步。

视觉成像阵列11设于塔柱31和/或两个塔柱31之间的横梁上32上。每个成像单元以特定的空间角度朝向桥面，并分别获取桥面特定区域上的实时视频流信息。每个成像单元通过姿态调节单元固定于塔柱31和/或两个塔柱31之间的连接构件上，姿态调节单元为具有一个或多个调节关节的机械臂。机械臂的每节上均可以设置陀螺仪等姿态检测传感器，以此可以向人机交互界面6反馈机械臂处于的姿态，实现每个成像单元实时姿态的动态表征，方便于对每个成像单元的姿态进行适应性的调整。

桥面交通流全视场感知系统还包括存储组件4，存储组件4与视觉信息处理组件2无线或有线通信连接。存储组件4包括分别与数据传输模块21、数据处理模块22无线或有线通信连接的交通流特征存储模块41、视频流信息存储模块42。存储组件4还包括分别与交通流特征存储模块41、视频流信息存储模块42无线或有线通信连接云存储器43。其中交通流特征存储模块41、视频流信息数据库42、有线通信连接云存储器43均为匹配有独立缓存和独立控制器的大容量储存器。

桥面交通流全视场感知系统还包括相互连接的人机交互界面6和视觉设备控制模块5。具体实施时人机交互界面6为多触控点的显示屏幕，其作为I/O设备与视觉设备控制模块5连接。

视觉设备控制模块5分别与各个姿态调节单元无线或有线通信连接，以此实现各个成像单元的姿态调整与成像参数调整。

本实施例中依赖桥梁塔柱的桥面交通流全视场感知系统，包括以下步骤：

S1：通过视觉设备控制模块5分别对各个成像单元进行姿态调整与成像参数调整，通过设于桥体3的塔柱31和/或两个塔柱31之间的连接构件上的视觉成像阵列11，分别获取桥体3的桥面特定区域上的实时视频流信息，并通过同步采集器进行时间同步，参见图3。其中S1中通过人机交互界面6将调控指令集传输至设备控制模块5，设备控制模块5向各个成像单元对应的姿态调节单元发出姿态调整动作指令，并向各个成像单元发出参数调节指令，以此实现各个成像单元进行姿态调整与成像参数调整。

S2：通过数据传输模块21将视觉成像阵列11获取的视频流信息传输至数据处理模块22，通过所述数据处理模块22获得桥体3的桥面的动态全景图像，并进一步获得所述桥体3的动态桥面交通流特征。

S2中数据传输模块21按照对应的帧率，通过单帧截取的方式从视觉成像阵列11生成的视频流中获取图像并传输至所述数据处理模块22，同时数据传输模块21将视频流存储至存储组件4。

S2中数据处理模块22对于每个成像单元观测区域，选取4个以上的桥面控制点，通过透视投影变换，对桥面观测区域进行校正，通过控制点间的实际距离与图像中对应的像素距离，换算图像中像素的实际尺寸，并对应到桥面物理坐标系中，将所有同时刻图像均进行处理，形成覆盖全桥面范围的全景图像。对于全景图像，数据处理模块22基于深度学习方法检测桥面车辆，通过卡尔曼滤波方法进行车辆多目标跟踪，获取交通流中的车辆类型、尺寸和速度，形成标准化数据，最后对标准化数据进行统计分析，得到桥面交通流特征。

本实施例中数据处理模块22为ARM架构的CPU或x86架构的CPU，并匹配有与CPU所在总线连接主存储器和辅助存储器，在辅助存储器中有预设的图片信息处理程序，包括以下处理过程。

采用预先构建和训练好的车辆检测模型，实时识别视觉系统获取的第n帧桥面车辆全景图中车辆的位置，得到车辆的检测框；

通过预设的卡尔曼滤波模型，实时根据第n帧桥面车辆全景图之前的图像帧，预测第n帧桥面车辆全景图中对应车辆的预测框，并将第n帧桥面车辆全景图中的检测框与对应车辆的预测框匹配，获取或更新车辆轨迹信息；

本实施例中采用的卡尔曼滤波模型包括改进的状态预测模块和跟踪器校验模块，卡尔曼滤波模型对检测到的每个车辆均设置有一一对应的跟踪器，所有跟踪器构成跟踪器组群，改进卡尔曼滤波模型初始化后将预设的丢失帧数置零。

本实施例中采用的卡尔曼滤波模型的数据处理过程包括以下步骤：

A1：通过改进的状态预测模块，根据第n帧桥面车辆全景图之前的图像帧，预测第n帧桥面车辆全景图中对应车辆的预测框；

A2：计算第n帧桥面车辆全景图中检测框与对应车辆的预测框的重叠度，若该重叠度大于预设的重叠阈值，则根据该预测框与检测框，生成初步匹配的检测-跟踪对，并执行步骤A3，否则将该预测框与检测框标记为未匹配检测，并执行步骤A5；

A3：采用跟踪器校验模块校验初步匹配的检测-跟踪对，若满足预设的校验条件，则将丢失帧数置零，并更新该车辆的跟踪器，若否，则将该预测框与检测框标记为未匹配跟踪器，并执行步骤A6：

A5：判断检测框是否位于桥面车辆全景图的两端，若是，则对该车辆生成新的跟踪器，并添加进跟踪器组群，若否，则删除该预测框与检测框构成的检测结果；

A6：判断预测框是否超出桥面车辆全景图的边界，若是，则根据该跟踪器，生成该车辆的时空轨迹数据，并删除该跟踪器；否则判断丢失帧数是否大于预设的丢失阈值，若是，则根据该跟踪器，生成该车辆的时空轨迹数据，并删除该跟踪器；否则将该车辆对应的丢失帧数加1，并继续进行数据处理。

作为一种优选的实施方式，改进的状态预测模块的数据处理过程包括以下步骤：

邻速平均步骤：通过某一车辆最近的预设的第一次数的检测位置(若实际检测小于21次，则取所有实际检测位置)，对相邻检测位置计算位移差和帧数差，计算得到多个速度，进行算术平均，得到平均速度；

长度拉伸步骤：根据车辆距离最近桥塔的距离，乘拉伸系数，得到长度拉伸后的预测长度；

预测框获取步骤：根据平均速度以及该车辆当前位置的形心，计算该车辆预测框的形心，将预测长度作为该车辆预测框的长度，将该车辆的宽度作为该车辆预测框的宽度。

进一步地，作为一种优选的实施方式，改进的状态预测模块的数据处理过程还包括对获取的预测框进行微调，具体包括以下步骤：

碰撞分离步骤：若相邻帧数的两预测框在车长方向有重叠，重叠长度为E

扩大搜索：若丢失帧数处于预设的丢失搜索范围，则分别扩大该预测框的预测长度和宽度。

作为一种优选的实施方式，跟踪器校验模块的数据处理过程包括以下步骤：

形状校验步骤：记检测框的长和宽分别为L

0.75×L

0.75×W

进一步地，作为一种优选的实施方式，跟踪器校验模块的数据处理过程还包括：

速度校验步骤：跟踪器的邻速为V

-5<(X

作为一种优选的实施方式，重叠阈值为60％。

作为一种优选的实施方式，视觉系统包括多个摄像机，桥梁中两个桥塔横梁上方均设有多个摄像机，形成多视场摄影系统，每个桥塔横梁上方的多个摄像机的摄像机观测区域分别视为由近到远的近塔区域、过渡区域和跨中视域。

相邻的摄像机观测区域具有影像重叠，两个桥塔横梁对应的跨中区域具有影像重叠。

S3：通过存储组件4对梁式桥的动态桥面交通流特征进行存储，并通过人机交互界面6进行显示，用户可以查阅任意时空位置的动态桥面交通流特征，并可以通过人机交互界面6实现对每个成像单元的姿态和视觉信息获取参数进行适应性的调整。

实施例2

区别于实施例1，塔柱31对应的桥塔为倒Y形桥塔、A形桥塔(图5)、独柱桥塔(图6)中的一种，视觉成像阵列11设于塔柱31上，并使得成像单元在垂向上构成线性阵列排布，参见图5至图6。

实施例3

区别于实施例1，塔柱31对应的桥塔为桁架式桥塔，视觉成像阵列11设于塔柱31之间的一个或多个横联33的交叉点位处，并使得成像单元在垂向上构成线性阵列排布，参见图7。

实施例4

区别于实施例1，塔柱31对应的桥塔为宝石形桥塔，视觉成像阵列11设于塔柱31之间的一个或多个横联33的中部，并使得成像单元在垂向上构成线性阵列排布，参见图8。

上述的对实施例的描述是为便于该技术领域的普通技术人员能理解和使用发明。熟悉本领域技术的人员显然可以容易地对这些实施例做出各种修改，并把在此说明的一般原理应用到其他实施例中而不必经过创造性的劳动。因此，本发明不限于上述实施例，本领域技术人员根据本发明的揭示，不脱离本发明范畴所做出的改进和修改都应该在本发明的保护范围之内。