一种基于数据融合的综合交通监测系统及方法

技术领域

本发明涉及交通技术领域，尤其涉及一种基于数据融合的综合交通监测系 统及方法。

背景技术

交通运输信息化高速发展，但是各业务领域全局性、系统性、协同性不足， 并且存在一些资源共享难、互联互通难、业务协同难的问题，尚未形成一个能 支撑全行业共享应用的基础信息资源体系，行业信息资源开放共享程度不够， 跨方式、跨部门、跨地区信息开放共享不足，数据不能够有效转化运用并赋能。 因此需要推动多方数据融合协同，实现向多方共建共享共用交通数据的转变， 打造科学化、精细化、智能化的治理和服务体系。

综上可知，现有技术在实际使用上显然存在不便与缺陷，所以有必要加以 改进。

发明内容

针对上述的缺陷，本发明的目的在于提供一种基于数据融合的综合交通监 测系统及方法，其能够形成一个能支撑全行业共享应用的基础信息资源体系，为行 业提供全路网、多模式、一体化、全方位监测与服务，提高政企、行业、部省间协同 力度，并将数据标准统一，实现数据有效转化运用并赋能。

为了实现上述目的，本发明提供一种基于数据融合的综合交通监测系统， 包括数据接入层、数据融合层和业务应用层。

所述数据接入层，包括综合数据库，对不同类型的数据分别采用基于数据 共享交换系统的方式进行采集后，将采集到的数据通过所述数据接入层的数据 接口接入交通运行的实时监测数据并传输至所述综合数据库中，实现数据资源 的接入和汇聚。

所述数据融合层，包括数据共享交换平台，数据共享交换平台通过建立数 据标准规范和信息资源共享目录而搭建；数据质量在线管控技术和大数据分析 技术，将海量数据的融合和共享；元数据管理和数据维护管理保障数据的准确 性和运行的平稳度。

所述业务应用层，包括指数监测体系、指标监测体系和预警管理，构建面 向企业、行业主管部门和交通管理部门的综合交通监测应用体系。

根据本发明的一种基于数据融合的综合交通监测系统，所述基于数据共享 交换系统的数据采集方式包括实时数据交换、数据导入、人工录入和直接使用4 种方式。

根据本发明的一种基于数据融合的综合交通监测系统，所述综合数据库包 括基础库、业务库、指标库、主题库和共享库。

根据本发明的一种基于数据融合的综合交通监测系统，所述数据共享交换 平台包括信息资源共享目录管理平台、数据交换共享平台、数据管控平台和大 数据分析平台。

根据本发明的一种基于数据融合的综合交通监测系统，所述元数据包括业 务领域中的概念、关系和规则的数据，用于支持所述大数据平台系统的技术活 动、管理活动和业务活动，所述元数据管理实现元数据获取、元数据存储、元 数据功能、元数据封装、元数据应用和辅助所述大数据平台系统完善安全控制， 形成元数据库，共享交换数据库和数据仓库。

根据本发明的一种基于数据融合的综合交通监测系统，所述指标监测体系 是行业内的监测指标体系，是量化行业某项目标特征的基础，所述指标监测体 系包括日常监测和专题监测两大检测模块。

一种基于综合交通监测系统的一种基于数据融合的综合交通监测方法，包 括如下步骤：

a、构建统一数据标准规范和数据接口；

b、构建综合交通数据信息资源管理体系；

c、构建综合交通数据共享交换体系；

d、构建数据质量管控体系；

e、构建大数据分析体系；

f、构建元数据管理体系；

g、构建数据维护管理体系；

h、构建数据指标计算引擎，将指标的计算逻辑在空间和时间维度上进行切 分，形成空间维度面向网格的指标计算原子，时间维度上面向指标最小时刻的 计算原子；

i、构建由应用组件集、基础支撑服务构成的监测业务快速开发部署体系；

j、围绕综合交通监测需求与预警业务，建立综合交通监测与预警统一工作 环境；

k、基于监测异常状况，面向行业监管部门与运营企业提供协作管理机制与 功能；

l、针对不同时间节点关注的不同侧重点，提供指标间的影响关联分析；

m、针对综合交通运行状况提供监测与预警。

根据本发明的一种基于数据融合的综合交通系统的监测方法，所述数据维 护管理体系的具体过程如下：

a、构建数据服务器、网站运行的监控体系；

b、建立一套访问控制机制，有效控制非法用户的进入，以保证应用系统的 安全；

c、建立对用户、用户权限的管理体系，控制用户的功能权限和对系统数据 的操作权限；

d、搭建对数据适配、数据传输、交换流程等过程的日志记录和管理体系；

e、建立对交换节点信息、交换节点状态信息、交换流程配置信息、交换流 程状态信息和日志信息等数据的备份和恢复策略。

根据本发明的一种基于数据融合的综合交通系统的监测方法，所述元数据 管理体系构建详细过程如下：

a、对数据库中数据进行抽取；

b、对抽取出的数据进行清洗；

c、将清洗后的数据进行存储；

d、将清洗后的数据同步到服务应用中；

e、通过适配器满足数据的自动化采集需求。

根据本发明的一种基于数据融合的综合交通系统的监测方法，所述大数据 分析体系采用Hadoop生态系统，包括hive仓库、HBase数据库和Hadoop MapReduce。

本发明的目的在于提供一种基于数据融合的综合交通监测系统及方法，通 过采用数据质量管控、数据关联度、融合处理等技术，对数据接入、预处理、 融合处理等各环节进行加工处理，保障数据准确性的前提下，具备快速计算、 存取、可视化呈现能力，打造科学化、精细化、智能化的治理和服务体系；监 测范围覆盖城市路网、高速公路、普通公路三大路网体系，覆盖地面公交、轨 道交通、出租汽车、慢行交通四大市内交通方式，公路、铁路、民航、水运四 大城际交通方式，覆盖旅游、枢纽、危险品运输、静态交通、节能减排、超限治理、舆情18个行业领域，形成一个能支撑全行业共享应用的基础信息资源体 系，为行业提供全路网、多模式、一体化、全方位监测与服务，提高政企、行 业、部省间协同力度，并将数据标准统一，实现数据有效转化运用并赋能。综 上，本发明的有益效果为：具备快速计算、存取、可视化呈现能力，打造科学 化、精细化、智能化的治理和服务体系；能够形成一个能支撑全行业共享应用 的基础信息资源体系，为行业提供全路网、多模式、一体化、全方位监测与服 务，提高政企、行业、部省间协同力度，并将数据标准统一，实现数据有效转化 运用并赋能。

附图说明

图1是本发明系统结构示意图；

图2是本发明大数据分析技术路线示意图；

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对 本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解 释本发明，并不用于限定本发明。

需要说明的是，在本发明的描述中，术语“上”、“下”、“左”、“右”、 “内”、“外”等指示的方向或位置关系的术语是基于附图所示的方向或位置 关系，这仅仅是为了便于描述，而不是指示或暗示所述装置或元件必须具有特 定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，还需要说明的是，在本发明的描述中，除非另有明确的规定和限定， 术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接， 也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可 以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。 对于本领域技术人员而言，可根据具体情况理解上述术语在本发明中的具体含 义。

参见图1和图2，本发明提供一种基于数据融合的综合交通监测系统，包括：

数据接入层：根据现有各类数据资源采集情况，结合各类数据源的特点及 数据更新及交换要求，综合考虑网络条件，确定对不同类型的数据分别采用基 于数据共享交换系统的实时数据交换、数据导入、人工录入、直接使用等4种 方式进行采集，然后将采集到的数据通过数据接入层的数据接口接入交通运行 的实时监测数据，并且数据接入层中搭建有基础库、业务库、指标库、主题库 和共享库五大综合数据库，数据传输将接入的数据传输至以上五大综合数据库 中的目标数据库或目标系统中，实现数据资源的接入和汇聚。

数据融合层：包括数据共享交换平台，数据共享交换平台通过建立数据标 准规范和信息资源共享目录而搭建，采用规范的方法和技术，建立信息分类规 则，对共享信息资源和服务建立分类目录和索引，实现提取信息资源相关特征 信息，形成公共资源核心元数据。

数据共享交换平台包括：

信息资源共享目录管理平台，实现对共享信息资源的目录编制、注册、管 理、发布等功能，为数据共享交换、数据资源查询追溯提供支撑。

数据交换共享平台，负责定义数据交换、传输和访问控制策略，提供高效 的数据传输和管理控制机制，包括实现路网中心内各业务系统、部署单位相关 业务系统等单位相关系统之间数据和文件的集成、共享和交换。

数据管控平台，包含数据标准管理和数据质量管理，通过源系统核心数据 稽核、源系统维表稽核、数据实体检查、处理过程检查和关键指标检查，实现 从源系统接口层到经营分析系统应用层的全流程数据质量监控，便于数据质量 问题提前发现和及时处理。

大数据分析平台，通过分布式处理系统来实现对海量交通数据的处理和分 析，研判未来一段时期的城市综合交通运行趋势，以更加科学、高效的开展交 通运行分析工作，为城市交通行业科学决策提供支撑。

数据融合层还能够实现海量数据的融合和共享，通过数据质量在线管控技 术和大数据分析技术，具体为对各单位提供的共享信息资源和信息交换服务进 行分析，理清共享信息资源的结构和相互关系，提取交换服务资源的相关特征 信息，形成交换服务核心元数据；对信息资源核心元数据中的分类信息进行赋 值，对信息资源进行唯一标识符赋码，实现海量数据的融合和共享。

元数据还包括对业务领域中的概念、关系和规则的数据进行抽取，用于支 持大数据平台系统的技术活动、管理活动和业务活动。元数据管理元数据管理 实现元数据获取、元数据存储、元数据功能、元数据封装、元数据应用和辅助 大数据平台系统完善安全控制，形成元数据库，共享交换数据库和数据仓库。

元数据管理体系构建详细过程如下：

a、对数据库中数据进行抽取；

b、对抽取出的数据进行清洗；

c、将清洗后的数据进行存储；

d、将清洗后的数据同步到服务应用中；

e、通过适配器满足数据的自动化采集需求。

数据融合层通过元数据管理和数据维护管理保障数据的准确性和运行的平 稳度；通过元数据抽取引擎、血缘分析算法、数据质量校验算法等方面的技术， 进行有效的数据管控，管理在数据质量监控中产生的告警信息，并集成元数据 信息，实现拓扑呈现，提供系统数据处理状态和质量状况的全局视图；基于集 群的物理设施平台，通过分布式处理系统来实现对海量交通数据的处理和分析； 将业务领域中的概念、关系和规则的数据抽取为元数据，实现元数据获取、元 数据存储、元数据功能、元数据封装、元数据应用和辅助大数据平台系统完善 安全控制；针对所有监测范围的全部监测数据的采集分析和主动告警，从高可 用方面管控大数据服务环境。

数据维护主要通过监控代理定时收集各个机器组件的运行状态，比如CPU 的利用率，服务的运行，端口的连通，带宽流量占用等，监控服务器将监控代 理收集到的信息进行存储，并通过图形展示的方式形象的描述机器的运行状态。

数据维护管理体系的具体过程如下：

a、构建数据服务器、网站运行的监控体系；

b、建立一套访问控制机制，有效控制非法用户的进入，以保证应用系统的 安全；

c、建立对用户、用户权限的管理体系，控制用户的功能权限和对系统数据 的操作权限；

d、搭建对数据适配、数据传输、交换流程等过程的日志记录和管理体系；

e、建立对交换节点信息、交换节点状态信息、交换流程配置信息、交换流 程状态信息和日志信息等数据的备份和恢复策略。

业务应用层：用于构建面向企业、行业主管部门和交通管理部门的综合交 通监测应用体系。具体的，业务应用层分为指数监测体系、指标监测体系和预 警管理。

指数监测体系，由各类指标、权重综合计算获得，可以是跨行业的监测体 系。

指标监测体系是行业内的监测指标体系，是量化行业某项目标特征的基础， 指标监测体系包括两大检测模块，一个是包括城市路网、高速公路、普通公路、 地面公交等十余个领域的日常监测功能模块，日常监测通过精细研判行业信息 化数据，实现行业运行趋势性分析，各领域从路网、区域、通道、节点四个层 级阶梯型对综合交通进行监测，为提升交通管理部门精细化水平提供有力支撑； 另一个是重大活动、节假日、拥堵点段、交通吸引点、极端天气等专题监测功 能模块，专题监测通过构建指数、指标两级监测体系，分级量化行业运行态势， 指数体系直观量化跨行业复杂现象，全面监测城市交通运行整体状态，支撑综 合交通协同运行。

预警管理包括以PC版为核心，兼有展示层，展示层是将后台接入处理的数 据以地图、折线图、表格等多种形式呈现出来，以大屏、网页、APP等多种方 式展现至政府、企业、公众面前，在事故处置、重要活动和关键时期交通运输 保障、日常工作调度时，监测人员通过PC版实现重要业务操作，领导、联席人 员通过大屏版同时直观掌握信息并进行协同指挥调度，一线处置人员基于手机 版接收调度指令，并可实时上报反馈现场情况。

在基于数据融合的综合交通监测系统的基础上，还提供了一种基于数据融 合的综合交通监测方法：

1、构建统一数据标准规范和数据接口：对接入数据的接口进行统一管理， 可以通过多种方式接入，包括HTTP(超文本传输协议)、Kafka(开源流处理 平台)、WS(WebService)等，支持可视化接口配置。提供各种接口组件，可 以通过配置完成数据接入功能。

2、构建综合交通数据信息资源管理体系：采用面向服务的技术架构，对共 享信息资源特征进行描述，形成统一规范的目录内容，通过对目录内容的有效 分类组织和管理。

3、构建综合交通数据共享交换体系：使用多种交换组件和交换通道实现多 种形式的数据的共享交换，包括共享交换的审核、基于交换组件的共享交换、 基于数据下载的共享交换、基于数据服务的共享交换，要求可配置、自动化， 尽量减少人工干预，支持鉴权、加扰、脱敏，并提供共享交换日志管理功能。

4、构建数据质量管控体系：以数据准确性、一致性、完整性、可用性和安 全性为目标，建立有效的数据质量监控机制，在系统数据处理主要阶段设置数 据质量检测点，同时管理在数据质量监控中产生的告警信息，并集成元数据信 息，实现拓扑呈现，提供数据处理状态和质量状况的全局视图。

5、构建大数据分析体系：采用Hadoop(Hadoop是一个由Apache基金会所 开发的分布式系统基础架构)生态系统，实现对共享可配置计算资源(包括网 络、服务器、存储、应用和服务等)的按需服务，以分布式处理为基础，hive 仓库(hive是基于Hadoop的一个数据仓库工具)汇总，通过HBase数据库(HBase 是一个分布式的、面向列的开源数据库)，实现对数据的列式存储，利用Hadoop MapReduce(MapReduce是一种编程模型，用于大规模数据集的并行运算)来处 理HBase中的海量数据，实现对数据的快速查询和定位；

6、构建元数据管理体系：通过抽取、转换、装载等步骤实现对数据的清洗 和整合。数据清洗主要是针对源数据库中，对出现二义性、重复、不完整、违 反业务或逻辑规则等问题的数据进行相应的清洗操作；在清洗之前需要进行数 据质量分析，以找出存在问题的数据。数据装载是通过装载工具或自行编写的 SQL(结构化查询语言(Structured QueryLanguage))程序将抽取、转换后的结果 数据加载到目标数据库中。

7、构建数据维护管理体系：对平台的运行情况以可视化界面的方式进行监 测，包括资源目录完整性、运行环境的健康情况、数据库运行情况、共享交换 链路、共享交换任务运行情况、告警及处理、日志查询和统计分析，并提供相 关监测项的配置功能。

8、构建数据指标计算引擎：通过数据计算框架，调用数据计算服务，包括 指标计算服务，分类服务，特征分析服务等。服务之间的依赖关系，先后执行 顺序，由计算框架统一调度。大体上分为实时计算和离线计算。通过spark(Spark 是专为大规模数据处理而设计的快速通用的计算引擎)，hive脚本，事先定义 好的维度表和算法库，计算结果。将计算结果保存到DW中。

9、构建由应用组件集、基础支撑服务构成的监测业务快速开发部署体系： 基于SOA(Service-Oriented Architecture(面向服务的结构))的总体设计思想， 进行整体架构设计，每个独立的功能单元将以服务或组件的形式进行封装，从 而提高整个系统的扩展性，灵活性和健壮性。

10、围绕综合交通监测需求与预警业务，建立综合交通监测与预警统一工 作环境：以PC版为核心，兼有大屏、APP等多种展示方式，在事故处置、重要 活动和关键时期交通运输保障、日常工作调度时，监测人员通过PC版实现重要 业务操作，领导、联席人员通过大屏版同时直观掌握信息并进行协同指挥调度， 一线处置人员基于手机版接收调度指令，并可实时上报反馈现场情况。

11、基于监测异常状况，面向行业监管部门与运营企业提供协作管理机制 与功能：建设省、市、县三级预警信息发布平台，实现各级相关突发公共事件 应急指挥平台的连接，实现多部门突发事件预警信息的统一收集、管理和发布。

12、针对不同时间节点关注的不同侧重点，提供指标间的影响关联分析： 通过数据挖掘方法，如关联分析、聚类分析、分类分析、异常分析、特异群组 分析和演变分析等挖掘算法，结合人工智能、模式识别和机器学习的搜索算法、 建模技术和学习理论进行数据挖掘分析。从而掌握数据之间的内在管理联系。

13、针对综合交通运行状况提供监测与预警：基于自动化感知、大数据动 态融合的“行业指标+行业指数”监测手段，通过多屏协同应用服务模式，实现 行业综合运行监测预警、多指标融合分析、智能辅助决策支撑功能，为行业提 供全路网、多模式、一体化、全方位监测与服务。

综上所述，平台采用数据质量管控、数据关联度、融合处理等技术，对数 据接入、预处理、融合处理等各环节进行加工处理，保障数据准确性的前提下， 具备快速计算、存取、可视化呈现能力，打造科学化、精细化、智能化的治理 和服务体系；监测范围覆盖城市路网、高速公路、普通公路三大路网体系，覆 盖地面公交、轨道交通、出租汽车、慢行交通四大市内交通方式，公路、铁路、 民航、水运四大城际交通方式，覆盖旅游、枢纽、危险品运输、静态交通、节 能减排、超限治理、舆情18个行业领域，形成一个能支撑全行业共享应用的基础信息资源体系，为行业提供全路网、多模式、一体化、全方位监测与服务， 提高政企、行业、部省间协同力度，并将数据标准统一，实现数据有效转化运 用并赋能。本发明的有益效果是：对数据接入、预处理、融合处理等各环节进 行加工处理，保障数据准确性的前提下，具备快速计算、存取、可视化呈现能 力，打造科学化、精细化、智能化的治理和服务体系；形成一个能支撑全行业 共享应用的基础信息资源体系，为行业提供全路网、多模式、一体化、全方位 监测与服务，提高政企、行业、部省间协同力度，并将数据标准统一，实现数 据有效转化运用并赋能。

当然，本发明还可有其它多种实施例，在不背离本发明精神及其实质的情 况下，熟悉本领域的技术人员当可根据本发明作出各种相应的改变和变形，但 这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。