一种基于多源数据的市场监管信息融合平台及其方法

技术领域

本发明涉及数据处理技术领域，特别是一种基于多源数据的市场监管信息融合平台及其方法。

背景技术

市场监管有来自多行业、多部门的不同类别报表和相关监管数据，多部门间不同应用系统的不同数据具有格式不同、结构不同、类型不同、标准不一的特征，如何整合这些数据，使之快速准确展现城市经济社会与发展的现状，分析与预测未来趋势，成为面临的挑战之一。

现阶段的对于市场监管数据融合主要采用数据级融合，即直接对传感器数据进行融合处理或进行特征级融合，数据级融合是基于融合后的结果进行特征提取和判断决策，这种数据融合应用在市场监管上的缺点有抗干扰能力差、实时性差、对算力要求高、平台负载率大；特征级融合是每个传感器先抽出自己的特征向量，然后由融合平台完成融合处理，可以划分为目标状态和目标特征信息融合。虽然压缩了数据，且解决了实时性的问题，但是存在一定的数据丢失情况，取决于特征提取过程的判断，融合性能有所降低；导致现阶段的市场监管信息数据处理效果一般，不利于多源数据市场监管信息的数据融合处理，所以我们提出一种基于多源数据的市场监管信息融合平台及其方法。

发明内容

鉴于上述现有的市场监管数据处理中存在的问题，提出了本发明。

因此，本发明其中的一个目的是提供一种基于多源数据的市场监管信息融合平台及其方法，其通过目标区域的构建和分析，能够融合局部决策判断特征后再进行局部区域多源数据的融合，在压缩数据和保障实时性的同时，能够实现多源数据的准确地进行融合更新，且减低了平台运算算力需求和负载率，使得多源数据的市场监管信息的融合工作变得高效且准确。

为解决上述技术问题，本发明提供如下技术方案：一种基于多源数据的市场监管信息融合平台，包括：

数据采集模块，用于各行业中多源的原始市场监管信息录入与采集，获取原始市场监管信息的多源数据以及相应的标签，且数据采集模块包括数据预处理单元和区域配置管理单元；

数据处理模块，用于市场监管数据特征数据级特征提取处理，形成特征数据模型以及数据集；

目标区域构建模块，用于构建市场监管信息化的区域体系框架模型，基于区域体系框架模型中的关键特征生成训练集和测试集，且根据BP神经网络的处理生成目标区域特征向量；

数据划分模块，用于原始市场监管信息中目标区域状态和区域特征信息的划分，基于目标区域的状态和区域特征信息的标签，将所述目标区域特征向量进行划分分类，获得多个子数据集，根据子数据集分析筛选出局部决策判断特征向量；

局部决策构建模块，用于对局部决策判断特征向量进行融合，生成局部区域融合子数据集；

数据融合模块，用于局部区域多源融合子数据集的融合，获得市场监管信息的融合数据；

还包括数据存储模块，用于市场监管信息的融合数据的缓存，所述数据存储模块采用数据集群和分布式数据库。

作为本发明的一种优选方案，其中：所述数据划分模块基于目标区域的状态和区域特征信息的标签，将所述目标区域特征向量进行划分分类，具体采用探照矩阵进行分类，所述子数据集按照预定的行列数量进行构造后获得子探照矩阵，所述子探照矩阵如下式所示：

其中，X

根据子数据集分析筛选出局部决策判断特征向量，具体地采用余弦相似度模型进行相似度判断进行判断后筛选得出，如下式所示：

其中，A

作为本发明的一种优选方案，其中：所述局部决策构建模块对局部决策判断特征向量进行融合，采用获取子探照矩阵后，匹配探照半径以及定位探照位置，再根据探照位置以及所述探照灯半径对所述子探照矩阵进行提取，获得提取矩阵，根据提取矩阵获得市场监管信息的融合数据，所述提取矩阵的计算如下式所示：

其中，

作为本发明的一种优选方案，其中：所述数据融合模块对多源局部区域融合子数据集的融合，是采用基于可靠性的加权融合算法，对原始市场监管信息中的多源局部区域进行可靠性评估后完成子数据集的融合，具体地根据局部区域中多源数据的可靠性确定融合的权重，如下式所示：

式中，X为融合后的数据特征；x

作为本发明的一种优选方案，其中：所述预处理单元用于市场监管信息数据库的数据抽取、转换、清洗以及标准化处理，形成ODS数据库，所述清洗是的对市场监管信息数据中的空值进行处理，去除重复、错误或不完整的数据，将缺失超过20％以上的样本特征进行删除；所述转换是对市场监管信息数据中转换为统一格式或类型；所述标准化处理是对于市场监管信息数据采用Z-score规范化，取消由量纲不同引起的误差，统一数据尺度。

作为本发明的一种优选方案，其中：所述数据处理模块用于市场监管信息数据库特征选择、特征构造和转化处理，形成市场监管信息输入的新特征，所述特征选择是对目标的特征数据集进行方差特征筛选，选择方差大于预设阈值的特征，去除冗余数据，所述特征构造是根据目标知识和数据特性构造新的特征数据集。

作为本发明的一种优选方案，其中：所述区域配置管理单元用于市场监管信息所对应区域内的被配置处理，具体采用One-Hot程序对目标区域类别型属性进行编码；所述BP神经网络包括输入层、隐含层和输出层，隐含层采用tansig函数，输出层采用purelin函数；输入层有明细表数据特征和多源文件数据特征；输出层有目标区域体系框架类目。

作为本发明的一种优选方案，其中：还包括数据应用模块，与数据服务开放平台数据连接，用于经市场监管信息融合平台的数据融合模块分析后，形成相应的报表和API数据，以供用户查看和使用；数据服务开放平台接收市场监管信息的融合数据数据并进行可视化呈现。

作为本发明的一种优选方案，其中：所述应用模块包括：

编目管理单元，用于将数据发布至市场监管信息化的区域体系框架标准服务的目标区域分类目录下，并对目标区域服务分类树进行服务分类的编辑处理；

数据服务发布单元，用于根据目标区域企业的数据服务分类要求将治理后的合规数据发布至对应的数据服务目录中；

数据服务目录单元，用于通过目录形式呈现发布的各类融合数据的服务资源；

数据查询推送单元，用于对融合数据进行对外查询和推送；

数据服务监控单元，用于动态展现各项融合数据服务的订阅信息；

数据服务安全管理单元，用于提供注册管理和安全验证功能；

数据管理单元，用于对融合数据进行一站式动态追踪盘点，对融合数据进行查询检索；

中台全景图单元，用于通过系统动态图展示市场监管信息融合平台的全景；

数据运营大屏展示单元，用于通过大屏动态展现市场监管信息融合平台的数据运营情况；

即视查询单元，用于对通过自定义查询条件对数据进行可视化查询和各类融合数据呈现；

数据地图单元，用于对数据文件夹、数据集、元数据和各类融合数据内容的查询检索。

一方面，本发明提供一种基于多源数据的市场监管信息融合平台的方法，包括以下步骤：

步骤S101，获取各行业中多源的原始市场监管信息数据，并进行数据预处理和区域配置管理；

步骤S102，接收经过数据预处理后的市场监管信息数据，对市场监管数据特征数据级特征提取处理，形成特征数据模型以及数据集；

步骤S103，构建市场监管信息化的区域体系框架模型，基于区域体系框架模型中的关键特征生成训练集和测试集，且根据BP神经网络的处理生成目标区域特征向量；

步骤S104，将原始市场监管信息中目标区域状态和区域特征信息的划分，基于目标区域的状态和区域特征信息的标签，将所述目标区域特征向量进行划分分类，获得多个子数据集，根据子数据集分析筛选出局部决策判断特征向量；

步骤S105，将局部决策判断特征向量进行融合，生成局部区域融合子数据集

步骤S106，将局部区域多源融合子数据集的融合，获得市场监管信息的融合数据；

步骤S107，将市场监管信息的融合数据进行输出，形成相应的报表和API数据，以供用户查看、使用和可视化呈现。

本发明的有益效果：本发明的市场监管信息融合平台在多源数据融合处理时，根据市场监管的地区性特征，采用通过目标区域的构建和分析，能够融合局部决策判断特征后再进行局部区域多源数据的融合，实现了很好的局部区域的决策级融合工作，在压缩数据和保障实时性的同时，能够实现多源数据的准确地进行融合更新，且减低了平台运算算力需求和负载率，使得多源数据的市场监管信息的融合工作变得高效且准确。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：

图1为本发明基于多源数据的市场监管信息融合平台的模块化结构示意图；

图2为本发明局部区域多源融合的应用示意图；

图3为本发明市场监管信息融合平台的工作方法的流程图。

图中标号：10、数据采集模块；20、数据处理模块；30、目标区域构建模块；40、数据划分模块；50、局部决策构建模块；60、数据融合模块；70、数据存储模块；80、应用模块。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围。

参照图1和图2以及图3，为本发明的一个实施例，该实施例提供了一种基于多源数据的市场监管信息融合平台以及其工作方法，参照图1，是基于多源数据的市场监管信息融合平台，其包括：

数据采集模块10，用于各行业中多源的原始市场监管信息录入与采集，获取原始市场监管信息的多源数据以及相应的标签，且数据采集模块10包括数据预处理单元和区域配置管理单元；为了提高数据质量和准确性，需要采用先进的数据清洗、数据校验和数据标准化等技术手段，确保融合后的数据准确性和可靠性；

本实施例预处理单元用于市场监管信息数据库的数据抽取、转换、清洗以及标准化处理，形成ODS数据库，清洗是的对市场监管信息数据中的空值进行处理，去除重复、错误或不完整的数据，将缺失超过20％以上的样本特征进行删除；转换是对市场监管信息数据中转换为统一格式或类型；标准化处理是对于市场监管信息数据采用Z-score规范化，取消由量纲不同引起的误差，统一数据尺度。此外，区域配置管理单元用于市场监管信息所对应区域内的被配置处理，具体采用One-Hot程序对目标区域类别型属性进行编码。

数据处理模块20，用于市场监管数据特征数据级特征提取处理，形成特征数据模型以及数据集；本实施例具体地数据处理模块用于市场监管信息数据库特征选择、特征构造和转化处理，形成市场监管信息输入的新特征，特征选择是对目标的特征数据集进行方差特征筛选，选择方差大于预设阈值的特征，去除冗余数据，特征构造是根据目标知识和数据特性构造新的特征数据集。通过特征提取处理可以划分为多源数据的目标状态和目标特征信息，有利于进行融合需求的市场特征数据，且降低了通信宽带要求低并实时处理。

目标区域构建模块30，用于构建市场监管信息化的区域体系框架模型，基于区域体系框架模型中的关键特征生成训练集和测试集，且根据BP神经网络的处理生成目标区域特征向量；其中，BP神经网络包括输入层、隐含层和输出层，隐含层采用tansig函数，输出层采用purelin函数；输入层有明细表数据特征和多源文件数据特征；输出层有目标区域体系框架类目。通过BP神经网络的模型处理，根据市场监管的地区性特征，经过神经网络的训练可对应的生成目标区域特征，在后续的市场监管的局部区域特征融合中，起到了很重要的关联特征效果。

本实施例需要强调地是数据划分模块40基于目标区域的状态和区域特征信息的标签，将目标区域特征向量进行划分分类，具体采用探照矩阵进行分类，子数据集按照预定的行列数量进行构造后获得子探照矩阵，子探照矩阵如下式所示：

其中，X

数据划分模块40，用于原始市场监管信息中目标区域状态和区域特征信息的划分，基于目标区域的状态和区域特征信息的标签，将目标区域特征向量进行划分分类，获得多个子数据集，根据子数据集分析筛选出局部决策判断特征向量；本实施例根据子数据集分析筛选出局部决策判断特征向量，具体地采用余弦相似度模型进行相似度判断进行判断后筛选得出，如下式所示：

其中，A

本实施例基于上述处理和分析可根据原始的多源数据，所在的不同地理位置特征，基于局部地域性特征，生成局部决策判断特征向量，有利于后续的高效地、精准地提取特征以及融合作业。

局部决策构建模块50，用于对局部决策判断特征向量进行融合，生成局部区域融合子数据集；

本实施例局部决策构建模块50对局部决策判断特征向量进行融合，采用获取子探照矩阵后，匹配探照半径以及定位探照位置，再根据探照位置以及探照灯半径对子探照矩阵进行提取，获得提取矩阵，根据提取矩阵获得市场监管信息的融合数据，提取矩阵的计算如下式所示：

其中，

通过局部决策构建模块50对局部决策判断特征向量进行融合，实现了多源市场监管的特征通过局部决策，判断目标区域特征向量后进行进一步地压缩了数据，同时保障了融合数据的实时性，能够实现多源数据的准确地进行融合更新，且减低了平台运算算力需求和负载率。

数据融合模块60，用于局部区域多源融合子数据集的融合，获得市场监管信息的融合数据；

参照图2，本实施例的数据融合模块60对多源局部区域融合子数据集的融合，是采用基于可靠性的加权融合算法，对原始市场监管信息中的多源局部区域进行可靠性评估后完成子数据集的融合，具体地根据局部区域中多源数据的可靠性确定融合的权重，如下式所示：

式中，X为融合后的数据特征；x

还包括数据存储模块70以及应用模块80，存储模块70用于市场监管信息的融合数据的缓存，数据存储模块70采用数据集群和分布式数据库。

本实施例进一步地说明的该数据应用模块80与数据服务开放平台数据连接，用于经市场监管信息融合平台的数据融合模块60分析后，形成相应的报表和API数据，以供用户查看和使用；数据服务开放平台接收市场监管信息的融合数据数据并进行可视化呈现。本实施例为了市场监管信息融合平台的数据应用更加的广泛、丰富和通用，其中应用模块80包括：

编目管理单元，用于将数据发布至市场监管信息化的区域体系框架标准服务的目标区域分类目录下，并对目标区域服务分类树进行服务分类的编辑处理；

数据服务发布单元，用于根据目标区域企业的数据服务分类要求将治理后的合规数据发布至对应的数据服务目录中；

数据服务目录单元，用于通过目录形式呈现发布的各类融合数据的服务资源；

数据查询推送单元，用于对融合数据进行对外查询和推送；

数据服务监控单元，用于动态展现各项融合数据服务的订阅信息；

数据服务安全管理单元，用于提供注册管理和安全验证功能；

数据管理单元，用于对融合数据进行一站式动态追踪盘点，对融合数据进行查询检索；

中台全景图单元，用于通过系统动态图展示市场监管信息融合平台的全景；

数据运营大屏展示单元，用于通过大屏动态展现市场监管信息融合平台的数据运营情况；

即视查询单元，用于对通过自定义查询条件对数据进行可视化查询和各类融合数据呈现；

数据地图单元，用于对数据文件夹、数据集、元数据和各类融合数据内容的查询检索。

同时，如图3所示，本发明提供一种基于多源数据的市场监管信息融合平台的方法，包括以下步骤：

步骤S101，获取各行业中多源的原始市场监管信息数据，并进行数据预处理和区域配置管理；

步骤S102，接收经过数据预处理后的市场监管信息数据，对市场监管数据特征数据级特征提取处理，形成特征数据模型以及数据集；

步骤S103，构建市场监管信息化的区域体系框架模型，基于区域体系框架模型中的关键特征生成训练集和测试集，且根据BP神经网络的处理生成目标区域特征向量；

步骤S104，将原始市场监管信息中目标区域状态和区域特征信息的划分，基于目标区域的状态和区域特征信息的标签，将目标区域特征向量进行划分分类，获得多个子数据集，根据子数据集分析筛选出局部决策判断特征向量；

步骤S105，将局部决策判断特征向量进行融合，生成局部区域融合子数据集

步骤S106，将局部区域多源融合子数据集的融合，获得市场监管信息的融合数据；

步骤S107，将市场监管信息的融合数据进行输出，形成相应的报表和API数据，以供用户查看、使用和可视化呈现。

应用本实施例的市场监管信息融合平台后，实施效果在于：

1.提高城市市场监管效率，通过融合多源城市数据，可以实时监测城市运行状况，提高城市管理效率；

2.增强市场监管的安全性，数据融合技术有助于及时发现并解决市场监管的安全隐患，保障市场监管的安全；

3.优化城市市场监管的资源配置，通过分析市场监管数据，可以合理分配市场监管资源，提高市场监管的数据处理效率和质量。

综上所述，本发明的市场监管信息融合平台在多源数据融合处理时，根据市场监管的地区性特征，基于局部地域性特征生成局部决策判断特征向量，有利于后续的高效地、精准地提取特征以及融合作业；能够对局部决策判断特征向量进行融合，实现了多源市场监管的特征通过局部决策，判断目标区域特征向量后进行进一步地压缩了数据，同时保障了融合数据的实时性，能够实现多源数据的准确地进行融合更新，且减低了平台运算算力需求和负载率。使得多源数据的市场监管信息的融合工作变得高效且准确。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包括于本申请的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分。并且本申请的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。

应理解的是，本申请的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。上述实施例方法的全部或部分步骤是可以通过程序来指令相关的硬件完成，该程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。

此外，在本申请各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。上述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读存储介质中。该存储介质可以是只读存储器，磁盘或光盘等。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。