一种基于车联网多数据源的数据元信息同步方法及装置

技术领域

本申请涉及信息同步技术领域，具体涉及一种基于车联网多数据源的数据元信息同步方法及装置。

背景技术

目前车联网系统中为应对不同业务场景，车辆上报数据会保存在不同类型数据库中。数据结构的变更需要跨越不同的数据库系统，由人工维护。但是，由于不同数据源之间存在差异，数据结构的变更需要跨系统由不同人员人工维护，此类技术方案对于车联网配置化采集的数据的数据结构变化无法自动响应。

为满足上述情况的技术需求，现提供一种基于车联网多数据源的数据元信息同步技术。

发明内容

本申请提供一种基于车联网多数据源的数据元信息同步方法及装置，将多种终端设备的数据源的数据元信息在不同的数据库中以配置方式或自动更新方式同步，能够及时实现数据同步，以保障数据能够正确存储。

为实现上述目的，本申请提供以下方案。

第一方面，本申请提供了一种基于车联网多数据源的数据元信息同步方法，所述方法包括以下步骤：

创建多个自定义数据库，各所述自定义数据库对应不同的数据类型；

基于不同的数据协议对应的数据类型，并向不同的数据协议配置对应的所述自定义数据库；

基于所述数据协议，将车辆协议数据至对应的所述自定义数据库中。

进一步的，所述创建多个自定义数据库，各所述自定义数据库对应不同的数据类型，包括以下步骤：

创建多个不同的自定义数据库；

将不同的数据类型与不同的所述自定义数据库建立映射关系。

进一步的，基于不同的数据协议对应的数据类型，并向不同的数据协议配置对应的所述自定义数据库，包括以下步骤：

向不同的数据协议配置协议来源，并绑定消息主题；

向不同的数据协议配置协议字段类型、协议字段长度以及协议字段描述信息；

向不同的数据协议配置对应的所述自定义数据库。

进一步的，所述方法还包括以下步骤：

监测目标数据库对应的实时车辆协议数据；

将所述实时车辆协议数据与分散存储于各所述自定义数据库的存储车辆协议数据进行比对；

若存在车辆协议差异数据，则基于素数车辆协议差异数据的数据类型，向对应的所述自定义数据库进行信息同步。

进一步的，将所述实时车辆协议数据与分散存储于各所述自定义数据库的存储车辆协议数据进行比对，包括以下步骤：

将所述实时车辆协议数据与分散存储于各所述自定义数据库的存储车辆协议数据进行比对，判断是否存在新增字段；

若存在新增字段，则获取新增字段信息，并生成车辆协议差异数据。

第二方面，本申请提供了一种基于车联网多数据源的数据元信息同步装置，所述装置包括：

数据库创建模块，其用于创建多个自定义数据库，各所述自定义数据库对应不同的数据类型；

数据库配置模块，其用于基于不同的数据协议对应的数据类型，并向不同的数据协议配置对应的所述自定义数据库；

信息同步模块，其用于基于所述数据协议，将车辆协议数据至对应的所述自定义数据库中。

进一步的，所述数据库创建模块还用于将不同的数据类型与不同的所述自定义数据库建立映射关系。

进一步的，所述数据库配置模块还用于向不同的数据协议配置协议来源，并绑定消息主题；

所述数据库配置模块还用于向不同的数据协议配置协议字段类型、协议字段长度以及协议字段描述信息；

所述数据库配置模块还用于向不同的数据协议配置对应的所述自定义数据库。

进一步的，所述装置还包括：

信息监测模块，其用于监测目标数据库对应的实时车辆协议数据；

信息比对模块，其用于将所述实时车辆协议数据与分散存储于各所述自定义数据库的存储车辆协议数据进行比对；

所述信息同步模块还用于若存在车辆协议差异数据，则基于素数车辆协议差异数据的数据类型，向对应的所述自定义数据库进行信息同步。

进一步的，所述信息比对模块还用于将所述实时车辆协议数据与分散存储于各所述自定义数据库的存储车辆协议数据进行比对，判断是否存在新增字段；

所述信息比对模块还用于若存在新增字段，则获取新增字段信息，并生成车辆协议差异数据。

本申请提供的技术方案带来的有益效果包括：

本申请将多种终端设备的数据源的数据元信息在不同的数据库中以配置方式或自动更新方式同步，能够及时实现数据同步，以保障数据能够正确存储。

附图说明

术语解释：

SQL，Structured Query Language，结构化查询语言；

API，Application Programming Interface，应用程序编程接口。

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例中提供的基于车联网多数据源的数据元信息同步方法的步骤流程图；

图2为本申请实施例中提供的基于车联网多数据源的数据元信息同步方法中元数据管理系统的工作原理图；

图3为本申请实施例中提供的基于车联网多数据源的数据元信息同步方法的原理流程图；

图4为本申请实施例中提供的基于车联网多数据源的数据元信息同步装置的结构框图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

以下结合附图对本申请的实施例作进一步详细说明。

本申请实施例提供一种基于车联网多数据源的数据元信息同步方法及装置，将多种终端设备的数据源的数据元信息在不同的数据库中以配置方式或自动更新方式同步，能够及时实现数据同步，以保障数据能够正确存储。

为达到上述技术效果，本申请的总体思路如下：

一种基于车联网多数据源的数据元信息同步方法，该方法包括以下步骤：

S1、创建多个自定义数据库，各自定义数据库对应不同的数据类型；

S2、基于不同的数据协议对应的数据类型，并向不同的数据协议配置对应的自定义数据库；

S3、基于数据协议，将车辆协议数据发送至对应的自定义数据库中。

以下结合附图对本申请的实施例作进一步详细说明。

第一方面，参见图1～3所示，本申请实施例提供一种基于车联网多数据源的数据元信息同步方法，该方法包括以下步骤：

S1、创建多个自定义数据库，各自定义数据库对应不同的数据类型；

S2、基于不同的数据协议对应的数据类型，并向不同的数据协议配置对应的自定义数据库；

S3、基于数据协议，将车辆协议数据发送至对应的自定义数据库中。

本申请实施例中，将多种终端设备的数据源的数据元信息在不同的数据库中以配置方式或自动更新方式同步，能够及时实现数据同步，以保障数据能够正确存储。

进一步的，所述创建多个自定义数据库，各所述自定义数据库对应不同的数据类型，包括以下步骤：

创建多个不同的自定义数据库；

将不同的数据类型与不同的所述自定义数据库建立映射关系。

进一步的，基于不同的数据协议对应的数据类型，并向不同的数据协议配置对应的所述自定义数据库，包括以下步骤：

向不同的数据协议配置协议来源，并绑定消息主题；

向不同的数据协议配置协议字段类型、协议字段长度以及协议字段描述信息；

向不同的数据协议配置对应的所述自定义数据库。

进一步的，所述方法还包括以下步骤：

监测目标数据库对应的实时车辆协议数据；

将所述实时车辆协议数据与分散存储于各所述自定义数据库的存储车辆协议数据进行比对；

若存在车辆协议差异数据，则基于素数车辆协议差异数据的数据类型，向对应的所述自定义数据库进行信息同步。

进一步的，将所述实时车辆协议数据与分散存储于各所述自定义数据库的存储车辆协议数据进行比对，包括以下步骤：

将所述实时车辆协议数据与分散存储于各所述自定义数据库的存储车辆协议数据进行比对，判断是否存在新增字段；

若存在新增字段，则获取新增字段信息，并生成车辆协议差异数据。

需要说明的是，本申请实施例的基于车联网多数据源的数据元信息同步方法，在具体实施时，可以基于一种元数据管理系统，该系统包括：

数据库管理模块，其可以添加不同类型数据库，并配置对应数据库的建表，更新数据表的SQL模板；

数据类型管理模块，其可以配置允许的元数据的数据类型，还可以配置不同数据库下对应的数据类型映射关系；

协议管理模块，其可以新增或修改配置车联网数据协议，还可以定义协议中字段的名称以及类型等信息，还可以配置协议关联的数据库表信息；

数据元信息同步应用模块，用于将数据元信息同步模型应用于多个不同数据库中，实现数据元信息的同步；

数据预处理模块，用于在部分特定协议变更频繁的场景下，动态感知终端上报数据的元数据的变更，将变更同步给上述元数据管理系统，并触发变更同步至该协议相关数据库表，从而保证新增的数据能及时正确的写入目标数据库中。

在具体实施时，具体操作流程如下：

第一步，系统对目标数据库进行管理，添加配置各自不同数据库。

第二步，在数据类型管理模块配置数据类型在不同数据库的映射关系。

第三步，在协议管理模块对数据协议进行配置管理，配置协议来源，绑定消息主题，配置协议字段的类型、长度以及描述信息。

第四步，在协议管理模块，配置协议数据存储的对应数据库表。

第五步，在数据元信息同步应用模块，触发元信息同步。

另外，具体操作还包括以下步骤：

数据预处理模块，在处理消息队列中的车辆原始数据，检测到元数据发生变化时，向元数据管理系统API模块请求元数据变更。

API模块根据请求信息中来源的消息主题关联对应协议信息，并更新协议字段信息。

API模块根据协议关联数据库表，触发对应数据库表的元信息同步。

API模块反馈结果给数据预处理模块，并将元信息变更同步给下游消息清洗、处理模块；

数据预处理模块放行数据消息给下游数据清洗、处理模块。

如说明书附图的图2所示，本申请实施例提供一种基于车联网多数据源的元数据同步系统；

所述系统包含协议管理模块、数据源管理模块、数据类型管理模块、API模块、订阅模块、数据源元信息同步模块以及数据预处理模块。

具体的，协议管理模块用以实现对车联网数据消息协议进行定义，包括协议名称、消息队列映射关系、协议字段名称、字段数据类型、字段长度以及字段备注；

同时本模块也包含配置绑定协议到复数个已配置到数据源管理模块的数据源下的数据表的功能。

数据源管理模块用于配置不同数据源的地址、端口、账号、密码以及数据库等信息用于管理不同类型数据源，数据源包括但不限于关系数据库(MySQL，pgSQL)、时序数据库(tdegnine，timescaledb，influxdb)、大数据库(hive，hbase)以及数据湖(hudi，iceberg)等；

同时本模块包含配置相关数据源的建表，以及变更表结构的SQL模板，来实现协议元数据的变更映射到不同数据源。

数据类型管理模块用于配置定义好的协议数据类型信息，包括数据类型、长度以及说明；

同时用于配置不同数据源下映射该协议数据类型的实际数据库数据类型信息。

API模块用于向外部系统提供协议元数据信息的查询、修改以及同步元数据的变更的功能。

订阅模块用于向外部系统提供指定协议元信息的变更的消息订阅能力；

该功能通过将变更信息同步至消息队列方式实现。

另外，本实施例可采用现有技术kafka消息队列或rabbitmq消息队列，也可以采用其他消息队列中间件，本实施例对此不受限制。

数据源元信息同步模块用于将协议模块配置的协议元信息，结合数据类型管理模块下的字段类型映射关系以及数据源管理模块配置的数据源的SQL模板；

生成对应数据源的表结构变更SQL脚本并执行。并将执行结果返回给请求来源以及订阅模块。

数据预处理模块包含在车联网数据的流处理过程中,通过实时校验当前消息中数据协议的描述，比对当前类型，对新增数据字段会发起API请求；

待收到API模块返回的新增数据字段变更同步完成后，继续放行数据消息。

其中，元数据新增、变更或同步方法的步骤，如说明书附图的图2所示：

访问数据源管理模块配置相关数据源信息；

访问在数据类型管理模块，配置相关数据源的数据类型与系统管理的协议数据类型的映射关系；

访问协议管理模块新增或变更车联网数据协议的元数据；

访问数据源元信息同步模块，触发同步。

在部分场景下，车联网终端协议存在频繁变动场景，且上报数据协议中包含数据类型描述信息。这种场景下允许来自终端上报的消息直接触发元数据变更。

需要说明的是，元数据变更或同步方法的操作如下：

数据预处理模块接收消息队列中的车辆协议数据，根据协议消息中的字段元信息与系统中的协议元信息比较，发现新增字段时，抽取新增字段信息，调用API接口触发协议元信息更新。

其中，车联网终端消息格式需满足如下格式：

每个消息包一个一行或多行的字符串，其中每行表示一个数据行。

每行格式约定形式如：

＝,＝；

用英文逗号来分隔多个普通列的数据。

其中，field_key表示字段名，field_value表示字段数据以及需要对自身数据类型进行描述，具体格式如下：

如两边有英文双引号，例如"field_a",表示该字段为BINARY(32)类型；

如无英文双引号，数值类型通过field_value的后缀来进行区分，后缀类型如下方表1：

表1

例如，如下数据行表示，写入数据中a1列为3(double)，c1列为5(BigInt)，c3列为“error01”(binary)；

a1＝3,c1＝5i64,c3＝"error01"。

数据预处理模块抽取field_key的值与field_value的后缀包含的数据类型信息一并构造API请求，发送给API模块；

API模块接收请求后，更新协议管理模块中对应协议的字段元信息并触发元信息同步；

将变更同步给相关数据源，同步成功后返回结果给数据预处理模块，并通过订阅模块将变更信息同步给数据清洗处理模块。

数据预处理模块接收结果后，放行该数据。

数据清洗处理模块接收变更信息后，接收来自预处理模块的数据并更具更新的数据协议元信息处理数据写入目标数据库中。

基于上述技术方案，存在以下技术优势：

统一管理车联网下不同类型数据库下的存储终端数据的数据表的元数据；

动态感知终端上报数据的元数据的变更，将变更同步给元数据管理系统，并触发变更同步至该协议相关数据库表。

基于上述技术方案，存在以下技术优势：

统一管理车联网下不同类型数据库下的存储终端数据的数据表的元数据；

动态感知终端上报数据的元数据的变更，将变更同步给元数据管理系统，并触发变更同步至该协议相关数据库表。

本申请实施例的技术方案，用于将车端多种终端设备的数据源的数据元信息在不同的数据库(包括不限于，大数据仓库，数据湖，时序数据库，列数据)中以配置方式或自动更新方式同步，以保证终端设备采集的数据的数据结构的变更能及时同步到系统相关所有数据库中。保证用户写入的数据可以被正确存储。

第二方面，参见图4所示，基于与方法实施例相同的发明构思，本申请实施例提供一种基于车联网多数据源的数据元信息同步装置，该装置包括：

数据库创建模块，其用于创建多个自定义数据库，各所述自定义数据库对应不同的数据类型；

数据库配置模块，其用于基于不同的数据协议对应的数据类型，并向不同的数据协议配置对应的所述自定义数据库；

信息同步模块，其用于基于所述数据协议，将车辆协议数据至对应的所述自定义数据库中。

本申请实施例中，将多种终端设备的数据源的数据元信息在不同的数据库中以配置方式或自动更新方式同步，能够及时实现数据同步，以保障数据能够正确存储。

进一步的，所述数据库创建模块还用于将不同的数据类型与不同的所述自定义数据库建立映射关系。

进一步的，所述数据库配置模块还用于向不同的数据协议配置协议来源，并绑定消息主题；

所述数据库配置模块还用于向不同的数据协议配置协议字段类型、协议字段长度以及协议字段描述信息；

所述数据库配置模块还用于向不同的数据协议配置对应的所述自定义数据库。

进一步的，所述装置还包括：

信息监测模块，其用于监测目标数据库对应的实时车辆协议数据；

信息比对模块，其用于将所述实时车辆协议数据与分散存储于各所述自定义数据库的存储车辆协议数据进行比对；

所述信息同步模块还用于若存在车辆协议差异数据，则基于素数车辆协议差异数据的数据类型，向对应的所述自定义数据库进行信息同步。

进一步的，所述信息比对模块还用于将所述实时车辆协议数据与分散存储于各所述自定义数据库的存储车辆协议数据进行比对，判断是否存在新增字段；

所述信息比对模块还用于若存在新增字段，则获取新增字段信息，并生成车辆协议差异数据。

需要说明的是，本申请实施例的基于车联网多数据源的数据元信息同步方法，在具体实施时，可以基于一种元数据管理系统，该系统包括：

数据库管理模块，其可以添加不同类型数据库，并配置对应数据库的建表，更新数据表的SQL模板；

数据类型管理模块，其可以配置允许的元数据的数据类型，还可以配置不同数据库下对应的数据类型映射关系；

协议管理模块，其可以新增或修改配置车联网数据协议，还可以定义协议中字段的名称以及类型等信息，还可以配置协议关联的数据库表信息；

数据元信息同步应用模块，用于将数据元信息同步模型应用于多个不同数据库中，实现数据元信息的同步；

数据预处理模块，用于在部分特定协议变更频繁的场景下，动态感知终端上报数据的元数据的变更，将变更同步给上述元数据管理系统，并触发变更同步至该协议相关数据库表，从而保证新增的数据能及时正确的写入目标数据库中。

在具体实施时，具体操作流程如下：

第一步，系统对目标数据库进行管理，添加配置各自不同数据库。

第二步，在数据类型管理模块配置数据类型在不同数据库的映射关系。

第三步，在协议管理模块对数据协议进行配置管理，配置协议来源，绑定消息主题，配置协议字段的类型、长度以及描述信息。

第四步，在协议管理模块，配置协议数据存储的对应数据库表。

第五步，在数据元信息同步应用模块，触发元信息同步。

另外，具体操作还包括以下步骤：

数据预处理模块，在处理消息队列中的车辆原始数据，检测到元数据发生变化时，向元数据管理系统API模块请求元数据变更。

API模块根据请求信息中来源的消息主题关联对应协议信息，并更新协议字段信息。

API模块根据协议关联数据库表，触发对应数据库表的元信息同步。

API模块反馈结果给数据预处理模块，并将元信息变更同步给下游消息清洗、处理模块；

数据预处理模块放行数据消息给下游数据清洗、处理模块。

如第一方面提及的说明书附图的图2所示，本申请实施例提供一种基于车联网多数据源的元数据同步系统；

所述系统包含协议管理模块、数据源管理模块、数据类型管理模块、API模块、订阅模块、数据源元信息同步模块以及数据预处理模块。

具体的，协议管理模块用以实现对车联网数据消息协议进行定义，包括协议名称、消息队列映射关系、协议字段名称、字段数据类型、字段长度以及字段备注；

同时本模块也包含配置绑定协议到复数个已配置到数据源管理模块的数据源下的数据表的功能。

数据源管理模块用于配置不同数据源的地址、端口、账号、密码以及数据库等信息用于管理不同类型数据源，数据源包括但不限于关系数据库(MySQL，pgSQL)、时序数据库(tdegnine，timescaledb，influxdb)、大数据库(hive，hbase)以及数据湖(hudi，iceberg)等；

同时本模块包含配置相关数据源的建表，以及变更表结构的SQL模板，来实现协议元数据的变更映射到不同数据源。

数据类型管理模块用于配置定义好的协议数据类型信息，包括数据类型、长度以及说明；

同时用于配置不同数据源下映射该协议数据类型的实际数据库数据类型信息。

API模块用于向外部系统提供协议元数据信息的查询、修改以及同步元数据的变更的功能。

订阅模块用于向外部系统提供指定协议元信息的变更的消息订阅能力；

该功能通过将变更信息同步至消息队列方式实现。

另外，本实施例可采用现有技术kafka消息队列或rabbitmq消息队列，也可以采用其他消息队列中间件，本实施例对此不受限制。

数据源元信息同步模块用于将协议模块配置的协议元信息，结合数据类型管理模块下的字段类型映射关系以及数据源管理模块配置的数据源的SQL模板；

生成对应数据源的表结构变更SQL脚本并执行。并将执行结果返回给请求来源以及订阅模块。

数据预处理模块包含在车联网数据的流处理过程中,通过实时校验当前消息中数据协议的描述，比对当前类型，对新增数据字段会发起API请求；

待收到API模块返回的新增数据字段变更同步完成后，继续放行数据消息。

其中，元数据新增、变更或同步方法的步骤，如说明书附图的图2所示：

访问数据源管理模块配置相关数据源信息；

访问在数据类型管理模块，配置相关数据源的数据类型与系统管理的协议数据类型的映射关系；

访问协议管理模块新增或变更车联网数据协议的元数据；

访问数据源元信息同步模块，触发同步。

在部分场景下，车联网终端协议存在频繁变动场景，且上报数据协议中包含数据类型描述信息。这种场景下允许来自终端上报的消息直接触发元数据变更。

需要说明的是，元数据变更或同步方法的操作如下：

数据预处理模块接收消息队列中的车辆协议数据，根据协议消息中的字段元信息与系统中的协议元信息比较，发现新增字段时，抽取新增字段信息，调用API接口触发协议元信息更新。

其中，车联网终端消息格式需满足如下格式：

每个消息包一个一行或多行的字符串，其中每行表示一个数据行。

每行格式约定形式如：

＝,＝；

用英文逗号来分隔多个普通列的数据。

其中，field_key表示字段名，field_value表示字段数据以及需要对自身数据类型进行描述，具体格式如下：

如两边有英文双引号，例如"field_a",表示该字段为BINARY(32)类型；

如无英文双引号，数值类型通过field_value的后缀来进行区分，后缀类型同样如第一方面提及的表1所示。

例如，如下数据行表示，写入数据中a1列为3(double)，c1列为5(BigInt)，c3列为“error01”(binary)；

a1＝3,c1＝5i64,c3＝"error01"。

数据预处理模块抽取field_key的值与field_value的后缀包含的数据类型信息一并构造API请求，发送给API模块；

API模块接收请求后，更新协议管理模块中对应协议的字段元信息并触发元信息同步；

将变更同步给相关数据源，同步成功后返回结果给数据预处理模块，并通过订阅模块将变更信息同步给数据清洗处理模块。

数据预处理模块接收结果后，放行该数据。

数据清洗处理模块接收变更信息后，接收来自预处理模块的数据并更具更新的数据协议元信息处理数据写入目标数据库中。

基于上述技术方案，存在以下技术优势：

统一管理车联网下不同类型数据库下的存储终端数据的数据表的元数据；

动态感知终端上报数据的元数据的变更，将变更同步给元数据管理系统，并触发变更同步至该协议相关数据库表。

基于上述技术方案，存在以下技术优势：

统一管理车联网下不同类型数据库下的存储终端数据的数据表的元数据；

动态感知终端上报数据的元数据的变更，将变更同步给元数据管理系统，并触发变更同步至该协议相关数据库表。

本申请实施例的技术方案，用于将车端多种终端设备的数据源的数据元信息在不同的数据库(包括不限于，大数据仓库，数据湖，时序数据库，列数据)中以配置方式或自动更新方式同步，以保证终端设备采集的数据的数据结构的变更能及时同步到系统相关所有数据库中。保证用户写入的数据可以被正确存储。

需要说明的是，本申请实施例提供的基于车联网多数据源的数据元信息同步装置，其对应的技术问题、技术手段以及技术效果，从原理层面与基于车联网多数据源的数据元信息同步方法的原理类似。

需要说明的是，在本申请中，诸如“对比”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上仅是本申请的具体实施方式，使本领域技术人员能够理解或实现本申请。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。