一种基于知识图谱的视频图像数据构建方法和系统

技术领域

本发明涉及视频图像数据构建领域，特别涉及一种基于知识图谱的视频图像数据构建方法和系统。

背景技术

视频图像数据属多媒体数据，采集体量大、价值密度低、数据膨胀率高，与传统的结构化数据在数据构成和数据形态上有根本不同，目前基于深度学习的视图智能分析、视图结构化、视频图像聚类等技术已经日趋成熟，可以实现对视图目标的查询、比对和布控等应用，同时针对结构化数据进行规则分析，可以实现视图目标简单的关系分析，由于目前视图数据基于传统关系型数据库进行存储，要实现深层的关系分析和挖掘，则需要依赖多次的分析和计算，从而使得代价相对较高，因此，急需提供一种对视图图像数据进行重新组织，充分利用图谱的挖掘和分析能力来实现视图数据价值的最大化的方法和系统。

发明内容

为此，需要提供一种利用视图AI技术和知识图谱技术对视图数据进行分析挖掘，通过对视图业务数据进行三要素，即：实体、关系、属性定义，构建视图专业领域知识图谱，基于图计算、图挖掘技术实现深层数据挖掘，智能化实现隐性人员挖掘、团伙发现、风险智能化自动预测预警。

为实现上述目的，发明人提供了一种基于知识图谱的视频图像数据构建方法，包括以下步骤：

S1：数据接入，将标准化后的数据和结构化数据发送至消息中间件，并将数据存储至数仓系统；

S2：对视图知识图谱进行实体定义和实体发现，根据知识图谱的的实体要求，对视图知识图谱中实体的类型和属性进行定义，根据实体的定义信息，对接入的数据进行实体发现；

S3：将步骤S2中的实体发现的结果数据输出至消息中间件，并将实体数据写入图数据库，用于关系发现；

S4：对视图知识图谱进行实体关系定义和关系发现；

S5：将步骤S4中的关系发现的结果数据输出至消息中间件，并将关系数据写入图数据库，构建视图知识图谱，用于关系查询和关系挖掘；

S6：针对构建好的制图知识图谱利用图计算和图深度学习对关系进行挖掘分析；

S7：对关系进行查询并可视化展示。

作为本发明的一种优选方式，步骤S1接入的数据包括：接入多源异构视图数据，所述多源异构视图数据包括视图基础设备信息、人脸、机动车和非机动车抓拍数据；还包括，接入进行了视图聚类的结果数据、置信身份数据以及基于视频分析方法进行分析的结果数据。

作为本发明的一种优选方式，判断步骤S1接入的数据性质，若为视图基础设备数据或视图结构化数据，则对数据进行清洗和标准化；若为，若为原始数据，则进行AI聚类分析；若为聚类后的结果数据，则进行AI置信分析。

作为本发明的一种优选方式，所述AI聚类分析即对标准化后的数据进行分析，若为原始数据，则对数据进行聚类归档；所述AI置信分析即对标准化后的数据进行分析，若为聚类后的结果数据，则根据是否置信决定是否对数据进行置信，用于对聚类档案数据赋予身份信息。

作为本发明的一种优选方式，步骤S2中根据实体的定义信息，对接入的数据进行实体发现包括：根据实体的定义信息，通过实时或离线任务对接入的数据进行实体发现，其中需配置实体中的每个属性和原始字段的映射关系，实时发现是通过对消息中间件的数据进行订阅，按照字段映射关系对实体进行发现，离线发现是根据实体的定义信息，基于数仓系统进行数据分析。

作为本发明的一种优选方式，步骤S4：对视图知识图谱进行实体关系定义和关系发现包括：指定关系的两个实体类型和关系的属性字段，指定关系分析的数据来源，通过任务的方式完成关系发现。

作为本发明的一种优选方式，还包括：

S8：数据入库程序，用于将消息中间件的每个步骤的数据进行分类处理并入库；

S9：数据存储组件，包括分布式离线数仓存储组件、图数据库、全文检索存储组件和关系性数据库。

为实现上述目的，发明人提供了一种基于知识图谱的视频图像数据构建系统，包括：

视图接入模块，用于通过多协议对多源异构视图数据统一接入，并进行数据清洗和标准化；

视图AI分析模块，用于将接入的视图数据进行AI分析，实现视图结构化、视图实体聚类、视图实体置信及视图实体间关系分析，并将分析结果同步输出推送至消息中间件；

视图DI分析模块，用于对视图AI分析模块分析结果数据进行整合，并利用机器学习进行数据挖掘分析，实现视图实体间关系分析，并将分析结果同步输出至消息中间件；

视图数据存储模块，用于对视图接入模块、视图AI分析模块及视图DI分析模块的输出结果提供存储；

消息中间件模块，用于将结构化数据通过消息方式传递给实体关系分析模块；

知识定义和发现模块，用于提供对视图实体、关系和属性进行规则定义，使用任务的方式完成实体、关系数据的发现，并将结果存入知识存储模块中；

知识检索模块，用于提供对实体和关系的检索，并对实体进行关系查找和路径分析；

知识推理模块，使用深度学习对已经形成的视图知识图谱进行挖掘分析，并对已构建的知识图谱进行治理评估和更新；

知识存储模块，包括知识定义的配置数据存储、针对实体和关系发现的结果及知识推理模块的结果进行存储、对实体和关系数据进行全文索引的存储、分布式离线数仓存储。

作为本发明的一种优选方式，所述视图数据存储模块，用于对视图接入模块、视图AI分析模块及视图DI分析模块的输出结果提供存储，包括原始接入数据、标准化后数据以及通过数据分析产生的结果数据。

作为本发明的一种优选方式，所述知识定义和发现模块使用任务的方式完成实体、关系数据的发现包括：实时任务通过消费消息中间件中数据或通过离线分析读取数仓系统数据，进行实体和关系数据的发现。

区别于现有技术，上述技术方案所达到的有益效果有：

(1)提供了一种基于本体的知识模型以及本体类型设计进行视图知识库构建的方法和系统：提出了一种基于知识图谱的视图语义分析流程，采用了知识表达模型对视图数据的对象化语义信息进行描述和抽取，在此基础上基于知识图谱的图像语义知识融合和加工技术，构建视图数据领域知识图谱平台；

(2)提供了一种基于图结构对视图数据进行数据组织及分析的方法和系统，能够将视图关系数据通过知识三元组的形式进行存储，通过利于图结构的路径查找和分析能力，提升了数据查询和分析的效率；

(3)提供了一种基于知识推理技术实现对视图数据实体关系的分析和挖掘的方法和系统，即基于图谱中已有的事实或关系推断出未知的事实或关系，重点应用于隐性关系的挖掘以及知识的推荐等场景。

附图说明

图1为具体实施方式所述基于知识图谱的视频图像数据构建方法流程图；

图2为具体实施方式所述基于知识图谱的视频图像数据构建系统框架图。

具体实施方式

为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。

如图1所示，本实施例提供了一种基于知识图谱的视频图像数据构建方法，包括以下步骤：

S1：数据接入，将标准化后的数据和结构化数据发送至消息中间件，并将数据存储至数仓系统；

S2：对视图知识图谱进行实体定义和实体发现，根据知识图谱的的实体要求，对视图知识图谱中实体的类型和属性进行定义，根据实体的定义信息，对接入的数据进行实体发现；

S3：将步骤S2中的实体发现的结果数据输出至消息中间件，并将实体数据写入图数据库，用于关系发现；

S4：对视图知识图谱进行实体关系定义和关系发现；

S5：将步骤S4中的关系发现的结果数据输出至消息中间件，并将关系数据写入图数据库，构建视图知识图谱，用于关系查询和关系挖掘；

S6：针对构建好的制图知识图谱利用图计算和图深度学习对关系进行挖掘分析；

S7：对关系进行查询并可视化展示。

在上述实施例的具体实施过程中，步骤S1：数据接入，支持接入多源异构视图数据，包括视图设备基础信息、人脸、机动车和非机动车抓拍等结构化数据，也支持接入进行了视图聚类的结果数据、置信身份数据以及基于视频分析算法进行分析的结果数据等。

对于视图设备基础数据接入，按照GAT/1400标准对数据进行清洗和标准化。

对于视图结构化数据接入，可以接入原始抓拍类数据，也可以接入聚类后的结果数据，并根据GAT/1400标准对数据进行清洗和标准化，若为原始数据则进行AI聚类分析，若为聚类后的结果数据，则进行AI置信分析。

上述实施例提到的视图AI聚类分析以及AI置信分析，对标准化后的数据进行分析，若为原始抓拍数据，则对数据进行聚类归档，若为聚类结果数据，根据是否置信来决定是否对数据进行置信，即将聚类档案数据和人员基本信息库数据进行比对，从而对聚类档案数据赋予身份信息。

在上述实施例中，还包括：消息中间件数据发送步骤，统一将上述实施例中标准化后的视图设备基础信息以及经过聚类和置信的结构化数据发送至消息中间件，后续由数据入库程序将数据进行存储至数仓系统平台；

对于步骤S2：对视图知识图谱实体定义以及实体发现任务，根据知识图谱的实体要求，定义好视图类知识图谱中实体的类型以及相关属性，例如：设备实体，包含设备编号、设备名称、设备位置、设备类型等属性，其中设备编号作为实体的唯一标识，其他字段作为设备的属性，同时定义可以支持全文检索的属性字段，用于后续实体的快速查询和分析；实体发现任务的定义，根据实体的定义配置信息，通过实时或者离线任务的方式对接入的数据进行实体发现，任务中需要配置好实体中的各个属性和原始字段的映射关系，实时发现任务是通过对消息中间件的数据进行订阅，按照字段映射关系对实体进行发现，离线发现任务根据实体的定义信息，基于数仓平台进行大数据分析，这适用于大量数据场景下的实体发现。

对于步骤S3：将步骤S2中的实体发现的结果数据输出至消息中间件，并将实体数据写入图数据库，用于关系发现；具体的由数据入库程序将实体数据写入图数据库，便于下一步的关系发现。

对于步骤S4：对视图知识图谱进行实体关系定义和关系发现任务；具体的提供两种关系分析的方式：一种是基于规则方式来进行配置关系分析逻辑，是具备可解释性的，先指定关系的两个实体类型以及关系的属性字段，然后指定关系分析的数据来源，最后通过任务的方式来完成关系的发现，例如人脸视频同行关系分析：在M时间范围内，N次在同一设备的前后X秒内，被抓拍到的两个人脸，定义为视频同行关系，首先关系的两个实体是视频档案实体，可以定义关系的属性字段，同行次数、最近同行时间、最近同行设备、最近抓拍图片，然后指定数据来源为人脸抓拍数据，关系发现的任务基于离线分析方式对数仓平台的抓拍数据进行分布式离线计算得出人脸视频同行关系数据；另一种是基于模型的方式进行关系分析，具有一定的不可解释性，针对一些复杂的关系进行分析，结合一些大数据挖掘分析算法实现关系的发现。

对于步骤S5：将步骤S4中的关系发现的结果数据输出至消息中间件，并将关系数据写入图数据库，构建视图知识图谱，用于关系查询和关系挖掘；具体的，由数据入库程序将关系数据写入图数据库，构建完成视图知识图谱，便于后续的关系查询和关系挖掘。

对于步骤S6：针对构建好的制图知识图谱利用图计算算法和图深度学习算法对关系进行挖掘分析；在本实施例中，支持进行关系的路径查找、隐性关系的挖掘等。

对于步骤S7：对关系进行查询并可视化展示；提供实体关系的路径查找，支持制定层级关系展示、单实体路径发现、社群分析、关系可视化布局展示，例如：网络布局、层次布局、环形布局等。

在一些实施例中，还包括步骤S8：数据入库程序，用于统一将消息中间件的每个步骤的数据进行分类处理并入库；具体的：视图基础数据、原始结构化数据写入离线数仓平台，实体、关系及属性数据写入图数据库，根据配置的检索字段将数据写入到全文检索引擎。

还包括步骤S9：数据存储组件，包括分布式离线数仓存储组件、图数据库、全文检索存储组件和关系性数据库。

为实现发明目的，如图2所示，在不同的本实施例还提供了一种基于知识图谱的视频图像数据构建系统，包括：

视图接入模块，用于通过多协议对多源异构视图数据统一接入，并同时完成数据清洗和标准化；

视图AI分析模块，用于将接入的视图数据进行AI分析，实现视图结构化、视图实体聚类、视图实体置信及视图实体间关系分析等，并将分析结果同步输出推送至消息中间件；

视图DI分析模块，用于对视图AI分析模块分析结果数据进行整合，并利用机器学习进行数据挖掘分析，实现视图实体间关系的进一步分析，实现数据智能，并将分析结果同步输出至消息中间件；

视图数据存储模块，用于对视图接入模块、视图AI分析模块及视图DI分析模块的输出结果提供存储能力，主要包含原始接入数据、标准化后数据以及通过数据分析产生的结果数据；

消息中间件模块，用于将结构化数据通过消息方式传递给实体关系分析模块；

知识定义和发现模块，用于提供对视图实体、关系和属性进行规则定义，使用任务的方式完成实体、关系数据的发现，实时任务通过消费消息中间件中数据或者通过离线分析的方式读取数仓数据，进行实体和关系发现，并将结果存入知识存储模块中；

知识检索模块，用于提供对实体和关系的检索，同时支持对实体进行关系查找和路径分析等。

知识推理模块，使用深度学习对已经形成的视图知识图谱进行挖掘分析，并对已构建的知识图谱进行治理评估和更新；

知识存储模块，包括知识定义的配置数据存储、针对实体和关系发现的结果及知识推理模块的结果进行存储，图数据库、对实体和关系数据进行全文索引的存储，便于检索、分布式离线数仓存储，主要用于大量数据的分析和挖掘。

在本实施例的系统中，使用了基于知识图谱的视频图像数据构建方法。

在上述实施例中，提供了一种基于本体的知识模型以及本体类型设计进行视图知识库构建的方法和系统：提出了一种基于知识图谱的视图语义分析流程，采用了知识表达模型对视图数据的对象化语义信息进行描述和抽取，在此基础上基于知识图谱的图像语义知识融合和加工技术，构建视图数据领域知识图谱平台；提供了一种基于图结构对视图数据进行数据组织及分析的方法和系统，能够将视图关系数据通过知识三元组的形式进行存储，通过利于图结构的路径查找和分析能力，提升了数据查询和分析的效率；提供了一种基于知识推理技术实现对视图数据实体关系的分析和挖掘的方法和系统，即基于图谱中已有的事实或关系推断出未知的事实或关系，重点应用于隐性关系的挖掘以及知识的推荐等场景。

需要说明的是，尽管在本文中已经对上述各实施例进行了描述，但并非因此限制本发明的专利保护范围。因此，基于本发明的创新理念，对本文所述实施例进行的变更和修改，或利用本发明说明书及附图内容所作的等效结构或等效流程变换，直接或间接地将以上技术方案运用在其他相关的技术领域，均包括在本发明的专利保护范围之内。