一种基于跨媒介数据的人物图谱关系识别方法及系统

技术领域

本发明涉及计算机视觉的技术领域，更具体地，涉及一种基于跨媒介数据的人物图谱关系识别方法及系统。

背景技术

人物图谱是以人物实体和人物之间关系为核心构建的图谱表示。人是社会的基础，也是社会的中心，构建高可靠性的人物图谱可以清晰地展示人物和人物之间的关联性，同时也能为智能搜索、智能问答、个性化推荐等应用提供可靠详细的知识。人物图谱的构建包含两个关键部分，分别是实体识别和关系提取。其中，实体识别指从数据中识别出人物实体；根据处理的数据类型不同，实体识别在处理文本数据时通常使用自然语言处理工具；在处理图像或视频数据时通常使用人脸识别技术。关系提取指从数据中提取出实体之间的关系，根据处理的数据类型不同，关系提取在处理文本数据时通常使用深度学习的方法；在处理视频数据时通常使用视频分割的方法。

现有的基于文本数据的人物图谱方法需要对大量的文本数据进行清理、分割、筛选等处理，还需要使用深度学习的方法提取文本间的人物关系信息，这类方法往往具有较高的时间和空间复杂性。现有的基于视频数据的人物图谱方法往往只考虑了视频的底层特征，而忽略了视频高层的语义特征，因而难以准确完整地构建出视频隐含的人物图谱。

现有技术公开了一种基于深度学习的文学人物关系识别方法，属于自然语言处理技术领域，首先将文学文本进行分割得到一系列句子，即语料集；其次对语料集进行人物实体识别，再筛选出语料集中包含人物实体的句子，组成子语料集；再次利用RBERT+BiLSTM模型对子语料集进行人物关系抽取；接着计算出人物实体在同一句子之间的共现频数；然后根据人物关系和共现频数构建人物图谱。该申请对网络上收集到的文本数据进行处理，数据类型单一、可用信息少；并且对文本数据的处理复杂度高；仅利用文本数据无法构建出来准确的人物图谱最终导致人物关系的识别结果也不准确。

发明内容

本发明为克服上述现有技术对人物关系识别不准确的缺陷，提供一种基于跨媒介数据的人物图谱关系识别方法及系统，能够识别出更准确的人物关系。

为解决上述技术问题，本发明的技术方案如下：

本发明提供了一种基于跨媒介数据的人物图谱关系识别方法，包括：

S1：获取对应的视频数据和文本数据；

S2：对视频数据依次进行镜头分割处理和关键帧提取，获得视频镜头分割集和每个视频镜头的关键帧；

S3：对每个视频镜头的关键帧分别进行视觉特征提取和人脸特征提取，获得关键帧视觉特征和关键帧人脸特征；并基于关键帧视觉特征获得场景分割集，基于关键帧人脸特征获得视频人物实体集；

S4：融合关键帧视觉特征和场景分割集，获得故事分割集；

S5：根据视频数据、镜头分割集、场景分割集、故事分割集和视频人物实体集，构建基于视频的人物图谱；

S6：根据视频镜头分割集对文本数据进行分割，获得文本镜头分割集；并对每个文本镜头进行人物提取，获得文本人物集；

S7：基于场景分割集与文本人物集，构建基于文本的人物图谱；

S8：聚合基于视频的人物图谱和基于文本的人物图谱，获得最终人物图谱；

S9：对最终人物图谱进行分析，识别并输出人物关系。

优选地，所述步骤S2的具体方法为：

利用镜头边界检测方法对视频数据进行镜头分割，获得视频镜头分割集；利用关键帧提取方法，对视频镜头分割集中的每个视频镜头进行关键帧提取，获得每个视频镜头的关键帧。

优选地，所述步骤S3中，获得场景分割集的具体方法为：

S311：利用特征金字塔方法对每个视频镜头的关键帧进行视觉特征提取，并拉伸为向量表示，获得关键帧视觉特征；

S312：利用关键帧视觉特征，计算镜头间相似度；具体的：

式中，SS

S313：设置窗口长度，将窗口内每个镜头依次作为当前镜头，时间先于当前镜头的镜头为先前镜头；根据镜头间相似度，获得每个镜头与先前镜头的相似性；具体的：

SC

式中，SC

S314：将相似性取极小值时对应的镜头作为场景分割点镜头，按照视频时间的先后顺序进行分割，获得场景分割集，记为B＝{b

优选地，所述步骤S3中，获得视频人物实体集的具体方法为：

S321：利用人脸识别方法对每个视频镜头的关键帧进行人脸识别和检测，获得人脸图像集；

S322：利用DeepID人脸特征表示方法获得人脸图像集中每张人脸图像的深度特征；

S323：基于每张人脸图像的深度特征，利用支持向量机分类器进行人脸分类标注，获得人脸图像对应的视频人物实体集。

优选地，所述步骤S4中，获得故事分割集的具体方法为：

S41：根据关键帧视觉特征，计算场景分割集中每个场景的场景特征；具体的：

式中，FC

S42：利用余弦相似度法，根据场景特征计算相邻场景间的相似度，并将相似度的倒数作为相邻场景间的距离，相邻场景间的距离与场景分割集中的场景分割点镜头一一对应；将相邻场景间的距离集合记为DC，则DC＝{d

S43：预设故事分割阈值，当相邻场景间的距离为极大值或大于故事分割阈值时，将对应的场景分割点镜头作为故事分割点镜头进行分割，获得故事分割集。

优选地，所述步骤S5中，构建基于视频的人物图谱的具体方法为：

S51：根据视频数据、镜头分割集、场景分割集、故事分割集和视频人物实体集，利用高斯加权法计算每个故事单元中的人物关系权重，输出相应故事单元的人物关系矩阵；具体的：

式中，

S52：根据所有故事单元的人物关系矩阵计算视频人物权重；具体的：

式中，W

S53：根据视频人物权重构建基于视频的人物图谱；具体的：

G

式中，G

优选地，所述步骤S6中，获得文本人物集的具体方法为：

S61：利用视频镜头分割集对文本数据进行分割，获得文本镜头分割集；

S62：利用命名实体识别方法，提取文本镜头中的文本人物，组成文本人物集。

优选地，所述步骤S7中，构建基于文本的人物图谱的具体方法为：

S71：根据场景分割集与文本人物集，计算每个场景中的人物关系权重；具体的，计算每个场景所有镜头中相应人物均出现的镜头的比例，作为该场景中的人物关系权重；

S72：对所有场景的人物关系权重求和，获得文本人物权重；

S73：根据文本人物权重构建基于文本的人物图谱；具体的：

G

式中，G

优选地，利用社区发现算法对最终人物图谱进行分析，识别并输出人物关系。

本发明还提供了一种基于跨媒介数据的人物图谱关系识别系统，用于实现上述的基于跨媒介数据的人物图谱关系识别方法，包括：

数据获取模块，用于获取对应的视频数据和文本数据；

视频镜头分割提取模块，用于对视频数据依次进行镜头分割处理和关键帧提取，获得视频镜头分割集和每个视频镜头的关键帧；

特征提取模块，用于对每个视频镜头的关键帧分别进行视觉特征提取和人脸特征提取，获得关键帧视觉特征和关键帧人脸特征；并基于关键帧视觉特征获得场景分割集，基于关键帧人脸特征获得视频人物实体集；

故事分割模块，用于融合关键帧视觉特征和场景分割集，获得故事分割集；

视频人物图谱构建模块，用于根据视频数据、视频镜头分割集、场景分割集、故事分割集和视频人物实体集，构建基于视频的人物图谱；

文本镜头分割提取模块，用于根据视频镜头分割集对文本数据进行分割，获得文本镜头分割集；并对每个文本镜头进行人物提取，获得文本人物集；

文本人物图谱构建模块，用于基于场景分割集与文本人物集，构建基于文本的人物图谱；

最终人物图谱聚合模块，用于聚合基于视频的人物图谱和基于文本的人物图谱，获得最终人物图谱；

人物关系识别模块，用于对最终人物图谱进行分析，识别并输出人物关系。

与现有技术相比，本发明技术方案的有益效果是：

本发明基于跨媒介的视频数据和文本数据，使用多类型的数据有利于相互补充人物图谱中的人物关系；通过对视频数据进行镜头分割处理后提取出关键帧，再对关键帧进行视觉特征提取和人脸特征提取，获得场景分割集和视频人物实体集；之后融合关键帧视觉特征和场景分割集，获得故事分割集，在故事层次构建基于视频的人物图谱；同时利用视频镜头分割集对文本数据进行分割，对文本镜头进行人物提取，获得文本人物集；基于场景分割集与文本人物集，在镜头层次构建基于文本的人物图谱；最后聚合基于视频的人物图谱和基于文本的人物图谱，获得最终人物图谱，分析识别人物关系；本发明同时在高层次和低层次对数据进行语义处理，有效避免人物关系的缺失和错误识别，获得最终人物图谱更加符合实际，能够识别出更准确的人物关系。

附图说明

图1为实施例1所述的一种基于跨媒介数据的人物图谱关系识别方法的流程图。

图2为实施例2所述的一种基于跨媒介数据的人物图谱关系识别方法的流程图。

图3为实施例3所述的一种基于跨媒介数据的人物图谱关系识别系统的结构示意图。

具体实施方式

附图仅用于示例性说明，不能理解为对本专利的限制；

为了更好说明本实施例，附图某些部件会有省略、放大或缩小，并不代表实际产品的尺寸；

对于本领域技术人员来说，附图中某些公知结构及其说明可能省略是可以理解的。

下面结合附图和实施例对本发明的技术方案做进一步的说明。

实施例1

本实施例提供了一种基于跨媒介数据的人物图谱关系识别方法，如图1所示，包括：

S1：获取对应的视频数据和文本数据；

S2：对视频数据依次进行镜头分割处理和关键帧提取，获得视频镜头分割集和每个视频镜头的关键帧；

S3：对每个视频镜头的关键帧分别进行视觉特征提取和人脸特征提取，获得关键帧视觉特征和关键帧人脸特征；并基于关键帧视觉特征获得场景分割集，基于关键帧人脸特征获得视频人物实体集；

S4：融合关键帧视觉特征和场景分割集，获得故事分割集；

S5：根据视频数据、镜头分割集、场景分割集、故事分割集和视频人物实体集，构建基于视频的人物图谱；

S6：根据视频镜头分割集对文本数据进行分割，获得文本镜头分割集；并对每个文本镜头进行人物提取，获得文本人物集；

S7：基于场景分割集与文本人物集，构建基于文本的人物图谱；

S8：聚合基于视频的人物图谱和基于文本的人物图谱，获得最终人物图谱；

S9：对最终人物图谱进行分析，识别并输出人物关系。

在具体实施过程中，本实施例基于跨媒介的视频数据和文本数据，以电影为例，视频数据指影片内容，文本数据为影片字幕，使用多类型的数据有利于相互补充人物图谱中的人物关系；通过对视频数据进行镜头分割处理后提取出关键帧，再对关键帧进行视觉特征提取和人脸特征提取，获得场景分割集和视频人物实体集；之后融合关键帧视觉特征和场景分割集，获得故事分割集，在故事层次构建基于视频的人物图谱；同时利用视频镜头分割集对文本数据进行分割，对文本镜头进行人物提取，获得文本人物集；基于场景分割集与文本人物集，在镜头层次构建基于文本的人物图谱；最后聚合基于视频的人物图谱和基于文本的人物图谱，获得最终人物图谱，分析识别人物关系；本发明同时在高层次和低层次对数据进行语义处理，有效避免人物关系的缺失和错误识别，获得最终人物图谱更加符合实际，能够识别出更准确的人物关系。

实施例2

本实施例提供了一种基于跨媒介数据的人物图谱关系识别方法，如图2所示包括：

S1：获取对应的视频数据和文本数据；

S2：对视频数据依次进行镜头分割处理和关键帧提取，获得视频镜头分割集和每个视频镜头的关键帧；具体方法为：

利用镜头边界检测方法对视频数据进行镜头分割，获得视频镜头分割集；利用关键帧提取方法，对视频镜头分割集中的每个视频镜头进行关键帧提取，获得每个视频镜头的关键帧。

S3：对每个视频镜头的关键帧分别进行视觉特征提取和人脸特征提取，获得关键帧视觉特征和关键帧人脸特征；并基于关键帧视觉特征获得场景分割集，基于关键帧人脸特征获得视频人物实体集；

获得场景分割集的具体方法为：

S311：利用特征金字塔方法对每个视频镜头的关键帧进行视觉特征提取，并拉伸为向量表示，获得关键帧视觉特征；

S312：利用关键帧视觉特征，计算镜头间相似度；具体的：

式中，SS

S313：设置窗口长度，将窗口内每个镜头依次作为当前镜头，时间先于当前镜头的镜头为先前镜头；根据镜头间相似度，获得每个镜头与先前镜头的相似性；具体的：

SC

式中，SC

S314：将相似性取极小值时对应的镜头作为场景分割点镜头，按照视频时间的先后顺序进行分割，获得场景分割集，记为B＝{b

获得视频人物实体集的具体方法为：

S321：利用人脸识别方法对每个视频镜头的关键帧进行人脸识别和检测，获得人脸图像集；

S322：利用DeepID人脸特征表示方法获得人脸图像集中每张人脸图像的深度特征；

S323：基于每张人脸图像的深度特征，利用支持向量机分类器进行人脸分类标注，获得人脸图像对应的视频人物实体集。

S4：融合关键帧视觉特征和场景分割集，获得故事分割集；具体方法为：

S41：根据关键帧视觉特征，计算场景分割集中每个场景的场景特征；具体的：

式中，FC

S42：利用余弦相似度法，根据场景特征计算相邻场景间的相似度，并将相似度的倒数作为相邻场景间的距离，相邻场景间的距离与场景分割集中的场景分割点镜头一一对应；将相邻场景间的距离集合记为DC，则DC＝{d

S43：预设故事分割阈值，当相邻场景间的距离为极大值或大于故事分割阈值时，将对应的场景分割点镜头作为故事分割点镜头进行分割，获得故事分割集。

S5：根据视频数据、镜头分割集、场景分割集、故事分割集和视频人物实体集，构建基于视频的人物图谱；具体方法为：

S51：根据视频数据、镜头分割集、场景分割集、故事分割集和视频人物实体集，利用高斯加权法计算每个故事单元中的人物关系权重，输出相应故事单元的人物关系矩阵；具体的：

式中，

S52：根据所有故事单元的人物关系矩阵计算视频人物权重；具体的：

式中，W

S53：根据视频人物权重构建基于视频的人物图谱；具体的：

G

式中，G

S6：根据视频镜头分割集对文本数据进行分割，获得文本镜头分割集；利用命名实体识别方法，提取文本镜头中的文本人物，组成文本人物集；

S7：基于场景分割集与文本人物集，构建基于文本的人物图谱；具体方法为：

S71：根据场景分割集与文本人物集，计算每个场景中的人物关系权重；具体的，计算每个场景所有镜头中相应人物均出现的镜头的比例，作为该场景中的人物关系权重；

S72：对所有场景的人物关系权重求和，获得文本人物权重；

S73：根据文本人物权重构建基于文本的人物图谱；具体的：

G

式中，G

S8：聚合基于视频的人物图谱和基于文本的人物图谱，获得最终人物图谱；

S9：利用社区发现算法对最终人物图谱进行分析，识别并输出人物关系。

实施例3

本实施例提供了一种基于跨媒介数据的人物图谱关系识别系统，用于实现实施例1或2所述的基于跨媒介数据的人物图谱关系识别方法，如图3所示，包括：

数据获取模块，用于获取对应的视频数据和文本数据；

视频镜头分割提取模块，用于对视频数据依次进行镜头分割处理和关键帧提取，获得视频镜头分割集和每个视频镜头的关键帧；

特征提取模块，用于对每个视频镜头的关键帧分别进行视觉特征提取和人脸特征提取，获得关键帧视觉特征和关键帧人脸特征；并基于关键帧视觉特征获得场景分割集，基于关键帧人脸特征获得视频人物实体集；

故事分割模块，用于融合关键帧视觉特征和场景分割集，获得故事分割集；

视频人物图谱构建模块，用于根据视频数据、视频镜头分割集、场景分割集、故事分割集和视频人物实体集，构建基于视频的人物图谱；

文本镜头分割提取模块，用于根据视频镜头分割集对文本数据进行分割，获得文本镜头分割集；并对每个文本镜头进行人物提取，获得文本人物集；

文本人物图谱构建模块，用于基于场景分割集与文本人物集，构建基于文本的人物图谱；

最终人物图谱聚合模块，用于聚合基于视频的人物图谱和基于文本的人物图谱，获得最终人物图谱；

人物关系识别模块，用于对最终人物图谱进行分析，识别并输出人物关系。

相同或相似的标号对应相同或相似的部件；

附图中描述位置关系的用语仅用于示例性说明，不能理解为对本专利的限制；

显然，本发明的上述实施例仅仅是为清楚地说明本发明所作的举例，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明权利要求的保护范围之内。