电子证据相关性标定方法、装置、设备及存储介质

技术领域

本申请涉及数据处理技术领域，更具体的说，是涉及一种电子证据相关性标定方法、装置、设备及存储介质。

背景技术

随着计算机和信息网络的普及和流行，证据信息化成为一种趋势，电子证据逐渐成为传递信息、记录事实的重要载体，逐渐成为影响纠纷和案件的走向的决定性证据，并且高安全性、高稳定性的存储单元的发展，示例如区块链，提高了电子证据在保存和查证等方面的可靠性和稳定性。此外，提高电子证据的模态丰富度，也能够提高电子证据的公信力，例如在存储目标对象的图片类证据的同时，存储对应的合同、表单、文本等文本类证据，将目标对象的图片、视频等非格式化的电子证据和对应的文档文件等进行组合存储，可以丰富目标对象的电子证据的模态丰富度。

但是，在电子证据的上传或存储过程中，可能会发生同一对象的不同模态的电子证据不相关的情况，可能会导致该对象的电子证据的真伪性难以判断，降低了电子证据的可信度。

发明内容

鉴于上述问题，提出了本申请以便提供一种电子证据相关性标定方法、装置、设备及存储介质，以实现多模态电子证据的相关性的标定任务。

具体方案如下：

第一方面，提供了一种电子证据相关性标定方法，包括：

提取文本态电子证据的文本特征，提取图片态电子证据的图片特征；

对于所述文本特征和所述图片特征中的每一特征，基于注意力机制计算所述特征中的各组成元素间的相关性，利用所述相关性对所述特征进行更新，得到更新后的文本特征和更新后的图片特征；

融合所述更新后的文本特征和所述更新后的图片特征，得到融合特征；

根据所述融合特征，标定所述文本态电子证据和所述图片态电子证据的相关性。

第二方面，提供了一种电子证据相关性标定装置，包括：

文本特征提取模块，用于提取文本态电子证据的文本特征；

图片特征提取模块，用于提取图片态电子证据的图片特征；

模内注意力模块，用于对于所述文本特征和所述图片特征中的每一特征，基于注意力机制计算所述特征中的各组成元素间的相关性，利用所述相关性对所述特征进行更新，得到更新后的文本特征和更新后的图片特征；

融合模块，用于融合所述更新后的文本特征和所述更新后的图片特征，得到融合特征；

相关性标定模块，用于根据所述融合特征，标定所述文本态电子证据和所述图片态电子证据的相关性。

第三方面，提供了一种电子证据相关性标定设备，包括：存储器和处理器；

所述存储器，用于存储程序；

所述处理器，用于执行所述程序，实现上述的电子证据相关性标定方法的各个步骤。

第四方面，提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述的电子证据相关性标定方法的各个步骤。

借由上述技术方案，本申请首先对不同模态的电子证据进行特征提取，而后利用注意力机制分别对提取到的文本特征和图片特征进行更新，在该过程中，考虑了本模态特征中的各组成元素之间的相关性，并且利用相关性对特征进行了更新，相较于直接提取到的特征，更新后的特征更能够反映电子证据的真实含义，使得后续可以标定出更准确的电子证据相关性，对更新后的文本特征和更新后的图片特征进行融合，最后根据融合特征标定出不同模态的电子证据的相关性，实现多模态电子证据的相关性标定任务，提高了所标定的电子证据相关性的准确性。

示例性的，在实际应用中，可以在存储多模态的电子证据之前，对待存储的电子证据进行相关性标定，基于标定出的相关性确定待存储的电子证据的真伪，在相关性大于预设的真阈值时，认为待存储的电子证据为真，允许存储所述待存储的电子证据，在相关性小于预设的假阈值时，认为待存储的电子证据为假，进行提醒或拒绝存储，从而提高所存储的电子证据的可信度。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1为本申请实施例提供的一种电子证据相关性标定方法的流程示意图；

图2为本申请实施例提供的一种多模态异构图注意力网络的结构示意图；

图3为本申请实施例提供的一种图片特征提取模块的结构示意图；

图4为本申请实施例提供的另一种电子证据相关性标定方法的流程示意图；

图5本申请实施例提供的另一种多模态异构图注意力网络的结构示意图；

图6为本申请实施例提供的一种电子证据相关性标定装置的结构示意图；

图7为本申请实施例提供的电子证据相关性标定设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请提供了一种电子证据相关性标定方法、装置、设备及存储介质，可以实现多模态电子证据的相关性的标定任务。

本申请方案可以基于具备数据处理能力的终端实现，该终端可以是电脑、服务器、云端等。

接下来，结合图1所示，本申请提供的电子证据相关性标定方法可以包括如下步骤S101-S104：

步骤S101、提取文本态电子证据的文本特征，提取图片态电子证据的图片特征。

需要说明的是，所述图片态电子证据可以是拍摄得到的图片或视频，对于视频证据，可以提取其中的若干帧图像，将提取到的图像作为所述视频证据的图片态电子证据。所述文本态电子证据，可以是指用于说明所述图片态电子证据的文本或与所述图片态电子证据对应的合同、表单等文本类文件，此外，所述文本态电子证据也可以是文本图片的文本识别结果。

步骤S102、对所述文本特征和所述图片特征进行更新，得到更新后的文本特征和更新后的图片特征。

具体的，上述的步骤S102可以包括下述的第一部分和第二部分：

第一部分、基于注意力机制计算所述文本特征中的各组成元素间的相关性，利用所述相关性对所述文本特征进行更新，得到更新后的文本特征。

需要说明的是，第一部分中的所述相关性指的是所述文本特征中的各组成元素间的相关性，所述文本特征可以表示为文本特征矩阵，其组成元素可以是指特征词向量。可选的，上述的过程可以包括：

基于注意力机制，生成所述文本特征矩阵的query矩阵Q

第二部分、基于注意力机制计算所述图片特征中的各组成元素间的相关性，利用所述相关性对所述图片特征进行更新，得到更新后的图片特征。

需要说明的是，第二部分中的所述相关性指的是所述图片特征中的各组成元素间的相关性，所述图片特征可以表示为图片特征矩阵R，其组成元素可以是指图片区域特征向量。可选的，所述更新后的图片特征R1=Attention（Q

步骤S103、融合所述更新后的文本特征和所述更新后的图片特征，得到融合特征。

步骤S104、根据所述融合特征，标定所述文本态电子证据和所述图片态电子证据的相关性。

上述的电子证据相关性标定方法，首先对不同模态的电子证据进行特征提取，而后基于注意力机制对提取到的文本特征和图片特征进行更新，在该过程中，考虑了本模态特征中的各组成元素之间的相关性，并且利用相关性更新了特征，相较于直接提取到的特征，更新后的特征更能够反映电子证据的真实含义，使得后续可以标定出更准确的电子证据相关性，最后根据由更新后的文本特征和更新后的图片特征融合成的融合特征，标定出不同模态的电子证据的相关性，实现了多模态电子证据的相关性标定任务，并且所标定的电子证据相关性的准确性较高。

在本申请提供的一些实施例中，本申请提供的电子证据相关性标定方法可以通过预训练的多模态异构图注意力网络实现的。

其中，所述多模态异构图注意力网络可以是利用标注有对应的相关性的文本态训练数据和图片态训练数据训练得到的模型。

图2示出了本申请实施例提供的一种多模态异构图注意力网络的结构示意图。结合图2所示，在一种可能的实现方式中，所述多模态异构图注意力网络可以包括特征提取模块a、多模态特征融合模块b和相关性标定模块c，其中，所述特征提取模块a可以包括文本特征提取模块a1和图片特征提取模块a2，所述多模态特征融合模块b可以包括模内注意力模块b1和融合模块b2。

下面依次对所述多模态异构图注意力网络的各组成模块进行说明。

所述文本特征提取模块a1，可以用于提取所述文本态电子证据的文本特征。利用文本特征提取模块a1可以对文本态电子证据中的各词之间的特征关系进行捕捉，得到能够表征所述文本态电子证据的含义的文本特征。

可选的，所述文本特征的提取过程，可以包括下述的步骤A-B：

步骤A、获取所述文本态电子证据的词向量表示。

步骤B、基于所述词向量表示，提取所述文本态电子证据中的各词之间的文本特征关系，由所述文本特征关系生成文本特征。

示例性的，上述的步骤A可以利用预训练的语言模型BERT实现，上述的步骤B可以利用双向门控循环单元Bi-GRU实现，具体的，利用BERT获得文本态电子证据的语义表示，得到对应的词向量初始化表示，而后利用Bi-GRU对词向量的初始化表示进行特征提取，得到文本特征，需要说明的是，利用BERT和Bi-GRU可以提取到用于表征词之间的依赖关系的特征关系，以及用于表征词之间的上下文关系的特征关系。

此外，还可以利用BERT实现上述的步骤A-B，需要说明的是，利用BERT可以提取到词之间的依赖关系。

所述图片特征提取模块a2，可以用于提取所述图片态电子证据的图片特征。

需要说明的是，不同层次的特征之间具有一定的依赖性，例如，对于图片的特征提取结果，高层次的特征对象一般由中层次的特征纹理组成，中层次的特征纹理一般由低层次的特征线组成，将不同层次的特征按照层次由低到高的顺序进行排列，可以得到一组序列数据，而循环神经网络（RNN）一般以序列数据为输入，由RNN的内部网络对序列间的特征关系进行捕捉，而后以序列的形式输出特征。

基于上述内容，在一种可能的实现方式中，所述图片特征提取模块a2可以包括循环神经网络和串联的预设数量个卷积神经网络。

所述串联的预设数量个卷积神经网络用于，对所述图片态电子证据进行多层次的特征提取，得到不同层次的图片特征提取结果。

所述循环神经网络用于，提取各层次的图片特征提取结果之间的图片特征关系，由所述图片特征关系生成图片特征。

相较于单纯的VGG网络或者ResNet网络，上述结构的图片特征提取模块a2，考虑了不同层次的图片特征提取结果之间的特征关系，可以更好的实现图片特征提取任务。

图3为本申请实施例提供的一种图片特征提取模块的结构示意图，结合图3所示，图片特征提取模块a2可以包括串联的5个卷积神经网络a2_1~a2_5和循环神经网络a2_6，卷积神经网络a2_1~a2_5依次对图片态电子证据进行不同层次的特征提取，将各自的图片特征提取结果输入到循环神经网络a2_6，通过循环神经网络a2_6对不同层次的图片特征提取结果之间的顺序依赖性进行建模，得到了图片特征，所述图片特征可以表示为图片特征矩阵R。可选的，所述卷积神经网络a2_1~a2_5可以是结构相同的5个VGG19网络。

所述模内注意力模块b1，可以用于对所述文本特征和所述图片特征进行更新，其更新过程可以包括：对于所述文本特征和所述图片特征中的每一特征，基于注意力机制计算所述特征中的各组成元素间的相关性，利用所述相关性对所述特征进行更新，得到更新后的文本特征和更新后的图片特征。其他表述可以参照上述的步骤S102。

所述融合模块b2，可以用于融合所述更新后的文本特征和所述更新后的图片特征，得到融合特征。

在一种可能的实现方式中，所述融合模块b2融合所述更新后的文本特征和所述更新后的图片特征，得到融合特征的过程，可以包括下述的步骤C-D：

步骤C、分别对所述更新后的文本特征和所述更新后的图片特征进行池化处理，得到相同维度的池化后的文本特征和池化后的图片特征。

可选的，所述池化处理可以是最大池化处理，示例性的，池化后的文本特征E1’=MaxPool(E1)，池化后的图片特征R1’=MaxPool(R1)，其中，参数E1为更新后的文本特征，参数R1为更新后的图片特征。

步骤D、对所述池化后的文本特征和所述池化后的图片特征进行拼接，得到融合特征。

所述相关性标定模块c，可以用于根据所述融合特征，标定所述文本态电子证据和所述图片态电子证据的相关性。

具体的，标定相关性的过程可以包括：

对所述融合特征进行一维化处理，得到一维的融合特征，利用激活函数为softmax的全连接层FC，对所述一维的融合特征进行相关性标定，得到所述文本态电子证据和所述图片态电子证据的相关性。

通过上述的全连接层FC可以将所述一维的融合特征投射到二分类目标空间，得到电子证据相关性。

特殊的，对于一组电子证据中存在若干个文本态电子证据和若干个图片态电子证据的情况下，可以由一个文本态电子证据和一个图片态电子证据构成一个电子证据对，而后应用本申请方案确定各个文本态电子证据和各个图片态电子证据的相关性，将相关性大于预设的真阈值的电子证据对标记为真实证据对，将相关性小于预设的假阈值的电子证据对标记为虚假证据对，根据真实证据对和虚假证据对的大小关系，在真实证据对的数量较多的情况下，确定该组电子证据中的文本态电子证据和图片态电子证据是相关的，该组电子证据是真实的。

图4是根据本申请实施例示出的另一种电子证据相关性标注方法的流程示意图。结合图4所示，该方法可以包括如下步骤：

步骤S201和上述的步骤S101一致，在此不再赘述。

步骤S202、对所述文本特征和所述图片特征进行加权，得到加权后的文本特征和加权后的图片特征。

具体的，上述的步骤S202可以包括下述的步骤F-G：

步骤F、基于注意力机制计算所述文本特征和所述图片特征的第一相关性权重，利用所述第一相关性权重对所述图片特征进行加权，得到加权后的文本特征。

步骤G、基于注意力机制计算所述图片特征和所述文本特征的第二相关性权重，利用所述第二相关性权重对所述文本特征进行加权，得到加权后的图片特征。

具体的，所述文本特征可以表示为文本特征矩阵E，所述图片特征可以表示为图片特征矩阵R，在一种可能的实现方式中，所述第一相关性权重可以表示为softmax(Q

步骤S203、对所述加权后的文本特征和所述加权后的图片特征进行更新，得到更新后的文本特征和更新后的图片特征。

需要说明的是，步骤S203所采用的特征更新的方法与上述的步骤S102一致，可以参照上文描述，两步骤的区别在于，步骤S203的特征更新的对象为加权后的文本特征和加权后的图片特征，步骤S102的特征更新的对象为步骤S101提取到的文本特征和图片特征。

步骤S204-S205与上述的步骤S103-S104一致，在此不再赘述。

上述的电子证据相关性标定方法，考虑了不同模态的电子证据之间的相关性，并且通过捕捉同一模态的电子证据内部的特征关系，对用于表征模态间特征关系的加权后的文本特征和加权后的图片特征进行了更新，使得后续可以标定出更为准确的电子证据相关性。

图5本申请实施例提供的另一种多模态异构图注意力网络的结构示意图，利用图5所示的网络可以实现上述的电子证据相关性标定方法。

结合图5所示，该网络可以包括特征提取模块a、多模态特征融合模块b和相关性标定模块c，其中，所述特征提取模块a可以包括文本特征提取模块a1和图片特征提取模块a2，所述多模态特征融合模块b可以包括模间注意力模块b0、模内注意力模块b1和融合模块b2。

具体的，文本特征提取模块a1对文本态电子证据进行特征提取，得到文本特征E，图片特征提取模块a2对图片态电子证据进行特征提取，得到图片特征R，模间注意力模块b0对文本特征E和图片特征R进行加权，得到加权后的文本特征E0和加权后的图片特征R0，模内注意力模块b1对加权后的文本特征E0和加权后的图片特征R0进行更新，得到更新后的文本特征E1和更新后的图片特征R1，融合模块b2融合更新后的文本特征E1和更新后的图片特征R1，得到融合特征V，相关性标定模块c根据融合特征V标定出文本态电子证据和图片态电子证据的相关性。

需要说明的是，所述模间注意力模块b0对文本特征和图片特征进行加权的过程可以包括下述的步骤H-I：

步骤H、基于注意力机制计算所述文本特征和所述图片特征的第一相关性权重，利用所述第一相关性权重对所述图片特征进行加权，得到加权后的文本特征。

步骤I、基于注意力机制计算所述图片特征和所述文本特征的第二相关性权重，利用所述第二相关性权重对所述文本特征进行加权，得到加权后的图片特征。

对其他模块的说明可以参照上文描述，在此不再赘述。

下面对本申请实施例提供的电子证据相关性标定装置进行描述，下文描述的电子证据相关性标定装置与上文描述的电子证据相关性标定方法可相互对应参照。

参见图6，图6为本申请实施例公开的一种电子证据相关性标定装置的结构示意图。

如图6所示，该装置可以包括：

文本特征提取模块11，用于提取文本态电子证据的文本特征；

图片特征提取模块12，用于提取图片态电子证据的图片特征；

模内注意力模块13，用于对于所述文本特征和所述图片特征中的每一特征，基于注意力机制计算所述特征中的各组成元素间的相关性，利用所述相关性对所述特征进行更新，得到更新后的文本特征和更新后的图片特征；

融合模块14，用于融合所述更新后的文本特征和所述更新后的图片特征，得到融合特征；

相关性标定模块15，用于根据所述融合特征，标定所述文本态电子证据和所述图片态电子证据的相关性。

可选的，所述电子证据相关性标定装置的各个模块为组成预训练的多模态异构图注意力网络的各个功能模块，所述多模态异构图注意力网络可以是利用标注有对应的相关性的文本态训练数据和图片态训练数据训练得到的模型，所述电子证据相关性标定装置的各个模块和所述多模态异构图注意力网络的各个模块可以相互参照对应。

可选的，所述文本特征提取模块可以包括词向量表示获取模块和文本特征生成模块；

所述词向量表示获取模块用于，获取所述文本态电子证据的词向量表示；

所述文本特征生成模块用于，基于所述词向量表示，提取所述文本态电子证据中的各词之间的文本特征关系，由所述文本特征关系生成文本特征。

可选的，所述图片特征提取模块可以包括循环神经网络和串联的预设数量个卷积神经网络；

所述串联的预设数量个卷积神经网络用于，对所述图片态电子证据进行多层次的特征提取，得到不同层次的图片特征提取结果；

所述循环神经网络用于，提取各层次的图片特征提取结果之间的图片特征关系，由所述图片特征关系生成图片特征。

可选的，所述融合模块可以包括池化模块和拼接模块；

所述池化模块用于，分别对所述更新后的文本特征和所述更新后的图片特征进行池化处理，得到相同维度的池化后的文本特征和池化后的图片特征；

所述拼接模块用于，对所述池化后的文本特征和所述池化后的图片特征进行拼接，得到融合特征。

可选的，该装置还可以包括模间注意力模块，所述模间注意力模块串联在特征提取模块和所述模内注意力模块之间，所述特征提取模块由所述文本特征提取模块和所述图片特征提取模块构成；

所述模间注意力模块用于，基于注意力机制计算所述文本特征和所述图片特征的第一相关性权重，利用所述第一相关性权重对所述图片特征进行加权，得到加权后的文本特征，以及，基于注意力机制计算所述图片特征和所述文本特征的第二相关性权重，利用所述第二相关性权重对所述文本特征进行加权，得到加权后的图片特征，以供所述模内注意力模块对所述加权后的文本特征和所述加权后的图片特征进行更新。

本申请实施例提供的电子证据相关性标定装置可应用于电子证据相关性标定设备，如终端：手机、电脑等。可选的，图7示出了电子证据相关性标定设备的硬件结构框图，参照图7，电子证据相关性标定设备的硬件结构可以包括：至少一个处理器1，至少一个通信接口2，至少一个存储器3和至少一个通信总线4；

在本申请实施例中，处理器1、通信接口2、存储器3、通信总线4的数量为至少一个，且处理器1、通信接口2、存储器3通过通信总线4完成相互间的通信；

处理器1可能是一个中央处理器CPU，或者是特定集成电路ASIC（ApplicationSpecific Integrated Circuit），或者是被配置成实施本发明实施例的一个或多个集成电路等；

存储器3可能包含高速RAM存储器，也可能还包括非易失性存储器（non-volatilememory）等，例如至少一个磁盘存储器；

其中，存储器存储有程序，处理器可调用存储器存储的程序，所述程序用于：

提取文本态电子证据的文本特征，提取图片态电子证据的图片特征；

对于所述文本特征和所述图片特征中的每一特征，基于注意力机制计算所述特征中的各组成元素间的相关性，利用所述相关性对所述特征进行更新，得到更新后的文本特征和更新后的图片特征；

融合所述更新后的文本特征和所述更新后的图片特征，得到融合特征；

根据所述融合特征，标定所述文本态电子证据和所述图片态电子证据的相关性。

可选的，所述程序的细化功能和扩展功能可参照上文描述。

本申请实施例还提供一种存储介质，该存储介质可存储有适于处理器执行的程序，所述程序用于：

提取文本态电子证据的文本特征，提取图片态电子证据的图片特征；

对于所述文本特征和所述图片特征中的每一特征，基于注意力机制计算所述特征中的各组成元素间的相关性，利用所述相关性对所述特征进行更新，得到更新后的文本特征和更新后的图片特征；

融合所述更新后的文本特征和所述更新后的图片特征，得到融合特征；

根据所述融合特征，标定所述文本态电子证据和所述图片态电子证据的相关性。

可选的，所述程序的细化功能和扩展功能可参照上文描述。

示例性的，在实际应用中，可以在存储多模态的电子证据之前，对待存储的电子证据进行相关性标定，基于标定出的相关性确定待存储的电子证据的真伪，在相关性大于预设的真阈值时，认为待存储的电子证据为真，允许存储所述待存储的电子证据，在相关性小于预设的假阈值时，认为待存储的电子证据为假，进行提醒或拒绝存储，从而提高所存储的电子证据的可信度。

例如，可以将上述的电子证据相关性标定方案应用到开展电力工程基建、线路设备运检等生产经营活动中，在上述的生产经营活动中，存在着取证手段有限、证据效力不高及传统司法鉴定服务不够便捷等问题，通过构建相应的电子证据管理体系，可以实现电子证据采集、固化、传输、封存、查验、鉴定等全生命周期的可信存储，从而增强电子证据公信力，提高取证效率和管控能力，同时，结合区块链所具有不可篡改性、透明性、安全性等特点，可以实现证据真伪性、合规性鉴定以及可信追踪和监测等任务。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间可以根据需要进行组合，且相同相似部分互相参见即可。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。