一种基于人因智能的数据分类方法、装置和计算机设备

【技术领域】

本发明涉及计算机技术领域，尤其涉及一种基于人因智能的数据分类方法、装置和计算机设备。

【背景技术】

目前的数据分类方法仅针对某一特定领域(图像、情绪识别、临床医学或认知功能)中对数据进行分类，目前的数据分类方法往往无法拓展到其他领域，而且基于单模态数据(Unimodal Data，简称UMD)的分类效果对数据本身有非常大的依赖，一些数据对外部环境高度敏感，不同的受试对象存在基线漂移等问题，从而导致目前的数据分类方法的分类准确性较低。

【发明内容】

有鉴于此，本发明实施例提供了一种基于人因智能的数据分类方法、装置和计算机设备，用以将数据分类方法拓展到其他领域的同时，提高数据分类方法的分类准确性。

一方面，本发明实施例提供了一种基于人因智能的数据分类方法，包括：

获取第一数据和第二数据，所述第一数据用于表征用户的大脑认知神经反应活动，所述第二数据用于表征用户看到的图像；

基于所述第一数据、所述第二数据和损失函数训练第一特征编码器和第二特征编码器，生成第一特征数据与第一特征数据对应的第二特征数据；

将所述第一特征数据与第一特征数据对应的第二特征数据输入分类器，以对第一数据与第一数据对应的第二数据进行分类。

可选地，所述基于所述第一数据、第二数据和损失函数训练所述第一特征编码器和所述第二特征编码器，生成第一数据与第一数据对应的第二数据，包括：

将所述第一数据输入所述第一特征编码器，输出第一特征数据集；

将所述第二数据输入所述第二特征编码器，输出第二特征数据集；

在第一特征数据集中选取第一特征数据；

在第二特征数据集中选取第一特征数据对应的第二特征数据与除第二特征数据之外的第三特征数据；

基于所述损失函数对所述第一特征数据、所述第二特征数据和所述第三特征数据进行训练，生成所述第一特征数据与所述第一特征数据对应的第二特征数据。

可选地，当所述第一数据与所述第二数据之间的相似性大于所述第一数据与所述第三数据之间的相似性时，所述损失函数的值为0。

可选地，所述分类器包括向量逐元素求差模块、反向传播BP神经网络模型、卷积模块和池化模块。

可选地，所述将所述第一特征数据与第一特征数据对应的第二特征数据输入分类器之后，还包括：

对所述第一特征数据与第二特征数据进行向量逐元素求差计算，生成第一计算数据；

将所述第一计算数据输入BP神经网络模型，生成第二计算数据；

对所述第二计算数据进行卷积和空间平均池化处理，生成所述第一数据对应的第三计算数据与所述第二数据对应的第四计算数据；

对所述第一特征数据、所述第三计算数据、所述第二特征数据和所述第四计算数据进行计算，生成输出数据。

可选地，所述对所述第一数据、所述第三计算数据、所述第二数据和所述第四计算数据进行计算，生成输出数据，包括：

对所述第一特征数据和所述第三计算数据进行乘法计算，生成第一训练数据；

对所述第二特征数据和所述第四计算数据进行乘法计算，生成第二训练数据；

将所述第一训练数据与所述第二训练数据进行加法计算，生成输出数据，所述输出数据包括所述第一训练数据与所述第二训练数据和分类数据的对应关系，所述对应关系用于对第一数据与第一数据对应的第二数据进行分类。

可选地，所述第一特征编码器为脑电特征编码器，所述第二特征编码器为视觉特征编码器。

可选地，所述获取第一数据和第二数据，包括：

从脑电设备中采集第一数据，并根据所述第一数据解码出所述第二数据。

另一方面，本发明实施例提供了一种基于人因智能的数据分类装置，包括：

获取模块，用于获取第一数据和第二数据，所述第一数据用于表征用户的大脑认知神经反应活动，所述第二数据用于表征用户看到的图像；

第一生成模块，用于基于所述第一数据、所述第二数据和损失函数训练所述第一特征编码器和所述第二特征编码器，生成第一特征数据与第一特征数据对应的第二特征数据；

分类模块，用于将所述第一特征数据与第一特征数据对应的第二特征数据输入分类器，以对第一数据与第一数据对应的第二数据进行分类。

另一方面，本发明实施例提供了一种存储介质，所述存储介质包括存储的程序，其中，在所述程序运行时控制所述存储介质所在设备执行上述基于人因智能的数据分类方法。

另一方面，本发明实施例提供了一种计算机设备，包括存储器和处理器，所述存储器用于存储包括程序指令的信息，所述处理器用于控制程序指令的执行，其中，所述程序指令被处理器加载并执行时实现上述基于人因智能的数据分类方法的步骤。

本发明实施例提供的基于人因智能的数据分类方法的技术方案中，获取第一数据和第二数据，第一数据用于表征用户的大脑认知神经反应活动，第二数据用于表征用户看到的图像；基于第一数据、第二数据和损失函数训练第一特征编码器和第二特征编码器，生成第一特征数据与第一特征数据对应的第二特征数据；将第一特征数据与第一特征数据对应的第二特征数据输入分类器，以对第一数据与第一数据对应的第二数据进行分类，能够将数据分类方法拓展到其他领域的同时，提高数据分类方法的分类准确性。

【附图说明】

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本发明一实施例提供的一种基于人因智能的数据分类方法的流程图；

图2为本发明一实施例提供的一种基于人因智能的数据分类方法的示意图；

图3为本发明一实施例提供的一种基于损失函数训练第一特征编码器和第二特征编码器的流程图；

图4为本发明一实施例提供的一种分类器的结构示意图；

图5为本发明一实施例提供的对第一脑电特征数据与第一特征数据对应的第二特征数据进行分类的流程图；

图6为本发明一实施例提供的一种基于人因智能的数据分类装置的结构示意图；

图7为本发明实施例提供的一种计算机设备的示意图。

【具体实施方式】

为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描述。

应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，甲和/或乙，可以表示：单独存在甲，同时存在甲和乙，单独存在乙这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。

本发明一实施例中，基于机器学习模型和深度学习模型的数据分类方法提出了定制化解决方案，举例来说就是在某一特定领域(图像、情绪识别、临床医学或认知功能)中对数据进行分类，传统的研究往往是少数类别的分类(比如情绪分类常用七种类别或驾驶疲劳的二分类)，这些方法往往无法拓展到其他应用，而且基于单模态数据的分类效果对数据本身有非常大的依赖，脑电(Electroencephalogram，简称EEG)数据对外部环境高度敏感，不同的受试对象存在基线漂移等问题，从而导致这些算法的分类准确性较低。

本发明一实施例中，提出了一种基于可分离卷积的用于脑电数据分类的紧凑型卷积神经网络EEGNet，可以应用于不同的脑电实验。

本发明一实施例中，在参考了EEGNet中的深度可分离卷积网络的同时，提出了基于多模态的结构模型，可用来学习用于图像数据和与之对应的脑电数据，在验证了图像数据可以从脑电数据中提取后，可以通过孪生网络模型对视觉特征编码器和脑电特征编码器进行训练，提高视觉特征和脑电特征之间兼容性。本发明实施例中提出的多模态模型能从脑电数据中解码出图像数据，进而执行各种与视觉相关的深度学习任务，而传统方法大多是针对某一种问题单独训练，它们能执行的任务单一，也不具有扩展性。本发明实施例中通过最大限度地提高深度学习模型与脑电数据的相似性，揭示与视觉感知有关的神经过程。

本发明一实施例提供的一种基于人因智能的数据分类方法，图1为本发明一实施例提供的一种基于人因智能的数据分类方法的流程图，图2为本发明一实施例提供的一种基于人因智能的数据分类方法的示意图，如图1或图2所示，该方法包括：

步骤102、获取第一数据和第二数据，第一数据用于表征用户的大脑认知神经反应活动，第二数据用于表征用户看到的图像。

本发明一实施例中，第一数据包括脑电数据，第二数据包括图像数据。

本发明一实施例中，可以从脑电设备中采集第一数据，并根据第一数据解码出第二数据。例如，脑电设备包括多通道脑电采集系统。

本发明一实施例中，可以同步采集每个用户的脑电数据ei和该用户看到的图像数据vi，并将全部数据集记为D＝{e

步骤104、基于第一数据、第二数据和损失函数训练第一特征编码器和第二特征编码器，生成第一特征数据与第一特征数据对应的第二特征数据。

本发明一实施例中，训练第一特征编码器和第二特征编码器的训练样本可以包括脑电数据ei、脑电数据ei对应的图像数据vi，以及除图像数据vi之外的图像数据vj组成的三元样本(ei，vi，vj)。重复上述操作可以得到包含N*N个三元样本的训练集。

图3为本发明一实施例提供的一种基于损失函数训练第一特征编码器和第二特征编码器的流程图，如图3所示，步骤104包括：

步骤1042、将第一数据输入第一特征编码器，输出第一特征数据集。

本发明一实施例中，第一特征编码器包括脑电特征编码器。其中，脑电特征编码器用于将16/32/64导的脑电数据ei压缩到指定的p纬度。

本发明一实施例中，脑电特征编码器结构包括输入层、第一卷积模块、第二卷积模块和全连接层组成。

其中，输入层将脑电数据输入脑电特征编码器，维度为C×T，其中C表示电极通道数，T表示时间点数。

第一卷积模块包括2D卷积层、深度可分离卷积层、激活函数1层和平均池化1层。2D卷积层使用个数为N的卷积核大小为1×64的2D卷积对输入的脑电数据进行卷积计算，再经过批归一化处理后得到特征1层，输出维度为C×T×N。深度可分离卷积层使用个数为K×N的卷积核大小为C×1深度可分离卷积对特征1层进行卷积操作，再经过批归一化处理后得到特征2层，特征2层的尺寸为1×T×(K×N)。激活函数1层使用缩放指数线性单元(ScaledExponential Linear Unit，简称SELU)激活函数对特征2层进行激活处理，处理后维度保持不变。平均池化1层使用大小为1×4的卷积核进行平均池化操作，输出维度为1×(T/4)×(K×N)。

第二卷积模块包括空间卷积层、激活函数2层和平均池化2层。空间卷积层使用个数为M大小为1×16的卷积核，进行空间卷积操作，计算方式为逐点卷积，在经过批归一化后的到尺寸为1×(T/4)×M的特征3层。激活函数2层使用SELU激活函数对特征3层进行激活处理。平均池化2层使用大小为1×8的卷积核进行平均池化操作，输出维度为1×(T/32)×M。

全连接层将平均池化2层的输出结果展平为(T/32)*M的一维向量，该一维向量的集合就是第一特征数据集。

步骤1044、将第二数据输入第二特征编码器，输出第二特征数据集。

本发明一实施例中，第二特征编码器包括视觉特征编码器。其中，视觉特征编码器用于将图像数据vi压缩到指定的p纬度。

本发明一实施例中，视觉特征编码器使用改进的VGG19算法进行特征编码，在原始的VVG19算法中最终输出维度1×1000的基础上再接入一次全连接层，将最终输出指定到(T/32)*M，该向量的集合就是第二特征数据集。

步骤1046、在第一特征数据集中选取第一特征数据。

具体地，可以在第一特征数据集中选取第一特征数据Ei。

步骤1048、在第二特征数据集中选取第一特征数据对应的第二特征数据与除第二特征数据之外的第三特征数据。

具体地，可以在第二特征数据集中选取第一特征数据Ei对应的第二特征数据Vi与除第二特征数据Vi之外的第三特征数据Vj。

本发明一实施例中，可以进行多模态学习联合编码，以找到第一特征数据和第二特征数据的映射关系。

步骤1050、基于损失函数对第一特征数据、第二特征数据和第三特征数据进行训练，生成第一特征数据与第一特征数据对应的第二特征数据。

具体地，通过公式L(e

本发明一实施例中，当第一数据ei与第二数据vi之间的相似性大于第一数据ei与第三数据vj之间的相似性时，损失函数的值为0。

步骤106、将第一特征数据与第一特征数据对应的第二特征数据输入分类器，以对第一数据与第一数据对应的第二数据进行分类。

本发明一实施例中，分类器包括向量逐元素求差模块、反向传播(BackPropagation，简称BP)神经网络模型、卷积模块和池化模块。

本发明一实施例中，图4为本发明一实施例提供的一种分类器的结构示意图，图5为本发明一实施例提供的对第一脑电特征数据与第一特征数据对应的第二特征数据进行分类的流程图，如图4或图5所示，步骤106包括：

步骤1062、对第一特征数据与第二特征数据进行向量逐元素求差计算，生成第一计算数据。

具体地，对第一特征数据Ei与第二特征数据Vi进行向量逐元素求差计算，得到与第一特征数据Ei和第二特征数据Vi相同维度的第一计算数据EF。

步骤1064、将第一计算数据输入BP神经网络模型，生成第二计算数据。

具体地，将第一计算数据输入BP神经网络模型，生成第二计算数据EG。

步骤1066、对第二计算数据进行卷积和空间平均池化处理，生成第一数据对应的第三计算数据与第二数据对应的第四计算数据。

具体地，使用一组1×1卷积对第二计算数据EG进行卷积操作得到第一深度特征数据EGL，第一深度特征数据EGL经过空间平均池化处理，生成第三计算数据α；使用另一组1×1卷积对第二计算数据EG进行卷积操作得到第二深度特征数据EGR，第二深度特征数据EGR经过空间平均池化处理，生成第四计算数据β。

步骤1068、对第一数据和第三计算数据进行乘法计算，生成第一训练数据。

具体地，对第一特征数据Vi和第三计算数据α进行乘法计算，生成第一训练数据。

步骤1070、对第二数据和第四计算数据进行乘法计算，生成第二训练数据。

具体地，对第二特征数据Ei和第四计算数据β进行乘法计算，生成第二训练数据。

步骤1072、将第一训练数据与第二训练数据进行加法计算，生成输出数据，输出数据包括第一训练数据与第二训练数据和分类数据的对应关系，对应关系用于对第一数据与第一数据对应的第二数据进行分类。

具体地，加法计算可以包括向量加法计算。

本发明一实施例中，可以对第一数据与第一数据对应的第二数据进行情绪七分类或疲劳二分类。其中，情绪七分类包括愤怒、快乐、悲伤、害怕、惊讶、厌恶和羞耻，疲劳二分类包括疲劳和不疲劳。例如，第一数据ei与第二数据vi对应的情绪为“快乐”。

本发明实施例提供的技术方案中，获取第一数据和第二数据，第一数据用于表征用户的大脑认知神经反应活动，第二数据用于表征用户看到的图像；基于第一数据、第二数据和损失函数训练第一特征编码器和第二特征编码器，生成第一特征数据与第一特征数据对应的第二特征数据；将第一特征数据与第一特征数据对应的第二特征数据输入分类器，以对第一数据与第一数据对应的第二数据进行分类，能够将数据分类方法拓展到其他领域的同时，提高数据分类方法的分类准确性。

本发明实施例提供的技术方案中，提出了一种孪生网络模型的端到端脑电特征编码器和视觉特征编码器，这两种编码器能最大程度地模拟人类视觉系统的工作原理。

本发明一实施例提供了一种基于人因智能的数据分类装置。图6为本发明一实施例提供的一种基于人因智能的数据分类装置的结构示意图，如图6所示，该装置包括：获取模块11、第一生成模块12和分类模块13。

获取模块11用于获取第一数据和第二数据，第一数据用于表征用户的大脑认知神经反应活动，第二数据用于表征用户看到的图像。

第一生成模块12用于基于第一数据、第二数据和损失函数训练第一特征编码器和第二特征编码器，生成第一特征数据与第一特征数据对应的第二特征数据。

分类模块13用于将第一特征数据与第一特征数据对应的第二特征数据输入分类器，以对第一数据与第一数据对应的第二数据进行分类。

本发明一实施例中，第一生成模块12具体用于将第一数据输入第一特征编码器，输出第一特征数据集；将第二数据输入第二特征编码器，输出第二特征数据集；在第一特征数据集中选取第一特征数据；在第二特征数据集中选取第一特征数据对应的第二特征数据与除第二特征数据之外的第三特征数据；基于损失函数对第一特征数据、第二特征数据和第三特征数据进行训练，生成第一特征数据与第一特征数据对应的第二特征数据。

本发明一实施例中，当第一数据与第二数据之间的相似性大于第一数据与第三数据之间的相似性时，损失函数的值为0。

本发明一实施例中，分类器包括向量逐元素求差模块、反向传播BP神经网络模型、卷积模块和池化模块。

本发明一实施例中，该装置还包括：第二生成模块14、第三生成模块15、第四生成模块16和第五生成模块17。

第二生成模块14用于对第一特征数据与第二特征数据进行向量逐元素求差计算，生成第一计算数据。

第三生成模块15用于将第一计算数据输入BP神经网络模型，生成第二计算数据。

第四生成模块16用于对第二计算数据进行卷积和空间平均池化处理，生成第一数据对应的第三计算数据与第二数据对应的第四计算数据；

第五生成模块17用于对第一特征数据、第三计算数据、第二特征数据和第四计算数据进行计算，生成输出数据。

本发明一实施例中，第五生成模块17具体用于对第一特征数据和第三计算数据进行乘法计算，生成第一训练数据；对第二特征数据和第四计算数据进行乘法计算，生成第二训练数据；将第一训练数据与第二训练数据进行加法计算，生成输出数据，输出数据包括第一训练数据与第二训练数据和分类数据的对应关系，对应关系用于对第一数据与第一数据对应的第二数据进行分类。

本发明一实施例中，第一特征编码器为脑电特征编码器，第二特征编码器为视觉特征编码器。

本发明一实施例中，获取模块11具体用于从脑电设备中采集第一数据，并根据第一数据解码出第二数据。

本发明实施例提供的技术方案中，获取第一数据和第二数据，第一数据用于表征用户的大脑认知神经反应活动，第二数据用于表征用户看到的图像；基于第一数据、第二数据和损失函数训练第一特征编码器和第二特征编码器，生成第一特征数据与第一特征数据对应的第二特征数据；将第一特征数据与第一特征数据对应的第二特征数据输入分类器，以对第一数据与第一数据对应的第二数据进行分类，能够将数据分类方法拓展到其他领域的同时，提高数据分类方法的分类准确性。

本实施例提供的基于人因智能的数据分类装置可用于实现上述图1中的基于人因智能的数据分类方法，具体描述可参见上述基于人因智能的数据分类方法的实施例，此处不再重复描述。

本发明实施例提供了一种存储介质，存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述基于人因智能的数据分类方法的实施例的各步骤，具体描述可参见上述基于人因智能的数据分类方法的实施例。

本发明实施例提供了一种计算机设备，包括存储器和处理器，存储器用于存储包括程序指令的信息，处理器用于控制程序指令的执行，程序指令被处理器加载并执行时实现上述基于人因智能的数据分类方法的实施例的各步骤，具体描述可参见上述基于人因智能的数据分类方法的实施例。

图7为本发明实施例提供的一种计算机设备的示意图。如图7所示，该实施例的计算机设备20包括：处理器21、存储器22以及存储在存储器22中并可在处理器21上运行的计算机程序23，该计算机程序23被处理器21执行时实现实施例中的应用于基于人因智能的数据分类方法，为避免重复，此处不一一赘述。或者，该计算机程序被处理器21执行时实现实施例中应用于基于人因智能的数据分类装置中各模型/单元的功能，为避免重复，此处不一一赘述。

计算机设备20包括，但不仅限于，处理器21、存储器22。本领域技术人员可以理解，图7仅仅是计算机设备20的示例，并不构成对计算机设备20的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如计算机设备还可以包括输入输出设备、网络接入设备、总线等。

所称处理器21可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器22可以是计算机设备20的内部存储单元，例如计算机设备20的硬盘或内存。存储器22也可以是计算机设备20的外部存储设备，例如计算机设备20上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，存储器22还可以既包括计算机设备20的内部存储单元也包括外部存储设备。存储器22用于存储计算机程序以及计算机设备所需的其他程序和数据。存储器22还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本发明所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)或处理器(Processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。