基于多模态数据进行辨识的方法、电子设备及存储介质

技术领域

本公开涉及一种数据辨识技术，尤其涉及一种基于多模态数据进行辨识的方法、电子设备及计算机可读存储介质。

背景技术

在相关技术中，一般所称的信号分类技术多半是使用某些经训练的分类器(例如深度神经网络(deep neural network，DNN)、支持向量机(support vector machine，SVM)、随机森林(random forest)等)来对单一维度的信号/数据串进行分类。然而，此种分类方式在某些情况下可能难以达到理想的分类效果。

举例而言，在判断人类的心电信号是否出现异常时，医师一般是基于二维的心电图上的波形变化进行判断，而不是基于原始的一维心电数值/数据直接进行判读。

并且，在训练能基于一维心电信号进行判断的分类器时，由于一维心电信号记录的是随时间而变的心脏电生理活动(其单位为毫伏特)，因此分类器在训练中所学习到的可能只是电压变化量的特征，而无法学习到一些临床上重要的特征，例如RR区间(即，两个相邻心跳的R波之间的时长)的变化。另外，若让分类器仅基于二维心电图进行学习，则分类器可能无法学习到电压变化量的特征。

发明内容

有鉴于此，本公开提供一种基于多模态数据进行辨识的方法、电子设备及计算机可读存储介质，以期至少部分地解决上述技术问题。

本公开提供一种基于多模态数据进行辨识的方法，包括：取得第一数据串；将第一数据串馈入第一深度神经网络，其中，第一深度神经网络通过提取第一数据串的特征而产生第一特征图；基于第一数据串产生多维度数据，其中，多维度数据的维度高于第一数据串的维度；将多维度数据馈入第二深度神经网络，其中，第二深度神经网络通过提取多维度数据的特征而产生第二特征图；至少将第一特征图及第二特征图融合为特定特征向量；将特定特征向量馈入机器学习模型，其中，机器学习模型因应于特定特征向量而输出对应于第一数据串的辨识结果。

一种基于多模态数据进行辨识的电子设备，包括存储装置及处理器。存储装置存储一程序代码。处理器耦接存储装置，并存取程序代码以执行：取得第一数据串；将第一数据串馈入第一深度神经网络，其中，第一深度神经网络通过提取第一数据串的特征而产生第一特征图；基于第一数据串产生多维度数据，其中，多维度数据的维度高于第一数据串的维度；将多维度数据馈入第二深度神经网络，其中，第二深度神经网络通过提取多维度数据的特征而产生第二特征图；至少将第一特征图及第二特征图融合为特定特征向量；将特定特征向量馈入机器学习模型，其中，机器学习模型因应于特定特征向量而输出对应于第一数据串的辨识结果。

本公开提供一种计算机可读存储介质，上述计算机可读存储介质记录可执行的计算机程序，上述可执行的计算机程序由电子设备加载以执行以下步骤：取得第一数据串；将第一数据串馈入第一深度神经网络，其中，第一深度神经网络通过提取第一数据串的特征而产生第一特征图；基于第一数据串产生多维度数据，其中，多维度数据的维度高于第一数据串的维度；将多维度数据馈入第二深度神经网络，其中，第二深度神经网络通过提取多维度数据的特征而产生第二特征图；至少将第一特征图及第二特征图融合为特定特征向量；将特定特征向量馈入机器学习模型，其中，机器学习模型因应于特定特征向量而输出对应于第一数据串的辨识结果。

基于上述，本公开可在取得第一数据串之后，相应地取得对应的第一特征图。另外，本公开还可将第一数据串转换为对应的多维度数据，再取得对应的第二特征图。之后，本公开可通过特定的机制将第一特征图及第二特征图融合为特定特征向量，再由经训练的机器学习模型基于此特定特征向量而输出对应的辨识结果。借此，可让机器学习模型仅基于少量的训练数据即可达到良好的辨识效果，进而相应地降低用于对数据进行标注的时间及人力成本。

附图说明

将附图并入本说明书中并构成本说明书的一部分，结合附图以便进一步理解本公开的实施例。以下，将参照附图来描述本公开的实施例，并解释本公开的原理。

图1A是根据本公开的实施例绘示的基于一维数据串进行分类的示意图；

图1B是根据本公开的实施例绘示的对应于单一心跳的正常心电图；

图1C是根据本公开的实施例绘示的具有AF的患者的心电图；

图2A是根据本公开的实施例绘示的多个未包含AF病征的心电图；

图2B是根据本公开的实施例绘示的多个包含AF病征的心电图；

图3是根据本公开的实施例绘示的基于多模态数据进行辨识的电子设备示意图；

图4是根据本公开第一实施例绘示的基于多模态数据进行辨识的方法流程图；

图5A是根据本公开第一实施例绘示的应用场景图；

图5B是根据本公开第一实施例绘示的融合机制示意图；

图6是根据本公开第二实施例绘示的基于多模态数据进行辨识的方法流程图；

图7A是根据本公开第二实施例绘示的应用场景图；

图7B是根据本公开第二实施例绘示的融合机制示意图。

具体实施方式

为使本公开的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本公开作进一步的详细说明。

现将详细地参考本公开的示例性的实施例，示例性实施例的实例说明在附图中。只要有可能，相同元件符号在附图和描述中用来表示相同或相似部分。

图1A是根据本公开的实施例绘示的基于一维数据串进行分类的示意图。在图1A中，假设数据串110为从某患者测量到的一维心电信号，而分类器112例如是可判读数据串110中是否包含心房颤动(Atrial fibrillation，AF)病征的判读模型(例如是一深度学习网络/机器学习模型)。

如上述所提及的，分类器112可能在训练的过程中因无法学习到一些临床上重要的特征而无法达到良好的分类效果。以下将作进一步说明。

图1B是根据本公开的实施例绘示的对应于单一心跳的正常心电图。由图1B可看出，一个正常的心跳所对应的心电图将会包括P、Q、R、S、T等波形，其中，R对应于上述提及的R波，而P波例如是因应于心房除极所产生。

图1C是根据本公开的实施例绘示的具有AF的患者的心电图。由图1C可看出，其除了可看出不规则的心室节律之外，且也不存在源自于心房除极的P波，而这些临床上的特征都无法在分类器112的训练过程中让分类器112学习到。因此，若让分类器112基于对应于图1C的一维心电信号进行判读，将可能出现将图1C误判为无AF病征的情形。

图2A是根据本公开的实施例绘示的多个未包含AF病征的心电图。在本实施例中，由于心电图211的RR区间规律，所以应该可以正确地判别心电图211中未包含AF病征。然而，若让分类器112基于对应于心电图211的一维心电信号(例如，电压变化量)进行判读，则分类器112可能因未学习到RR区间会有不规则的现象而误判心电图211中包含AF病征。

此外，由于心电图212中存在较多噪声，因而造成RR区间出现看似不规则的情形。在此情况下，可能会出现将心电图212误判为包含AF病征的情形。然而，若让分类器112基于对应于心电图212的一维心电信号进行判读，则由于分类器112学习到的特征不同，因此仍能正确地判定心电图212中未包含AF病征。

图2B是根据本公开的实施例绘示的多个包含AF病征的心电图。在本实施例中，由于心电图221的RR区间不规律，所以应该可以正确地判别心电图221中包含AF病征。然而，若让分类器112基于对应于心电图221的一维心电信号(例如，电压变化量)进行判读，则分类器112可能因未学习到RR区间会有不规则的现象而误判心电图221中未包含AF病征。

此外，由于心电图222中存在巨大的T波，因此可能会难以辨识心电图222中是否包含AF病征。然而，若让分类器112基于对应于心电图222的一维心电信号进行判读，则由于分类器112学习到的特征不同，因此仍能正确地判定心电图222中包含AF病征。

有鉴于此，本公开提出一种基于多模态数据进行辨识的方法及设备，可以在融合多种维度的数据之后，据以作出较为准确的判断，以下将作进一步说明。

图3是根据本公开的实施例绘示的基于多模态数据进行辨识的电子设备示意图。在一些实施例中，电子设备300可实现为各式计算机设备及/或智能型设备。在图3中，电子设备300可包括存储装置302及处理器304。

存储装置302例如是任意型式的固定式或可移动式随机存取内存(Random AccessMemory，RAM)、只读存储器(Read-Only Memory，ROM)、闪存(Flash memory)、硬盘或其他类似装置或这些装置的组合，而可用以记录多个程序代码或模块。

处理器304耦接于存储电路302，并可为一般用途处理器、特殊用途处理器、传统的处理器、数字信号处理器、多个微处理器(microprocessor)、一个或多个结合数字信号处理器核心的微处理器、控制器、微控制器、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现场可编程门阵列(Field Programmable Gate Array，FPGA)、任何其他种类的集成电路、状态机、基于进阶精简指令集机器(Advanced RISC Machine，ARM)的处理器以及类似品。

在本公开的实施例中，处理器304可存取存储装置302中记录的模块、程序代码来实现本公开提出的基于多模态数据进行辨识的方法，其细节详述如下。

图4是根据本公开第一实施例绘示的基于多模态数据进行辨识的方法流程图。本实施例的方法可由图3的电子设备300执行，以下即结合图3所示的元件说明图4各步骤的细节。此外，为使本公开的概念更易于理解，以下还结合图5A作进一步说明，其中，图5A是根据本公开第一实施例绘示的应用场景图。

首先，在步骤S410中，处理器304可取得第一数据串D1。在不同的实施例中，第一数据串D1例如是由多个具单一维度的数据组成的数据串。为便于说明，以下假设第一数据串D1是上述提及的测量自某患者的一维心电信号，但可不限于此。

在一实施例中，在取得第一数据串D1之后，处理器304可先对第一数据串D1进行某些信号前处理，以去除基线的漂移现象及/或滤除某些噪声，进而提高第一数据串D1的信号质量，但可不限于此。

之后，在步骤S420中，处理器304可将第一数据串D1馈入第一深度神经网络510，其中，第一深度神经网络510可通过提取第一数据串D1的特征而产生第一特征图FM1。

在图5A中，第一深度神经网络510可包括串接的第一卷积神经网络(convolutional neural network，CNN)512及递归神经网络(recurrent neural network，RNN)514。在不同的实施例中，设计者可依需求而调整实现第一卷积神经网络512及递归神经网络514的参数及实现方式。在一实施例中，递归神经网络514例如可实现为一长短期记忆(long-short term memory，LSTM)模型，但可不限于此。

在一实施例中，处理器304可将(经信号前处理的)第一数据串D1馈入第一卷积神经网络512，其中，第一卷积神经网络512可因应于第一数据串D1而输出第一空间特征向量SV1。在一实施例中，第一卷积神经网络512可理解为提取第一数据串D1中相关的一维空间特征而产生第一空间特征向量SV1，但可不限于此。

此外，处理器304可将第一空间特征向量SV1馈入递归神经网络514，其中，递归神经网络514可因应于第一空间特征向量SV1而输出第一时间特征向量TV1作为第一特征图FM1。在一实施例中，递归神经网络514可理解为提取第一空间特征向量SV1中相关的时间特征而产生第一时间特征向量TV1(即，第一特征图FM1)，但可不限于此。

此外，在经由步骤S410取得第一数据串D1之后，处理器304还可执行步骤S430以基于第一数据串D1产生多维度数据D2。在不同的实施例中，多维度数据D2例如是处理器304基于第一数据串D1绘制/转换而成的影像。在一些实施例中，多维度数据D2例如是处理器304基于第一数据串D1绘制/转换而成的波形影像，但可不限于此。

在图5A场景中，由于第一数据串D1假设为一维心电信号，故处理器304基于第一数据串D1绘示而成的影像例如是图5A内的多维度数据D2所示的心电图，但可不限于此。

之后，在步骤S440中，处理器304可将多维度数据D2馈入第二深度神经网络520，其中，第二深度神经网络520可通过提取多维度数据D2的特征而产生第二特征图FM2。

在图5A中，第二深度神经网络520可包括第二卷积神经网络522。在此情况下，处理器304可将多维度数据D2馈入第二卷积神经网络522，其中，第二卷积神经网络522可因应于多维度数据D2而输出第二空间特征向量SV2作为第二特征图FM2。在一实施例中，第二卷积神经网络522可理解为提取多维度数据D2中相关的二维空间特征而产生第二空间特征向量SV2，但可不限于此。

在取得第一特征图FM1及第二特征图FM2之后，处理器304可执行步骤S450以将第一特征图FM1及第二特征图FM2融合为特定特征向量SS。

在图5A中，处理器304例如可通过执行融合机制530以将第一特征图FM1及第二特征图FM2融合为特定特征向量SS，其中，融合机制530的细节将辅以图5B作进一步说明。

图5B是根据本公开第一实施例绘示的融合机制示意图。在图5B中，第一特征图FM1可具有振幅、时间及信道等三种维度，其中，第一特征图FM1在振幅的维度上的大小(magnitude)可为1(因第一数据串D1的维度为1)。另外，第一特征图FM1在时间及信道等维度上的大小可分别表示为b1及b2，但可不限于此。在一些实施例中，第一特征图FM1的尺寸可表示为b1×b2×1，但可不限于此。

在其他实施例中，当第一数据串D1具有其他维度时，对应的第一特征图FM1在振幅的维度上的大小可以是其他不为1的数值，并不限于图5A所示形式。

另外，第二特征图FM2可具有振幅、时间及信道等三种维度，其中，第二特征图FM2在这三种维度上的大小可分别表示为a1、a2及a3，但可不限于此。在一些实施例中，第二特征图FM2的尺寸可表示为a1×a2×a3，但可不限于此。

在一实施例中，处理器304可将第一特征图FM1馈入第三卷积神经网络532，其中，第三卷积神经网络532可因应于第一特征图FM1而输出第一参考特征向量RV1。

在图5B中，第三卷积神经网络532可依据第二特征图FM2在信道及时间等维度上的大小而将第一特征图FM1转换为第一参考特征向量RV1，其中，第一参考特征向量RV1在信道及时间等维度上的大小可分别相同于第二特征图FM2在信道及时间等维度上的大小。也即，第一参考特征向量RV1在信道及时间等维度上的大小可分别为a1、a2。在此情况下，第一参考特征向量RV1的尺寸可表示为a1×a2×1，但可不限于此。

之后，处理器304可依据第二特征图FM2的尺寸将多个第一参考特征向量RV1堆栈为第二参考特征向量RV2，其中，第二特征图FM2的尺寸与第二参考特征向量RV2的尺寸相同。

在图5B中，处理器304可将a3个第一参考特征向量RV1进行纵向堆栈以产生第二参考特征向量RV2。在此情况下，第二参考特征向量RV2的尺寸可表示为a1×a2×a3(其相同于第二特征图FM2的尺寸)。

之后，处理器304可将第二参考特征向量RV2转换为第三参考特征向量RV3，其中，第三参考特征向量RV3中的各个元素可介于0与1之间。在一实施例中，处理器304可将第二参考特征向量RV2输入Sigmoid函数，其中，此Sigmoid函数可因应于第二参考特征向量RV2而输出第三参考特征向量RV3。在一实施例中，此Sigmoid函数可将第二参考特征向量RV2中的每个元素皆转换/映射为介于0与1之间的一数值，进而形成第三参考特征向量RV3，但可不限于此。

除了Sigmoid函数之外，处理器304也可采用其他函数将第二参考特征向量RV2转换为第三参考特征向量RV3，例如Tanh函数(其可让第三参考特征向量RV3中的各个元素介于-1与1之间)、Softmax函数、线性整流函数(Rectified Linear Unit，ReLU)等，但可不限于此。

接着，处理器304可基于第二特征图FM2与第三参考特征向量RV3产生特定特征向量SS。在一实施例中，由于第二特征图FM2与第三参考特征向量RV3具有相同的尺寸，所以处理器304可基于第二特征图FM2与第三参考特征向量RV3执行注意力(attention)机制(例如，点乘运算/点加运算/矩阵内积等)，以产生特定特征向量SS，但可不限于此。

进一步而言，虽图5B中的第一特征图FM1及第二特征图FM2分别源自于具不同数据型态的第一数据串D1及多维度数据D2，但第一数据串D1及多维度数据D2在时间上的长度是相同的。基此，通过图5B的机制可基于时间维度而将第一特征图FM1及第二特征图FM2进行融合。

在此情况下，由于第一深度神经网络510及第二深度神经网络520具有不同的设计且处理不同维度的数据，所以由第一深度神经网络510产生的第一特征图FM1(即，第一时间特征向量TV1)与由第二深度神经网络520所产生的第二特征图FM2(即，第二空间特征向量SV2)具有不同的尺寸。因此，第一特征图FM1可通过第三卷积神经网络532而转换为第一参考特征向量RV1(其在时间与信道等维度上与第二特征图FM2具有相同的大小)。

另外，由于第二特征图FM2多了个纵向的维度，因此处理器304可将第一参考特征向量RV1重复堆栈为第二参考特征向量RV2(其与第二特征图FM2具有相同的尺寸)。

之后，处理器304可通过Sigmoid将第二参考特征向量RV2中的每个元素转换为介于0与1之间的数值(其可理解为一种权重值)，以产生第三参考特征向量RV3。接着，处理器304可再将第三参考特征向量RV3与第二特征图FM2进行注意力机制(例如，点乘运算/点加运算/矩阵内积等)。借此，可将对应于一维数据的特征及对应于多维度数据的特征进行适当的融合以产生特定特征向量SS，以利后续的分类操作。

在取得特定特征向量SS之后，在步骤S460中，处理器304可将特定特征向量SS馈入机器学习模型540，其中，机器学习模型540可因应于特定特征向量SS而输出对应于第一数据串D1的辨识结果。在一实施例中，所述辨识结果例如可指示第一数据串D1中是否包含AF的病征，但可不限于此。

在一实施例中，为使机器学习模型540具备上述能力，在机器学习模型540的训练过程中，设计者可将经特殊设计的训练数据馈入机器学习模型540，以让机器学习模型540进行相应的学习。举例而言，在取得某笔已标注为对应于AF的第一数据串(例如测量自具AF的患者的一维心电信号)之后，处理器304可依上述第一实施例中的方案而据以产生对应的特定特征向量，并将其馈入机器学习模型540。借此，可让机器学习模型540从此特定特征向量中学习有关于AF的相关特征。在此情况下，当机器学习模型540日后接收对应于第一数据串D1的特定特征向量SS之后，机器学习模型540即可相应地判定第一数据串D1中是否包含AF的病征，但可不限于此。

图6是根据本公开第二实施例绘示的基于多模态数据进行辨识的方法流程图。本实施例的方法可以由图3的电子设备300执行，以下就结合图3所示的元件来说明图6各步骤的细节。此外，为使本公开的概念更易于理解，以下还结合图7A作进一步说明，其中，图7A是根据本公开第二实施例绘示的应用场景图。

首先，在步骤S610中，处理器304可取得第一数据串D1。在不同的实施例中，第一数据串D1例如是由多个具单一维度的数据组成的数据串。为便于说明，以下假设第一数据串D1是上述提及的测量自某患者的一维心电信号，但可不限于此。

在一实施例中，在取得第一数据串D1之后，处理器304可先对第一数据串D1进行某些信号前处理，以消除基线的漂移现象及/或滤除某些噪声，进而提高第一数据串D1的信号质量，但可不限于此。

之后，在步骤S620中，处理器304可将第一数据串D1馈入第一深度神经网络710，其中，第一深度神经网络710可通过提取第一数据串D1的特征而产生第一特征图FM1。

在图7A中，第一深度神经网络710可包括第一卷积神经网络712。在一实施例中，处理器304可将第一数据串D1馈入第一卷积神经网络712，其中，第一卷积神经网络712可因应于第一数据串D1而输出第三空间特征向量SV3作为第一特征图FM1。在一实施例中，第一卷积神经网络712可理解为提取第一数据串D1中相关的(一维)空间特征而产生第三空间特征向量SV3，但可不限于此。

此外，在经由步骤S610取得第一数据串D1之后，处理器304还可执行步骤S630以基于第一数据串D1产生多维度数据D2。在不同的实施例中，多维度数据D2例如是处理器304基于第一数据串D1绘制/转换而成的影像。在一些实施例中，多维度数据D2例如是处理器304基于第一数据串D1绘制/转换而成的波形影像，但可不限于此。

在图7A场景中，由于第一数据串D1系假设为一维心电信号，所以处理器304基于第一数据串D1绘示而成的影像例如是图7A内的多维度数据D2所示的心电图，但可不限于此。

之后，在步骤S640中，处理器304可将多维度数据D2馈入第二深度神经网络520，其中，第二深度神经网络520可通过提取多维度数据D2的特征而产生第二特征图FM2。

在图7A中，第二深度神经网络520可包括第二卷积神经网络522。在此情况下，处理器304可将多维度数据D2馈入第二卷积神经网络522，其中，第二卷积神经网络522可因应于多维度数据D2而输出第二空间特征向量SV2作为第二特征图FM2。在一实施例中，第二卷积神经网络522可理解为提取多维度数据D2中相关的二维空间特征而产生第二空间特征向量SV2，但可不限于此。

另外，在步骤S650中，处理器304还可将第一数据串D3馈入第三深度神经网络720，其中，第三深度神经网络720可通过提取第一数据串D1的特征而产生第三特征图FM3。

在图7A中，第三深度神经网络720可包括递归神经网络722。在一实施例中，递归神经网络722例如可实现为LSTM模型，但可不限于此。在此情况下，处理器304可将第一数据串D1馈入递归神经网络722，其中，递归神经网络722可因应于第一数据串D1而输出第二时间特征向量TV2作为第三特征图FM3。在一实施例中，递归神经网络722可理解为提取第一数据串D1中相关的时间特征而产生第二时间特征向量TV2(即，第三特征图FM3)，但可不限于此。

在取得第一特征图FM1、第二特征图FM2及第三特征图FM3之后，处理器304可执行步骤S660以将第一特征图FM1、第二特征图FM2及第三特征图FM3融合为特定特征向量SS1。

在图7A中，处理器304例如可通过执行融合机制730以将第一特征图FM1、第二特征图FM2及第三特征图FM3融合为特定特征向量SS1，其中，融合机制730的细节将结合图7B作进一步说明。

图7B是根据本公开第二实施例绘示的融合机制示意图。在图7B中，第一特征图FM1及第三特征图FM3可具有振幅、时间及信道等三种维度，其中，第一特征图FM1及第三特征图FM3在振幅的维度上的大小可为1(因第一数据串D1的维度为1)。另外，第一特征图FM1在时间及信道等维度上的大小可分别表示为b1、b2。另外，第三特征图FM3在时间及信道等维度上的大小可分别表示为c1、c2。在一些实施例中，第一特征图FM1的尺寸可表示为b1×b2×1，而第三特征图FM3的尺寸可表示为c1×c2×1，但可不限于此。

另外，第二特征图FM2可具有振幅、时间及信道等三种维度，其中，第二特征图FM2在这三种维度上的大小可分别表示为a1、a2、a3，但可不限于此。在一些实施例中，第二特征图FM2的尺寸可表示为a1×a2×a3，但可不限于此。

在一实施例中，处理器304可将第一特征图FM1馈入第四卷积神经网络542，其中，第四卷积神经网络542可因应于第一特征图FM1而输出第四参考特征向量RV4。

在图7B中，第四卷积神经网络542可依据第二特征图FM2在信道及时间等维度上的大小而将第一特征图FM1转换为第四参考特征向量RV4，其中，第四参考特征向量RV4在信道及时间等维度上的大小可分别相同于第二特征图FM2在信道及时间等维度上的大小。也即，第四参考特征向量RV4在信道及时间等维度上的大小可分别为a1、a2。在此情况下，第四参考特征向量RV4的尺寸可表示为a1×a2×1，但可不限于此。

之后，处理器304可依据第二特征图FM2的尺寸将多个第四参考特征向量RV4堆栈为第五参考特征向量RV5，其中，第二特征图FM2的尺寸与第五参考特征向量RV5的尺寸相同。

在图7B中，处理器304可将a3个第四参考特征向量RV4进行纵向堆栈以产生第五参考特征向量RV5。在此情况下，第五参考特征向量RV5的尺寸可表示为a1×a2×a3(其相同于第二特征图FM2的尺寸)。

之后，处理器304可将第五参考特征向量RV5转换为第六参考特征向量RV6。在一实施例中，处理器304可将第五参考特征向量RV5输入Sigmoid函数，其中，此Sigmoid函数可因应于第五参考特征向量RV5而输出第六参考特征向量RV6。在一实施例中，此Sigmoid函数可将第五参考特征向量RV5中的每个元素皆转换/映射为介于0与1之间的一数值，进而形成第六参考特征向量RV6，但可不限于此。

除了Sigmoid函数之外，处理器304亦可采用其他函数第五参考特征向量RV5转换为第六参考特征向量RV6，例如Tanh函数、Softmax函数、ReLU等，但可不限于此。

在一实施例中，处理器304可将第三特征图FM3馈入第五卷积神经网络552，其中，第五卷积神经网络552可因应于第三特征图FM3而输出第七参考特征向量RV7。

在图7B中，第五卷积神经网络552可依据第二特征图FM2在信道及时间等维度上的大小而将第三特征图FM3转换为第七参考特征向量RV7，其中，第七参考特征向量RV7在信道及时间等维度上的大小可分别相同于第二特征图FM2在信道及时间等维度上的大小。也即，第七参考特征向量RV7在信道及时间等维度上的大小可分别为a1、a2。在此情况下，第七参考特征向量RV7的尺寸可表示为a1×a2×1，但可不限于此。

之后，处理器304可依据第二特征图FM2的尺寸将多个第七参考特征向量RV7堆栈为第八参考特征向量RV8，其中，第二特征图FM2的尺寸与第八参考特征向量RV8的尺寸相同。

在图7B中，处理器304可将a3个第七参考特征向量RV7进行纵向堆栈以产生第八参考特征向量RV8。在此情况下，第八参考特征向量RV8的尺寸可表示为a1×a2×a3(其相同于第二特征图FM2的尺寸)。

之后，处理器304可将第八参考特征向量RV8转换为第九参考特征向量RV9。在一实施例中，处理器304可将第八参考特征向量RV8输入Sigmoid函数，其中，此Sigmoid函数可因应于第八参考特征向量RV8而输出第九参考特征向量RV9。在一实施例中，此Sigmoid函数可将第八参考特征向量RV8中的每个元素皆转换/映射为介于0与1之间的一数值，进而形成第九参考特征向量RV9，但可不限于此。

除了Sigmoid函数之外，处理器304亦可采用其他函数八参考特征向量RV8转换为第九参考特征向量RV9，例如Tanh函数、Softmax函数、ReLU等，但可不限于此。

接着，处理器304可基于第二特征图FM2、第六参考特征向量RV6及第九特征向量RV9产生特定特征向量SS1。在一实施例中，由于第二特征图FM2、第六参考特征向量RV6及第九特征向量RV9具有相同的尺寸，所以处理器304可基于第二特征图FM2、第六参考特征向量RV6及第九特征向量RV9执行注意力机制(例如，点乘运算/点加运算/矩阵内积等)，以产生特定特征向量SS1，但可不限于此。

在取得特定特征向量SS1之后，在步骤S670中，处理器304可将特定特征向量SS1馈入机器学习模型740，其中，机器学习模型740可因应于特定特征向量SS1而输出对应于第一数据串D1的辨识结果。在一实施例中，所述辨识结果例如可指示第一数据串D1是否包含AF病征，但可不限于此。

在一实施例中，为使机器学习模型740具备上述能力，在机器学习模型740的训练过程中，设计者可将经特殊设计的训练数据馈入机器学习模型740，以让机器学习模型740进行相应的学习。举例而言，在取得某笔已标注为对应于AF的第一数据串(例如测量自具AF的患者的一维心电信号)之后，处理器304可依上述第二实施例中的方案而据以产生对应的特定特征向量，并其馈入机器学习模型740。借此，可让机器学习模型740从此特定特征向量中学习有关于AF的相关特征。在此情况下，当机器学习模型740日后接收对应于第一数据串D1的特定特征向量SS1之后，机器学习模型740即可相应地判定第一数据串D1是否包含AF病征，但可不限于此。

经实验，通过本公开提出的方法，可让机器学习模型540及740仅基于少量的训练数据即可达到良好的辨识效果。并且，相较于仅基于第一数据串D1或多维度数据D2进行辨识的方式，本公开的方法也可让机器学习模型540及740具有较好的辨识效果。

为使上述概念更易于理解，以下还结合表1作进一步说明。

表1

在表1中，方法1可理解为仅基于图5A上半部所进行的辨识机制(即，仅基于第一数据串D1进行辨识的机制)，方法2可理解为仅基于图5A下半部所进行的辨识机制(即，仅基于多维度数据D2进行辨识的机制)。另外，方法3可理解为在取得方法1及方法2的辨识结果之后，再将此二者的辨识结果进行融合以产生综合辨识结果的辨识机制。另外，方法1～4可分别基于训练数据集A或B对相应的机器学习模型进行训练，其中，训练数据集B仅包括训练数据集A中约60％的训练数据。

由表1可看出，采用训练数据集A训练方法4对应的机器学习模型所达到的准确度(accuracy)约为96.14％，而采用训练数据集B训练方法4对应的机器学习模型所达到的准确度约为96.30％。由此可知，无论采用训练数据集A或B训练方法4对应的机器学习模型，所呈现出的准确度差异仅有约0.16％。换言之，本公开方法对应的机器学习模型可仅基于较少量的训练数据而达到良好的辨识准确度。

相较之下，当采用训练数据集A或B训练方法1对应的机器学习模型时，所呈现出的准确度差异虽仅有约0.29％，但整体的辨识准确度明显低于本公开方法对应的机器学习模型。另外，当采用训练数据集A或B训练方法2对应的机器学习模型时，可看出准确度差异高达约-3.47％。由此可知，方法2对应的机器学习模型无法仅基于较少量的训练数据即达到良好的辨识准确度。同理，由表1可看出，方法3对应的机器学习模型也无法仅基于较少量的训练数据即达到良好的辨识准确度。

另外，由灵敏度(sensitivity)及特异度(specificity)相关的字段也可看出与准确度字段相同的趋势。也即，本公开方法对应的机器学习模型可仅基于较少量的训练数据而达到良好的辨识灵敏度及特异度，但经其他方法训练而得的机器学习模型则无法仅基于较少量的训练数据而达到良好的辨识灵敏度及特异度。

应了解的是，虽然上述以一维心电信号作为第一数据串D1的实例，但本公开可能的实施方式不限于此。在其他的实施例中，任何种类的(一维)信号都可作为第一数据串D1可能的实施方式。相应地，基于第一数据串D1转换而成的多维度数据D2也不限于以上实施例方案的心电图，而可以是其他形式的数据。

综上所述，本公开可在取得第一数据串之后，相应地取得对应的第一特征图。另外，本公开还可将第一数据串转换为对应的多维度数据，再取得对应的第二特征图。之后，本公开可通过特定的机制将第一特征图及第二特征图融合为特定特征向量，再由经训练的机器学习模型基于此特定特征向量而输出对应的辨识结果。

通过将第一数据串(例如心电信号)转换为具不同形式的多维度数据(例如心电图)之后，可相应地增加数据的多样性，进而达到特征丰富(feature enrichment)的效果。另外，虽第一数据串及多维度数据具有不同的形式，但由于此二者之间具有高度的互补性(即，其中一者具有另一者缺少的特征)，因此可以让机器学习模型输出较好的决策，进而提升相关的分类效果。并且，由于本公开仅需较少量的训练数据即可得到良好的辨识/分类效果，因此可减少对训练数据进行标注时的成本。

最后应说明的是：以上各实施例仅用以说明本公开的技术方案，而非对其限制；尽管参照上述各实施例对本公开进行了详细的说明，本领域的技术人员应当理解：其依然可以对上述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本公开各实施例技术方案的范围。