一种心肺音信号的识别方法、装置及智能听诊器

技术领域

本申请涉及心肺音检测技术领域，特别是涉及一种心肺音信号的识别方法、装置及智能听诊器。

背景技术

心肺疾病是威胁人类健康的主要疾病，对于心肺疾病的前期诊断，听诊器听诊是最便捷、最重要的手段。目前，听诊技术一般需通过医师的经验进行判断，通过听诊得到的心肺音是心音和肺音混叠，这种混合了心音、肺音的声音信号很难用于精细化的病症分析，再加上医师个体差异，使得人工识别心肺音信号的准确性较低。

因此，如何提高心肺音信号识别的准确性，是本领域技术人员亟待解决的技术问题。

发明内容

为解决上述技术问题，本申请提供一种心肺音信号的识别方法，能够提高心肺音信号识别的准确性。本申请还提供一种心肺音信号的识别装置及智能听诊器，具有相同的技术效果。

本申请的第一个目的为提供一种心肺音信号的识别方法。

本申请的上述申请目的一是通过以下技术方案得以实现的：

一种心肺音信号的识别方法，包括：

获取听诊数据；

对所述听诊数据，进行预处理，得到预处理数据；

对所述预处理数据，进行分析处理，得到心肺音信号；

对所述心肺音信号，进行分离处理，得到心音信号和肺音信号；

将所述心音信号和所述肺音信号，输入预先训练好的基于Transformer的encoder模型架构的心肺音识别模型，得到识别结果。

优选地，所述心肺音信号的识别方法中，还包括构建所述心肺音识别模型，所述构建所述心肺音识别模型，包括：

获取心音样本数据和肺音样本数据，其中，所述心音样本数据携带有预设心音类别的标签，所述肺音样本数据携带有预设肺音类别的标签；

以所述心音样本数据和所述肺音样本数据为输入，所述心音样本数据归属预设心音类别的概率以及所述肺音样本数据归属预设肺音类别的概率为输出，构建基于Transformer的encoder模型架构的初始模型；

利用所述心音样本数据和所述肺音样本数据，对所述初始模型进行训练，得到训练好的所述心肺音识别模型。

优选地，所述心肺音信号的识别方法中，所述预设肺音类别包括正常呼吸音、异常呼吸音、啰音、语音共振音和胸膜摩擦音；

所述预设心音类别包括正常心音和异常心音。

优选地，所述心肺音信号的识别方法中，所述对所述心肺音信号，进行分离处理，得到心音信号和肺音信号，包括：

对所述心肺音信号，进行变换处理，得到非负矩阵；

利用非负矩阵分解算法，对所述非负矩阵进行处理，得到心音基矩阵和肺音基矩阵，并重构得到心音信号和肺音信号。

本申请的第二个目的为提供一种心肺音信号的识别装置。

本申请的上述申请目的二是通过以下技术方案得以实现的：

一种心肺音信号的识别装置，包括：

获取模块，用于获取听诊数据；

第一处理模块，用于对所述听诊数据，进行预处理，得到预处理数据；

第二处理模块，用于对所述预处理数据，进行分析处理，得到心肺音信号；

第三处理模块，用于对所述心肺音信号，进行分离处理，得到心音信号和肺音信号；

识别模块，用于将所述心音信号和所述肺音信号，输入预先训练好的基于Transformer的encoder模型架构的心肺音识别模型，得到识别结果。

优选地，所述心肺音信号的识别装置中，还包括构建模块，用于构建所述心肺音识别模型，所述构建模块在执行所述构建所述心肺音识别模型的动作时，具体用于：

获取心音样本数据和肺音样本数据，其中，所述心音样本数据携带有预设心音类别的标签，所述肺音样本数据携带有预设肺音类别的标签；

以所述心音样本数据和所述肺音样本数据为输入，所述心音样本数据归属预设心音类别的概率以及所述肺音样本数据归属预设肺音类别的概率为输出，构建基于Transformer的encoder模型架构的初始模型；

利用所述心音样本数据和所述肺音样本数据，对所述初始模型进行训练，得到训练好的所述心肺音识别模型。

优选地，所述心肺音信号的识别装置中，所述预设肺音类别包括正常呼吸音、异常呼吸音、啰音、语音共振音和胸膜摩擦音；

所述预设心音类别包括正常心音和异常心音。

优选地，所述心肺音信号的识别装置中，所述第二处理模块，在执行所述对所述心肺音信号，进行分离处理，得到心音信号和肺音信号的动作时，具体用于：

对所述心肺音信号，进行变换处理，得到非负矩阵；

利用非负矩阵分解算法，对所述非负矩阵进行处理，得到心音基矩阵和肺音基矩阵，并重构得到心音信号和肺音信号。

本申请的第三个目的为提供一种智能听诊器。

本申请的上述申请目的三是通过以下技术方案得以实现的：

一种智能听诊器，包括：信号采集单元以及上述任一所述的心肺音信号的识别装置，其中：

所述信号采集单元，用于采集听诊数据。

优选地，所述智能听诊器中，还包括：

显示单元，用于显示所述心肺音信号的识别装置输出的识别结果。

上述技术方案，通过获取听诊数据，对听诊数据，进行预处理，得到预处理数据，能够降低信号干扰，提高信号质量；通过对预处理数据，进行分析处理，得到心肺音信号，对心肺音信号，进行分离处理，得到心音信号和肺音信号，能够将混叠的心音和肺音分离；将心音信号和肺音信号，输入预先训练好的基于Transformer的encoder模型架构的心肺音识别模型，得到识别结果，以此可以利用深度学习模型，消除医师个体差异，获得更准确的识别结果。综上所述，上述技术方案能够提高心肺音信号识别的准确性。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例中提供的一种心肺音信号的识别方法的流程示意图；

图2为本申请实施例中提供的初始模型的模型架构示意图；

图3为本申请实施例中提供的一种心肺音信号的识别装置的结构示意图；

图4为本申请实施例中提供的一种智能听诊器的结构示意图。

具体实施方式

为了使本领域的技术人员更好地理解本申请中的技术方案，下面将对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

在本申请所提供的实施例中，应该理解到，所揭露的方法和系统，可以通过其他的方式实现。以下所描述的系统实施例仅仅是示意性的，例如，单元和模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或模块可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或模块的间接耦合或通信连接，可以是电性的、机械的或其他形式的。

另外，在本申请各实施例中的各功能单元可以全部集成在一个处理器中，也可以是各单元分别单独作为一个器件，也可以两个或两个以上单元集成在一个器件中；本申请各实施例中的各功能单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

本领域普通技术人员可以理解：实现下述方法实施例的全部或部分步骤可以通过程序指令及相关的硬件来完成，前述的程序指令可以存储于计算机可读取存储介质中，该程序指令在执行时，执行包括下述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器（Read Only Memory，ROM）、磁碟或者光盘等各种可以存储程序代码的介质。

应当理解，本申请中如若使用了“系统”、“装置”、“单元”和/或“模块”，仅是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换该词语。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本申请的描述中，“多个”、“若干个”的含义是两个或两个以上，除非另有明确具体的限定。

本申请中如若使用了流程图，则该流程图是用来说明根据本申请的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。

还需要说明的是，在本文中，诸如术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括上述要素的物品或者设备中还存在另外的相同要素。

本申请实施例采用递进的方式撰写。

如图1所示，本申请实施例提供一种心肺音信号的识别方法，包括：

S101.获取听诊数据；

在S101中，具体地，可以通过现有的听诊设备，如电子听诊器、智能听诊器等，采集听诊数据；听诊数据的获取方式，还可以为其他，本申请对此不作限制。

S102.对听诊数据，进行预处理，得到预处理数据；

在S102中，具体地，为了降低信号干扰，提高信号质量，对听诊数据，进行预处理，得到预处理数据，其中，预处理过程可以采用现有的数据预处理方法，本申请对此不作具体限制。

在一些实施例中，本步骤的其中一种实现方式，具体包括：对听诊数据，进行滤波降噪处理，得到预处理数据。通过滤波降噪处理，可以有效去除听诊数据中心肺音之外的干扰，提高信号质量。其中，滤波降噪处理，可以采用小波分析消除低频和高频噪声，也可以采用带阻滤波器消除工频干扰，本申请对此不作限制。

S103.对预处理数据，进行分析处理，得到心肺音信号；

在S103中，具体地，可以采用现有的分析处理方法，对预处理数据，进行时域分析，或者频域分析，或者时频分析，以从预处理数据中提取出心肺音信号；其中，时域分析主要是提取心肺音信号的包络，例如利用希尔伯特变换提取包络，时域分析也可以采用Welch法功率谱分析等；频域分析主要是提取心肺音信号的频率成分，如傅里叶法等；时频分析是利用时间和频率的联合函数来表示心肺音信号，目前的主要方法有：短时傅里叶变换，Wigner-Ville分布，小波分析，希尔伯特-黄变换等，本申请对此不作具体限制。

S104.对心肺音信号，进行分离处理，得到心音信号和肺音信号；

在S104中，具体地，可以采用现有的信号分离方法，如多通道的ICA（IndependentComponent Analysis，独立成分分析）心肺音分离方法等，对心肺音信号进行分离处理，以将混叠的心音和肺音分离，得到心音信号和肺音信号，有利于提高后续心肺音识别的准确度。

S105.将心音信号和肺音信号，输入预先训练好的基于Transformer的encoder模型架构的心肺音识别模型，得到识别结果。

在S105中，具体地，利用预先训练好的基于Transformer的encoder模型架构的心肺音识别模型，对心音信号和肺音信号进行自动分析处理，得到识别结果，其中，心肺音识别模型可以基于预先标注好预设心音类别的心音样本数据以及预先标注好预设肺音类别的肺音样本数据训练得到，其输出的识别结果可以包括心音信号归属的预设心音类别，以及肺音信号归属的预设肺音类别，利用基于Transformer的encoder模型架构的深度学习模型，进行心肺音信号识别，相对于传统的人工识别方法而言，可以消除医师个体差异，获得更准确的识别结果。

在一些实施例中，上述心肺音信号的识别方法中，还包括构建心肺音识别模型的步骤，具体包括：

S1051.获取心音样本数据和肺音样本数据；

在S1051中，具体地，心音样本数据和肺音样本数据，可以是标注好类别的样本数据，其可以从现有的开源数据库（如PhysioNet数据库中的2016心音分类挑战数据库，深圳心音数据库Heart Sounds Shenzhen Corpus、ICBHI呼吸音识别2017挑战数据库等）中获取，或者是临床实践中采集的已经确诊的且已由人工标注类别的心肺音数据，本申请对此不作限制。其中，心音样本数据携带有预设心音类别的标签，肺音样本数据携带有预设肺音类别的标签。

在具体实施例中，预设肺音类别包括正常呼吸音、异常呼吸音、啰音、语音共振音和胸膜摩擦音；预设心音类别包括正常心音和异常心音。

其中，正常呼吸音还可以细分为：气管呼吸音、支气管呼吸音、支气管肺泡呼吸音和肺泡呼吸音；异常呼吸音还可以细分为：异常肺泡呼吸音（如：肺泡呼吸音减弱或消失，肺泡呼吸音增强，呼吸音延长，断续性呼吸音和粗糙性呼吸音）、异常支气管呼吸音和异常支气管肺泡呼吸音；啰音还可以细分为湿啰音（如：响亮性湿啰音、非响亮性湿啰音/粗湿啰音、中湿啰音、细湿啰音和捻发音）和干啰音（如：高调干啰音和低调干啰音）；语音共振音还可以细分为：支气管语音、胸语音、羊鸣音和耳语音；正常心音还可以细分为第一心音S1、第二心音S2、第三心音S3和第四心音S4；异常心音还可以细分为第一心音S1异常、第二心音S2异常；通过更细分的标注样本和标注类别，有利于实现更加精细化的异常识别。

S1052.以心音样本数据和肺音样本数据为输入，心音样本数据归属预设心音类别的概率以及肺音样本数据归属预设肺音类别的概率为输出，构建基于Transformer的encoder模型架构的初始模型；

在S1052中，具体地，初始模型的组成依次为Attention模块、Add&Norm层、FFN前馈神经网络模块、Add&Norm层和全连接层，具体可以参考图2所示的模型架构示意图；心音样本数据和肺音样本数据，分别输入到初始模型中，可以在每个心音样本数据的开头加上一个特殊字符[CLS]，作为心音样本数据的预设心音类别的标签，用于后续的心音分类，可以在每个肺音样本数据的开头加上一个特殊字符[CLS]，作为肺音样本数据的预设肺音类别的标签，用于后续的肺音分类；特殊字符[CLS]对应的输出通过一个全连接层进行分类，输出得到心音样本数据归属预设心音类别的概率以及肺音样本数据归属预设肺音类别的概率，由于预设心音类别和预设肺音类别有多种，因此是个多分类任务。

S1053.利用心音样本数据和肺音样本数据，对初始模型进行训练，得到训练好的心肺音识别模型。

在S1053中，具体地，可以利用心音样本数据和肺音样本数据，对初始模型进行迭代训练，当模型收敛后，可以得到训练好的心肺音识别模型。心肺音识别模型训练过程，可以采用现有的模型训练方法，本申请对此不作具体限制。基于训练好的心肺音识别模型，能够获得更准确的识别结果，提高心肺音信号识别的准确性。

目前，听诊技术一般需通过医师的经验进行判断，通过听诊得到的心肺音是心音和肺音混叠，这种混合了心音、肺音的声音信号很难用于精细化的病症分析，再加上医师个体差异，使得人工识别心肺音信号的准确性较低。

上述实施例，通过获取听诊数据，对听诊数据，进行预处理，得到预处理数据，能够降低信号干扰，提高信号质量；通过对预处理数据，进行分析处理，得到心肺音信号，对心肺音信号，进行分离处理，得到心音信号和肺音信号，能够将混叠的心音和肺音分离；将心音信号和肺音信号，输入预先训练好的基于Transformer的encoder模型架构的心肺音识别模型，得到识别结果，以此可以利用深度学习模型，消除医师个体差异，获得更准确的识别结果。综上所述，上述实施例能够提高心肺音信号识别的准确性。

在本申请的其他实施例中，对心肺音信号，进行分离处理，得到心音信号和肺音信号的步骤的其中一种实现方式，包括：

S201.对心肺音信号，进行变换处理，得到非负矩阵；

在S201中，具体地，可以对心肺音信号，进行短时傅里叶变换，得到心肺音的非负矩阵。

S202.利用非负矩阵分解算法，对非负矩阵进行处理，得到心音基矩阵和肺音基矩阵，并重构得到心音信号和肺音信号；

在S202中，具体地，非负矩阵分解（Non-negative Matrix Factorization，NMF）算法的基本思想是将一个非负矩阵分解成两个非负矩阵的乘积，对于一个给定的非负矩阵V，非负矩阵分解算法能够寻找到一个非负矩阵W和非负矩阵H，使得V=W*H成立，其中W是基矩阵，表示原始数据（即心音或肺音）的基本模式，H是激活矩阵，表示这些基本模式在不同样本中的激活程度，非负矩阵分解算法具有实现上的简便性、分解形式和分解结果上的可解释性，以及占用存储空间少等诸多优点。具体地，可以对非负矩阵V进行非负矩阵分解，得到心肺音信号的基向量W与稀疏矩阵H，以基向量W进行参考，得到心音基矩阵和肺音基矩阵，并根据非负矩阵V，心音基矩阵和肺音基矩阵，重构出心音信号和肺音信号，此过程为本领域的现有技术，在此不再详细赘述。

在本实施例中，利用非负矩阵分解算法，能够对心肺音信号进行有效地分离，有利于提高后续心肺音识别的准确度。

如图3所示，在本申请的另一实施例中，还提供一种心肺音信号的识别装置，包括：

获取模块10，用于获取听诊数据；

第一处理模块11，用于对听诊数据，进行预处理，得到预处理数据；

第二处理模块12，用于对预处理数据，进行分析处理，得到心肺音信号；

第三处理模块13，用于对心肺音信号，进行分离处理，得到心音信号和肺音信号；

识别模块14，用于将心音信号和肺音信号，输入预先训练好的基于Transformer的encoder模型架构的心肺音识别模型，得到识别结果。

在本申请的其他实施例中，上述心肺音信号的识别装置中，还包括构建模块，用于构建心肺音识别模型，构建模块在执行构建心肺音识别模型的动作时，具体用于：

获取心音样本数据和肺音样本数据，其中，心音样本数据携带有预设心音类别的标签，肺音样本数据携带有预设肺音类别的标签；

以心音样本数据和肺音样本数据为输入，心音样本数据归属预设心音类别的概率以及肺音样本数据归属预设肺音类别的概率为输出，构建基于Transformer的encoder模型架构的初始模型；

利用心音样本数据和肺音样本数据，对初始模型进行训练，得到训练好的心肺音识别模型。

在本申请的其他实施例中，上述心肺音信号的识别装置中，预设肺音类别包括正常呼吸音、异常呼吸音、啰音、语音共振音和胸膜摩擦音；

预设心音类别包括正常心音和异常心音。

在本申请的其他实施例中，上述心肺音信号的识别装置中，第一处理模块11，在执行对听诊数据，进行预处理，得到预处理数据的动作时，具体用于：

对听诊数据，进行滤波降噪处理，得到预处理数据。

在本申请的其他实施例中，上述心肺音信号的识别装置中，第二处理模块13，在执行对心肺音信号，进行分离处理，得到心音信号和肺音信号的动作时，具体用于：

对心肺音信号，进行变换处理，得到非负矩阵；

利用非负矩阵分解算法，对非负矩阵进行处理，得到心音基矩阵和肺音基矩阵，并重构得到心音信号和肺音信号。

如图4所示，在本申请的另一实施例中，还提供一种智能听诊器，包括：信号采集单元20以及上述任一所述的心肺音信号的识别装置21，其中：

信号采集单元20，用于采集听诊数据。

具体地，信号采集单元20可以采用现有的拾音器，拾音器采集到的听诊数据，可以传输至心肺音信号的识别装置21进行处理，以实现心肺音信号的自动识别，能够提高心肺音信号识别的准确性。

在另一些实施例中，信号采集单元20可以包括多个拾音器，拾音器可以采用医用专业声音采集传感器构成，其中，声音采集传感器采集声音的频率为20～200Hz以及200～600Hz。进一步地，声音采集传感器可以为驻极体麦克风，在此不作限定。

在本申请的其他实施例中，上述智能听诊器中，还包括：显示单元，用于显示心肺音信号的识别装置21输出的识别结果。具体地，显示单元可以采用显示屏等设备。在另一些实施例中，显示单元，还可以用于显示被检测者的心率、呼吸频率等，在此不作限定。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。