一种基于多任务学习的肺结节合并焦虑抑郁初筛方法

技术领域

本发明属于人工智能心理学技术领域，特别涉及一种基于多任务学习的肺结节合并焦虑抑郁初筛方法。

背景技术

随着CT对肺癌筛查的普及，肺结节的检出率不断提高。肺结节是指影像学表现为肺周围孤立或多发的直径≤3cm，局灶性、类圆形的实性或亚实性密度增高影，不伴有肺不张、肺门淋巴结肿大和胸腔积液。虽然大多数肺结节都是良性病变，但在肺结节的发现和长期随访过程中，很多患者承受着巨大的心理压力，产生焦虑、抑郁等不良情绪。

有研究显示，肺结节患者发生焦虑的概率高达39％，由于患者缺乏对肺结节的正确认识，导致其过高评价了结节的肺癌风险，给患者增加了一定的心理负担。此外，焦虑和抑郁可以抑制患者的免疫功能，增加肿瘤恶化的风险，导致生活质量下降。对于接受肺结节手术的病人，如果患者术前出现心理困扰，可能导致术后认知功能下降，疼痛加重，术后不良事件发生率以及相应的医疗服务投资增加。

已有学者关注肺结节患者的的焦虑、抑郁情绪，但大多数研究对焦虑抑郁检测方法以量表为主，现有的焦虑抑郁检测方法中可信度较高的主要是汉密尔顿焦虑量表(Hamilton AnxietyScale，HAMA)和汉密尔顿抑郁量表(HamiltonDepressionScale，HAMD)。一般医务人员采用填写量表的方式与患者交谈，同时观察患者的表情及肢体动作，对患者进行评分，以此诊断患者焦虑、抑郁情绪。在上述过程中，合并焦虑、抑郁患者的面部微表情往往会有特征性的表现，这些微表情的识别无法通过肉眼完成。

目前医疗对肺结节患者的焦虑、抑郁关注度较低，并且对此类患者的情绪障碍诊断存在一定的缺陷，继而导致肺结节合并焦虑、抑郁患者等不到相应的治疗，具体表现在以下几个方面：

(1)传统量表评估的方式要求操作医生具有一定心理学知识，患者需要主动配合整个调查过程。但大部分呼吸专科医生缺乏专业的心理学知识，一些肺结节患者年纪较大，文化程度不高，难以配合量表的填写。

(2)量表评估的过程中，评估的结果受医生和患者的主观因素干扰，患者的焦虑、抑郁严重程度得不到准确评估，无法制定个体化治疗方案，导致焦虑抑郁的干预不足或过度医疗；

(3)肺结节合并焦虑、抑郁的患者在定期随访肺结节的同时，需要同时对患者的心理状态进行动态评估，了解其病情是否改善，但反复多次量表评估，患者配合度较差，可行度低，难以执行。

以上多种因素，一定程度上导致肺结节患者的焦虑和抑郁得不到准确评估和有效的治疗。

因此，发明一种基于多任务学习的肺结节合并焦虑抑郁初筛方法来解决上述问题很有必要。

发明内容

针对上述问题，本发明提供了一种基于多任务学习的肺结节合并焦虑抑郁初筛方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种基于多任务学习的肺结节合并焦虑抑郁初筛方法，包括数据预处理模块、特征提取模块、特征交互模块以及多任务学习模块；

数据预处理模块：对于连续帧人脸图像，使用开源工具OpenFace将非人脸区域像素值置为(0,0,0)，得到人脸感兴趣区域(ROI Region of Interest)图像序列；

特征提取模块：包括肺结节特征提取和面部微表情特征提取；

特征交互模块：采用区域互注意力机制来交互肺部CT特征和面部微表情特征；

多任务学习模块：包括焦虑抑郁预测模块和肺结节检测模块。

进一步的，所述数据预处理模块的具体方法为：

微表情通常在人脸的特定区域中出现，而不是涉及整个人脸，例如嘴角、眉毛、面颊、鼻子，因此为了更准确地捕获和分析微表情，使用面部动作单元(AUs Action Units)来表示人脸各区域肌肉的细微动作；

借助开源工具OpenFace逐帧提取人脸图像的AUs强度(0-5)，并获取每张人脸的关键点坐标，当AU强度≥2，则认为该动作发生；

利用先验知识并结合人脸关键点坐标，给每个AU划分出相应的区域，所有AU值大于等于2的区域，将像素置为1，其余区域置为0，得到人脸微表情区域二值图序列；

由于CT图像的像素强度通常用亨氏单位(Hounsfield Hu值)来表示，参考medicaldetectiontoolkit中肺结节检测时的处理方案，将肺部CT图像的Hu值截断至(-1200-600)，并统计像素值的均值方差再做归一化。

进一步的，所述特征提取模块中的肺结节特征提取的方法为：

使用3D-Unet来提取肺部CT的特征图；

此外对于肺部CT特征图，使用一个RPN(Region Proposal Network)来得到初步的肺结节候选位置。

进一步的，所述特征提取模块中的面部微表情特征提取的方法为：

首先逐帧将人脸图像和微表情区域二值图分别送入CNN backbone，得到各自的特征图序列；

再对同一帧的人脸和微表情特征图逐元素点积，从而得到对微表情区域进行增强的面部特征图序列；

最后将面部特征图序列送入LSTR(Long Short-Term Transformer)(Xu M,XiongY,Chen H,et al.Long short-term transformer for online action detection[J].Advances in Neural Information Processing Systems,2021,34:1086-1099.)来对长时间序列特征进行建模，得到全局面部微表情特征。

进一步的，所述特征交互模块的具体方法为：

使用了mask-attention模块，只在RPN得到的肺结节候选位置内和面部微表情特征进行交互，特征交互编码器整体上与transformer编码器结构类似，不同的是在self-attention模块前后分别插入了mask-attention和cross-attention模块。

进一步的，所述mask-attention模块为：让RPN得到的肺结节候选位置外的区域不参与相似度计算，将这些不参与运算的地方在softmax时置为0；首先得到RPN候选位置二值图，候选区域内为1外为0，把它作为mask输入至特征交互编码器，从而将肺部CT特征(feature1)的masked attention限制在肺结节候选位置内。

进一步的，所述Mask-attention模块的公式如下：

注意力掩码M

其中，m

进一步的，所述cross-attention模块为，将query替换为面部微表情的特征嵌入(feature 2)，使得mask后的肺部CT特征能够与面部微表情特征进行关联，最后经过feedforward输出得到交互特征。

进一步的，所述多任务学习模块中的焦虑抑郁预测模块的具体方法为：患者焦虑抑郁程度主要是根据量表得分来进行区分；在这里使用两个回归头来对患者焦虑抑郁得分别进行预测；因为是初筛系统，最后针对不同任务之间的loss差异，对回归的分数设定一个动态加权损失函数的阈值来判定患者是否患有焦虑抑郁；

所述多任务学习模块中的肺结节预测模块为：用一个检测头来检测肺结节位置以及肺结节属性(良性、恶性)。

进一步的，所述动态加权损失函数为：

L

其中，L

w

其中t为训练批次，k为任务序号，λ

本发明的技术效果和优点：

1、本发明提出的基于多任务学习的肺结节合并焦虑抑郁初筛方法可以将肺结节特征与面部微表情特征联系起来，给医生一个初步的肺结节和焦虑抑郁筛查结果，以便及时发现病人的肺结节和心理异常情况并进行干预和治疗；

2、本发明提出的面部微表情特征提取方法，分别提取人脸图像与微表情区域二值化图像，对两者的特征图进行点积使得模型在特征提取过程中更加关注与微表情相关的人脸区域；

3、本发明提出的区域互注意力机制，仅在肺结节建议区域内和面部微表情特征进行交互，在特征融合的同时降低了计算量；

4、本发明提出的动态加权损失函数，可以有效缓解多任务学习的训练过程中不同任务之间损失函数差异过大的问题。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书和附图中所指出的结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1示出了本发明实施例的整体结构流程图；

图2示出了本发明实施例的特征交互编码器示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地说明，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供了一种基于多任务学习的肺结节合并焦虑抑郁初筛方法，如图1-2所示，收集患者就诊时的连续帧人脸图像以及肺部CT图像，并记录患者焦虑抑郁(量表得分)以及肺结节病情(肺结节边界框标注、良恶性二分类标注)，包括数据预处理模块、特征提取模块、特征交互模块以及多任务学习模块，整体结构见图1；

数据预处理模块：对于连续帧人脸图像，使用开源工具OpenFace将非人脸区域像素值置为(0,0,0)，得到人脸感兴趣区域(ROI Region of Interest)图像序列；

微表情通常在人脸的特定区域中出现，而不是涉及整个人脸，例如嘴角、眉毛、面颊、鼻子，因此为了更准确地捕获和分析微表情，使用面部动作单元(AUs Action Units)来表示人脸各区域肌肉的细微动作；

借助开源工具OpenFace逐帧提取人脸图像的AUs强度(0-5)，并获取每张人脸的关键点坐标，当AU强度≥2，则认为该动作发生；

利用先验知识并结合人脸关键点坐标，给每个AU划分出相应的区域，所有AU值大于等于2的区域，将像素置为1，其余区域置为0，得到人脸微表情区域二值图序列；

由于CT图像的像素强度通常用亨氏单位(Hounsfield Hu值)来表示，参考medicaldetectiontoolkit中肺结节检测时的处理方案，将肺部CT图像的Hu值截断至(-1200-600)，并统计像素值的均值方差再做归一化

特征提取模块：包括肺结节特征提取和面部微表情特征提取；

所述特征提取模块中的肺结节特征提取的方法为：

使用3D-Unet来提取肺部CT的特征图；

此外对于肺部CT特征图，使用一个RPN(Region Proposal Network)来得到初步的肺结节候选位置；

所述特征提取模块中的面部微表情特征提取的方法为：

首先逐帧将人脸图像和微表情区域二值图分别送入CNN backbone，得到各自的特征图序列；

再对同一帧的人脸和微表情特征图逐元素点积，从而得到对微表情区域进行增强的面部特征图序列；

最后将面部特征图序列送入LSTR(Long Short-Term Transformer)(Xu M,XiongY,Chen H,et al.Long short-term transformer for online action detection[J].Advances in Neural Information Processing Systems,2021,34:1086-1099.)来对长时间序列特征进行建模，得到全局面部微表情特征；

特征交互模块：采用区域互注意力机制来交互肺部CT特征和面部微表情特征；

所述特征交互模块的具体方法为：

使用了mask-attention模块，只在RPN得到的肺结节候选位置内和面部微表情特征进行交互，特征交互编码器整体上与transformer编码器结构类似，不同的是在self-attention模块前后分别插入了mask-attention和cross-attention模块；

所述mask-attention模块为：让RPN得到的肺结节候选位置外的区域不参与相似度计算，将这些不参与运算的地方在softmax时置为0；首先得到RPN候选位置二值图，候选区域内为1外为0，把它作为mask输入至特征交互编码器如图2所示，从而将肺部CT特征(feature 1)的masked attention限制在肺结节候选位置内；

所述Mask-attention模块的公式如下：

注意力掩码M

其中，m

多任务学习模块：包括焦虑抑郁预测模块和肺结节检测模块；

所述cross-attention模块为，将query替换为面部微表情的特征嵌入(feature2)，使得mask后的肺部CT特征能够与面部微表情特征进行关联，最后经过feed forward输出得到交互特征；

所述多任务学习模块中的焦虑抑郁预测模块的具体方法为：患者焦虑抑郁程度主要是根据量表得分来进行区分；在这里使用两个回归头来对患者焦虑抑郁得分别进行预测；因为是初筛系统，最后针对不同任务之间的loss差异，对回归的分数设定一个动态加权损失函数的阈值来判定患者是否患有焦虑抑郁；

所述多任务学习模块中的肺结节预测模块为：用一个检测头来检测肺结节位置以及肺结节属性(良性、恶性)；

所述动态加权损失函数为：

L

其中，L

w

其中t为训练批次，k为任务序号，λ

本发明提出的基于多任务学习的肺结节合并焦虑抑郁初筛方法可以将肺结节特征与面部微表情特征联系起来，给医生一个初步的肺结节和焦虑抑郁筛查结果，以便及时发现病人的肺结节和心理异常情况并进行干预和治疗；提出的面部微表情特征提取方法，分别提取人脸图像与微表情区域二值化图像，对两者的特征图进行点积使得模型在特征提取过程中更加关注与微表情相关的人脸区域；提出的区域互注意力机制，仅在肺结节建议区域内和面部微表情特征进行交互，在特征融合的同时降低了计算量；提出的动态加权损失函数，可以有效缓解多任务学习的训练过程中不同任务之间损失函数差异过大的问题。

尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。