一种基于全方位认知实验集和多流双行决策神经网络模型的注意缺陷多动障碍综合征的辅助诊断系统

技术领域

本申请涉及生理信号采集和医疗器械技术领域，具体涉及一种注意力缺陷多动障碍综合症和关联认知障碍病症的测试判断系统。

技术背景

注意缺陷多动障碍综合征是一种常发于青少年以及幼年时期的疾病。ADHD患者与同龄儿童相比，以明显注意集中困难、注意持续时间短暂、活动过度或冲动为主要特征的一组综合征。其患病率一般报道为3％—5％，男女比例为4:1。

因为ADHD的异质性，加上其并发症和全球诊断临床医生的短缺，并且多动儿童在幼儿园和托儿所通常被认为是健康活跃的儿童，因此ADHD的诊断往往被延后。ADHD患者的大脑神经同正常人也有所区别，ADHD患者的前额叶皮层，具有异常低的多巴胺；严重损害个体的注意力功能、认知过程和工作记忆。大脑功能连接区域与正常大脑相比，患有ADHD的个体与前额皮质的神经元连接较少等特点。

评估脑电图(EEG)的效用在若干文章中已经得出结论，其对于儿童或成人的临床诊断还并不够可靠。更清楚地了解EEG特征和ADHD症状特征之间的关系可能会导致更客观的诊断工具的发展，以及帮助指导个性化的治疗策略。

目前的认知实验大部分都是单一的实验，且未从ADHD疾病各个方面以及个性化方面设计实验。大部分的认知实验范式针对面较广，不好准确判断脑电产生的特定区域以及相关连接性。

当前的利用神经网络进行分类的模型大多针对一种数据类型且对于模型优势的利用并不充分，虽然大部分模型已经可以达到对现有的公开数据集比较好的分类准确率，但是对于新的样本的预测，不同性质疾病的预测都还有待加强。

发明内容

本申请发明一个针对ADHD疾病的一种辅助诊断系统，用以解决现在在ADHD疾病方面的专业医生少，ADHD疾病由于其性质往往不被重视而被发现晚，治疗延后等问题。辅助专业医生诊断，缩减诊断时间。

操作平台，用于提供交互测试的操作环境、实时监测生理指标数据以及采集交互的脑电数据。

提供一种基于全方位多任务认知实验集和多流双行决策神经网络模型应用于注意缺陷多动障碍综合征的辅助诊断系统，所述的辅助诊断系统包括以下部分：基于ADHD和关联认知障碍相关的多个认知任务范式的任务集合；采集受试者脑电信息的脑电设备；用于脑电数据进行简单预处理的平台；对脑电数据进行转换后作为输入，进行特征提取的模型，以确定各个认知实验对受试的测评结果。

与现有技术相比，本申请实施例的有益效果在于：

本申请实施例中选定的认知任务集合是基于ADHD及其关联认知障碍疾病涉及的多个认知实验范式，比如包括反应力、注意力、控制力、抑制反应力、抗干扰能力，从而能够获得全面的反映脑网络功能的脑电信号数据。对于每一个实验获取的数据，预处理之后进行数据变换，生成功率谱图、低分辨率电磁层析成像等以及处理好的原本的脑电数据都输入到MSDD模型之中。不同的数据类型采用相对数据具有优势的模型，例如，循环神经网络(Recurrent Neural Network，RNN)模型在针对时序数据方面因其可以建立起对时间序列中上下文依赖关系的能力，以及可以处理长度不固定的序列数据等优势。但传统的RNN在训练时面临的最大问题是梯度消失和梯度爆炸，导致无法有效学习长序列数据，若将人工智能应用于医学诊断必须严谨，模型需强调稳定性，因此本专利所选用的模型都具有稳定性的优势。SBO-RNN借鉴了SGD(Stochastic Gradient Descent)算法的思想将本来的模型计算公式使用常微分方程代替，替换成一个双层优化问题。不仅增强了模型的稳定性，一定程度上还增加了模型的可解释性。ResNet通过残差连接的使用，ResNet可以轻松地扩展为数十甚至上百层的网络，提取更深层次的特征而不会遭受性能下降或梯度消失问题。通过神经网络自身对数据的学习，自动调整权重参数进行特征的提取，最终确认受试者的相关情况。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，而可依照说明书的内容予以实施，并且为了本申请的上述说明和其他目的、特征和优点能够更明显易懂，以下特举本申请的具体实施方式。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的注意缺陷多动障碍综合征的辅助诊断系统流程示意图

图2是本发明实施例提供的辅助诊断系统的结构示意图

图3是本发明实施例提供的多流双行决策神经网络模型的结构示意图

图4是本发明反应测试系统实验一的流程图

图5是本发明反应测试系统实验二的流程图

图6是本发明反应测试系统实验三的流程图

图7是本发明反应测试系统实验四的流程图

图8是本发明反应测试系统实验五的流程图

图9是本发明反应测试系统实验六的流程图

图10是本发明主要硬件设备示意图

具体实施方式

为了使本领域技术人员更好地理解本申请的技术方案，下面结合附图和具体实施方式对本申请作详细说明。结合附图和具体实施例对本申请的实施例作进一步详细描述，但不作为对本申请的限定。

在本申请中，各个步骤在图中均有所展示，图中所示的箭头仅仅作为执行顺序的示例，本申请涉及多个实验，实验的执行顺序不限于申请中所述顺序，可以调换顺序，只要不影响执行内容里的实验顺序即可。

本实验使用的所有术语(包括技术术语或科学术语)与本申请所属领域的普通技术人员理解的含义相同，除非另外特别定义。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法、设备应当被视为说明书的一部分。

下面结合图1描述本发明实施例的ADHD辅助诊断系统，包括：

操作平台20，用于提供交互测试的操作环境、实时监测生理指标数据以及采集交互脑电数据；

认知实验集合30，用于同步监测采集实验对应的脑电数据的刺激实验，使得脑电数据具有分析意义；

多流双行决策神经网络模型40，用于处理脑电数据，特征提取，学习分类，得出诊断结果；

所述的操作平台使用的是E-Prime工具对认知实验的呈现，通过电脑屏幕显示图形给出，听觉诱发由受试者所佩戴立体声耳机给出。actiCHamp Plus放大器和BrainVision脑电记录仪对脑电的采集，64导脑电采集系统，按国际10-20导联标准定位，A/D采样频率为256Hz～1KHz可选，参考电极为两耳垂，另有两个可同步记录实验过程中眼电信号的采集通道，用于去除眼电噪声。实验在屏蔽室中进行。综合考虑空间信息采集和数据处理速度的需要，视听认知事件相关脑电实验中采用32导联。Analyzer脑电分析系统对脑电进行分析，Pycharm利用python实现脑电数据分类。

所述的Analyzer脑电分析系统对脑电进行分析，包括：

滤波，根据所要分析的信号频率，适当设定波形带宽，滤除不必要的信号。在Analyzer的“Transformations”中选择“Filters”，其中Low Cutoff：设置低切滤波值，其中Frequency[Hz]为频率，Time Constant[s]为时间常数，两个参数只要设置其中一个即可，它们可根据F＝1/(2πT)互相转换。High Cutoff：设置高切滤波值。Notch：设置交流电滤波，根据所采集数据时的交流电压所定，如美国为110V，选择60Hz，而中国为220V，选择50Hz。Enable Individual Channel Filters：选择后可对每一通道单独设置带宽值。若对所有通道做filter，此项不选。

眼电纠正，ICA去眼电Ocular Correction ICA(但是它也可能会对非眼电的成分做校正；做ICA分析时，数据中最好没有噪音，因此，建议在用ICA去眼电前已经做了filter)

“Transformations”中选择“Ocular Correction ICA.”一般根据算法来判断，并选择半自动模式。选择Value Trigger Algorithm，即根据设定的标准来判断是否为眼电信号

伪迹去除：在“Transformations”中选择“Raw Data Inspection”，在“InspectionMethod”一栏中选择Semiautomatic Inspection半自动伪迹去除，Individual ChannelMode复选框：对于某个电极点而言，如果某一段超过criteria所设置的标准话，那么之后的步骤中只剔除这一个电极点的数据。如果不选，那么这一时间段上所有电极点的数据都将剔除。在“Channels”一栏中，除了两导眼电信号外，其余的脑电信号导联应全部选择上。在“Criteria”一栏中，设定半自动、自动分析的检测标准。Gradient(x)：两个采样点的梯度变化值；Max-Min(x)：波形变化最大绝对值；Interval length：设定时间段，在此时间段内波形允许的最大变化值。Amplitude：波形变化刻度值；设置允许的最大电压值和最小电压值。Low Activity(x)：波形最小变化值；在设定时间段内允许的最小变化值(大－小)注意：如果是对分段前的连续脑电信号去伪迹的话，由于此时没有基线校正，检查标准中一般选择Max-Min标准而不做Amplitude这一标准，如果是在分段后做去伪迹工作的话则相反。若选择的是半自动模式，在系统检测完之后，可观察按照标准所选出的伪迹，若认为系统所选择的某些“伪迹”并非伪迹的话，可按shift+鼠标单击去除这段被标记的“伪迹”；若有些伪迹没有被自动识别的话，也可shift状态下，单击两个端点。

分段平均，Segmentation：根据mark标志将要进行叠加平均的脑电信号提取出来。在“Transformations”中选择“Segment Analysis Functions”中选择“Segmentation”，选择对应类型的mark编号，在“Based on Time”这一属性中“Start[ms]”设置分段的开始时间(一般是选择mark的前200ms，为基线矫正做准备)，“End[ms]”分段的设置结束时间。再在“Transformations”中选择“Segment Analysis Functions”中选择“Average”即可叠加平均。

基线校正，在“Transformations”中选择“Segment Analysis Functions”中选择“Baseline Correction”，其中“Begin[ms]”即校准参考的开始时间，“End[ms]”即校准参考的结束时间。

所述的认知实验集合，实验一的操作流程：

传统的反向眼跳(antisaccades)实验中即在注视点过后，在屏幕的上下左右位置中呈现干扰眼跳的物体，任务目标是被试注视它的相反方向，被试不仅需要抑制朝向干扰目标的反射性眼跳，还要重新计划眼跳的行为。传统的反向眼跳实验流程如下：

第一步：呈现注视点1s

第二步：呈现干扰目标持续时间为1.2s，同时眼睛做出抑制反应，朝其相反的位置进行眼动。

该实验被大量应用于抑制反应、注意力等领域。而在此系统中，实验根据不同性别的人群对实验进行改进。首先由于反向眼跳实验本身历经这么多次的优化，因为其“空白效应”，因此优化实验是在反向眼跳空白范式上进行优化以达到更好的效果。具体实验流程如下图3所示：

第一步：呈现注视点1s

第二步：呈现1s的空白页，进行注意力释放，

第三步：呈现干扰目标持续时间为1.2s，同时眼睛做出抑制反应，朝其相反的位置进行眼动。

实验分为练习模块和正式实验模块，分别是4个试次和20个实验刺激，每次实验休息间隔为5min，一共做五组实验。实验对于性别不同的被试采用不同颜色的干扰目标。男生视网膜上杆细胞多，杆细胞处理黑白以及棕色等暗色比较突出，而女生视网膜上椎细胞多，椎细胞是处理颜色和细节的，有喜欢鲜艳颜色(红、黄、橙)的特点。因此在针对不同性别被试，我们给予不同的方案，增大抑制反应难度和一些干扰力度，以达到更好的效果

所述的认知实验集合，实验二的操作流程：

在人的认知心理中将知觉看作是感觉信息的组织和解释，在知觉加工的时候，有最佳大小的对象优先加工的特点，其中比较重要的是视角的大小和网像的位置，即人们往往会优先处理一些适合眼睛视角大小的目标。基于此，具体实验设计如图4所示：

第一步：呈现注视点1s，

第二步：会发出音频持续时间为1s，

第三步：屏幕中央将会快速呈现形状较大的字母或者数字，而组成它们的是形状较小的字母或数字45ms，

第四步：被试需要在1s内判断小形状的字母或数字是否与音频内容相符，若字母或数字与音频内容相符，分别用不同按键进行反应，若与音频不符合则无需按键反应。

实验分为练习模块和正式实验模块，分别是10个试次和30个实验刺激，每次实验休息间隔为5min，一共做五组实验。该实验属于多任务反应实验，被试不仅需要判断音频与小形状字母或数字是否一致，还要判断数字一致和字母一致按对应的键。利用认知中知觉加工的特点，设计较为容易迷惑人的干扰项即大形状的字母或数字，来增加抑制反应的难度从而达到更好的训练效果。

所述的认知实验集合，实验三的操作流程：

双侧干扰(Flanker)反应实验屏幕中央会呈现一串箭头，被试需要注视的是在一串箭头的中央那个箭头指向，若是往左侧按“F”键，若是往右按“J”键。传统的Flanker实验具体流程如下：

第一步：呈现注视点800ms，

第二步：在屏幕中间呈现横串箭头800ms，

第三步：被试需要排除两侧干扰在800ms内完成箭头指向判断

但是传统双侧干扰实验缺少一种情况，即无指向性干扰项，且对于横串判断中央的位置往往较竖串更慢，这影响被试的判断，被试往往会先去寻找中央的位置再进行判断。因此将横串改为竖串，箭头改为图形箭头并增加无指向性干扰项(“□”、“〇”)，将实验分为三种刺激类型。具体实验流程如图5所示：

第一步：呈现注视点800ms，

第二步：在屏幕中间呈现竖串图形800ms，

第三步：被试需要排除两侧干扰在800ms内完成箭头指向判断

实验分为练习模块和正式实验模块，分别是4个试次和30个实验刺激，每次实验休息间隔为5min，一共做五组实验。

所述的认知实验集合，实验四的操作流程：

在实验范式四中，受试者需要在屏幕上出现的刺激中，根据屏幕上的箭头方向进行相应的反应。其中，刺激会在屏幕中央出现，箭头也会出现在左右两个位置。而实验中的关键点在于，有时箭头位置和反应键的位置相同，有时则相反。这种情况下，受试者需要忽略箭头位置，只关注箭头方向作出相应的反应按键。但是，由于箭头位置的冲突，就要做出反应抑制，因此常常会发生错误反应。具体实验流程如图6所示：

第一步：呈现注视点800ms，

第二步：在屏幕呈现箭头图形，

第三步：被试需要排除位置冲突的影响在800ms内完成箭头指向判断并做出相应的反应

实验分为练习模块和正式实验模块，分别是4个试次和22个实验刺激，每次实验休息间隔为5min，一共做五组实验。

所述的认知实验集合，实验五的操作流程：

在实验范式五中，受试者需要在屏幕出现提示信息后做出反应判断。而提示信息可能与最终的反应信息相冲突，受试者仍需做出正确的反应。具体实验流程如图7所示：

第一步：呈现注视点1s

第二步：在屏幕中央呈现箭头方位的提示信息持续1.2s，提示之后出现的位置可能与箭头所指一致

第三步：屏幕呈现200ms的空白屏

第四步：在屏幕左边或者右边呈现红色菱形方块，受试者做出相应的反应

在认知心理学中对于提示信息的处理，受试者一般在200ms以内就可以处理好相应的提示信息，随后注意力就会转移到其他地方，称这一现象为“返回抑制”效应。这也是为什么在提示信息和反应操作直接加一个持续200ms空白页的原因。实验希望患者是受到提示信息的影响，要集中注意去判断提示信息和反应操作是否一致的。实验分为练习模块和正式实验模块，分别是4个试次和26个实验刺激，每次实验休息间隔为5min，一共做五组实验。

所述的认知实验集合，实验六的操作流程：

实验六使用的是CPT范式的变体，CPT范式是连续反应的测试，现多用于ADHD诊断的实验，传统的CPT是针对“X”和“O”字母，当出现字母“O”的时候受试者进行反应，否则不反应。“X”和“O”的比例大概是75％和25％。具体的流程如下：

第一步：呈现注视点2s

第二步：在屏幕中央黑色背景呈现白色字母200ms，受试者按要求进行反应

第三步：屏幕呈现200ms的间隔屏

而优化主要针对刺激物的修改，不同的刺激物引发的脑电有所不同，对于年龄较小的儿童来说，字母相对陌生，实验采用图形进行刺激，这里采用方形图形和圆形图形，受试者对方形进行反应，对圆形不反应。排除了先验知识的干扰，只针对反应刺激。其次反应刺激和非反应刺激比例颠倒，强调受试者自主控制抑制反应，以达到更好的测试效果。具体的实验步骤如图8所示：

第一步：呈现注视点2s

第二步：在屏幕中央黑色背景呈现白色图形(方形或圆形)200ms，受试者按要求进行反应

第三步：屏幕呈现500ms的间隔屏

实验分为练习模块和正式实验模块，分别是12个试次和25个实验刺激，每次实验休息间隔为5min，一共做五组实验。

所述的实验一其意义在于，是传统反向眼跳实验的改进，传统的反向眼跳实验在呈现完注视点之后就立刻呈现干扰目标，且干扰目标为单一的黑色，改进之后，由于“空白效应”在呈现完注视点之后先呈现一个空白页用于注意力释放。之后呈现棕色或者红色的目标，棕色针对男性，红色针对女性。因为不同性别对颜色的敏感程度不同，实验结果也能反映出，改进之后的实验对受试者的专注力考验更强，EEG脑电图通过FFT变换体现出更多高频的脑电波。该实验属于视觉冲突，在视觉层面上考验受试者的反应能力以及控制能力。不论是从脑电数据结果还是理论知识都可以看出该实验对受试者反应能力和注意力的考验。

所述的实验二其意义在于，是利用知觉处理上的冲突来对受试者的反应能力进行考验，因为人们在进行知觉处理时，由于整体局部处理优先级的先后，实验中大的字母和数字起到一个干扰受试者的作用，受试者需要保持专注排除干扰参能很好地完成实验，在一定程度上增加了实验难度。无论是实验结果还是理论知识都可以看出该实验对受试者反应能力和注意力的考验。

所述的实验三其意义在于，改进后的实验较传统的Flanker实验多一种情况，就是无指向性的干扰，选择用圆形和方形图形进行干扰，该方法对比字母Flanker实验，更好地解释了中性的这种情况，更具说服力。且呈现刺激是竖形的串，对比横串更能快速定位到中间位置，排除寻找目标的干扰。实验结果可以看出，EEG脑电图的ERP分析改进之后的实验在200ms左右前额叶比较活跃，FFT分析可以看出比传统的Flanker实验高频的脑电波较多。该实验属于干扰性冲突，受试者需要快速排除两侧的干扰进行反应。无论是实验结果还是理论知识都可以看出该实验对受试者反应能力、注意力和抗干扰能力的考验。

所述的实验四其意义在于，该实验利用位置冲突，来对受试者进行反应能力的考验，由于惯性思维，出现在左边的更愿意用左手做判断，出现在右边的更愿意用右手去判断，受试者有时需要集中注意力克制这样冲突去做出正确的反应。无论是实验结果还是理论知识都可以看出该实验对受试者反应能力和注意力的考验。

所述的实验五其意义在于，利用提示信息与目标刺激相冲突来对受试者进行反应能力的考验。提示信息有绝大部分是正确的，小部分是错误的，受试者需要集中注意力不能因为大部分是正确的而注意力涣散，或是提前做好准备之后释放掉注意力，而是需要全程注意以免提示错误。无论是实验结果还是理论知识都可以看出该实验对受试者反应能力和注意力的考验。

所述的实验六其意义在于，连续反应刺激是考验一个人的专注力可持续时间，而针对ADHD患者的专注力缺陷以及冲动情绪，本实验都涉及测试，能否正确反应可以看出受试者的专注度，能否控制反应，可以看出能否控制冲动行为，可以很好帮助系统进行诊断。

该认知实验系统分别从视觉冲突、空间位置冲突、知觉信息处理冲突、提示信息冲突、连续反应、干扰这些方面对受试者进行全面的反应能力以及专注度的测试，通过受试者对冲突的处理速度、正误以及反应快慢等测试，再对EEG进行分析，然后用深度学习模型进行特征学习、预测，区分开不同性质的受试者，最终达到辅助诊断的目的。

所述的多流双行决策神经网络模型是由两个不同的神经网络模型组成，利用其所具有的优势针对多种不同的数据进行分类，最终一起进行决策得出结果。其中的神经网络模型就是SBO-RNN和ResNet。

所述的SBO-RNN是一种特殊的循环神经网络结构，与其他神经网络结构相比，SBO-RNN的主要特点包括：

在传统的优化问题中，我们通常会面对一个目标函数和一组约束条件，通过优化算法找到最优解。而双层优化问题是一种更加复杂的优化问题，其中存在两个嵌套的优化问题。在这种情况下，我们需要在一个优化问题的约束条件下优化另一个优化问题。其核心思想如下：

h

SBO-RNN模型的目标是针对具有不确定性的双层优化问题进行建模和求解。它使用循环神经网络结构来对不确定性建模，并通过训练网络来学习优化问题中的决策变量和约束条件之间的关系。通过反向传播算法，SBO-RNN可以通过梯度下降方法自动地调整网络参数，以最小化目标函数。

所述的ResNet是一种经典的卷积神经网络结构，其中卷积层计算公式：

其中，

卷积网络中的卷积层引入了局部感受野的概念，这使得模型可以更加精细地捕捉图像等数据中的局部特征。同时，卷积层中的权值共享机制，也可以减少需要训练的模型参数数量，加速模型的训练和测试过程。但与其他神经网络结构相比，ResNet还具有以下的几个特点：

ResNet通过引入残差连接，允许跳过一些层，将底层的信息直接传递给上层。这种连接方式允许网络直接学习残差信息，从而更容易优化和训练深层网络。残差连接可以采用恒等映射或使用1x1卷积进行维度适配。

ResNet中的基本构建单元是残差块。每个残差块包含多个卷积层和非线性激活函数，以及绕过这些层的残差连接。残差块的引入允许网络学习残差函数，而不是直接学习底层特征，从而有助于提高网络的表达能力和优化性能。

ResNet具有更深的网络结构，以便提取更复杂和抽象的特征。通过残差连接的使用，ResNet可以扩展数十甚至上百层的网络，而不会产生性能或者梯度消失等问题。

通过对输入数据进行一定的随机变换、旋转、平移等操作，可以有效地扩充模型训练数据集，并提高模型的泛化能力。数据增广技术在卷积模型中也得到了广泛应用。

由于实验内容较多，因此采集的脑电数据集较大，所以无论是循环神经网络还是卷积神经网络在处理数据时都比较容易产生梯度消失和梯度爆炸等模型不稳定的问题，对于上述的两个模型的应用就是为了避免此类问题的发生。最终模型对数据进行预测之后，将多个结果整合成较为简单的类别数据，由上述所提过的浅层模型SVM来做最终的判别。SVM模型可解释性强，且结构简单，计算速率快，一定程度上可以提升系统的诊断速度。

综上所述，本发明实施例提供了一种基于全方位多任务认知实验集和多流双行决策神经网络模型的注意缺陷多动障碍综合征的辅助诊断系统，本发明实施例通过不同的认知实验，获取到每个受试者的脑电信号数据，从而提高了个体对在ADHD方面的脑电数据的差异性，提高了系统模型的分类正确率；模型通过针对转换或处理后不同的数据进行学习，提取特征用于精准分类识别从而达到辅助诊断的目的。

以上描述旨在是说明性的而不是限制性的，不用以限制本发明。例如，对脑电数据的处理可以是多样的，认知实验集可以有更优的选择或修改。上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

本领域技术人员可以理解附图只是一个优选实施例的示意图，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。