一种孤独症儿童的单一兴趣行为检测系统及方法

技术领域

本发明涉及机器视觉领域，尤其涉及一种孤独症儿童的单一兴趣行为检测系统及方法。

背景技术

孤独症谱系障碍(Autism spectrum disorder，ASD)又称孤独症或孤独性障碍，是广泛性的发育障碍的代表性疾病，主要表现为三大类核心症状，即：社会交往能力缺失、沟通能力缺失、兴趣狭窄和刻板重复的行为方式。尽管孤独症的确切病因未明，目前也没有方法可以完全治愈，且无完全治愈的方法，也无特效药物治疗。但是若能够实现“早发现，早诊断，早干预”，即患者年龄区间为18～36个月，及时地诊断干预能够明显改善患者症状。研究表明早期诊断后的早期干预治疗，能够实现最高25％的患儿有效恢复。

目前的孤独症临床筛查诊断中包含“单一兴趣”行为筛查诊断方式。在筛查诊断过程中，孤独症患者的“单一兴趣”往往表现为对一般儿童所喜爱的玩具缺乏兴趣，而对一些通常不作为玩具的物品却特别感兴趣，如车轮、瓶盖等圆的可旋转的东西。同时患者常会出现刻板重复的动作和奇特怪异的行为，如：长时间玩同一种玩具、要求玩具放在固定位置、常用同一种方式玩玩具等。这是家长在患儿成长过程中较为容易发现的行为特征之一，是用于很好的区分患儿和正常儿童的重要判断依据。“单一兴趣”行为筛查诊断方式是由具备专业资格的医师与家长、患者共同完成。医师首先需要通过和家长交流，了解患者的发育史，接着在一定空间中使用部分测试道具与受试患者进行一系列互动，最后对照孤独症行为量表，在对应项目获取分数，综合后得到诊断结果。这种人工筛查诊断方式存在如下缺点：(1)诊断过程繁琐，耗费时间长；人工筛查流程复杂，需要持续较长时间；(2)筛查过程缺乏记录，不便于复盘；(2)诊断结果往往具有医生的主观意见，不能客观的反映患者病症情况；由于医生往往容易带入个人的主观判断，对患者的病症判断及下一步的干预治疗方案造成影响；(3)现有的具备专业行医资格的医师数量少，且只有在一、二线城市的医院才设置有孤独症相关诊断科室。

因此，本领域的技术人员致力于开发一种孤独症儿童的单一兴趣行为检测系统及方法，能够简化流程，减少时间，节约人力、物力，以及减少人为干扰的因素，检测结果更具有客观性。

发明内容

为实现上述目的，本发明提供了一种孤独症儿童的单一兴趣行为检测系统，包括：

作为检测场所的测试区域；

测试道具，设置在所述测试区域内；

视觉采集装置，设置在所述测试区域内，所述视觉采集装置的视觉范围至少覆盖所述测试道具所在区域；所述视觉采集装置用于采集图像信息；

语音采集装置，设置在所述测试区域内，用于采集语音信息；

终端，与所述视觉采集装置和所述语音采集装置通讯，以接受所述图像信息和所述语音信息；

其中，所述终端至少包括：

数据存储模块，用于存储所述视频信息、所述语音信息和检测结果；

算法分析模块，被配置为：利用物体检测算法、手部骨架点检测算法、视线估计算法对所述图像信息进行处理，获取参与者身份信息、参与者三维空间位置、人脸特征信息、人体姿态信息和语音检测，其中所述人脸特征信息包括面部特征点、视线方向，所述人体姿态信息包括人体骨架点信息、人手骨架点信息、头部姿态信息；分析受试者在不同的所述单一兴趣行为下的状态、所述测试道具的状态和所述受试者的注意力，得到不同的专注时间比例，将所述专注时间比例从大到小排序，当最大专注时间比例减去其次专注时间比例大小超预定阈值时判定满足单一兴趣条件，并按照所述比例大小进行量化评价，输出检测结果。

进一步地，所述视觉采集装置包括RGB相机、支架和云台，所述RGB相机安装在所述云台，所述云台连接至所述支架，所述支架设置在所述测试区域，所述云台被配置为调节所述RGB相机的上下俯仰角和偏航角。

进一步地，所述测试道具包括设置在所述测试区域内的桌子和椅子，以及多个测试玩具。

本发明还提供了一种利用如上所述的单一兴趣行为检测系统进行单一兴趣行为检测的方法，所述方法包括：

步骤一：语音采集装置检测测试者的语音指令，当检测到预定指令后，终端开始分析，进行测试。

步骤二：测试者在收到所述终端提示后开始进行所述单一兴趣行为的第一轮测试；视觉采集装置采集图像信息并传输至所述终端；

步骤三：测试者在收到所述终端提示后开始进行所述单一兴趣行为的第二轮测试；所述视觉采集装置采集图像信息并传输至所述终端；

步骤四：所述终端的算法分析模块自动处理所述步骤二和所述步骤三获得的图像信息，计算所述步骤二与所述步骤三的累加分数，输出结果；

其中，步骤二和步骤三的时间间隔不少于五分钟。

进一步地，所述步骤二包括：

步骤2.1：所述测试者将测试玩具全部摆放在桌面上，2-3分钟后发出所述语音指令，开始测试；

步骤2.2：让受试者自由把玩测试玩具，整个过程持续8-10分钟；

步骤2.3：利用所述视觉采集装置采集的图像，通过以下视觉检测算法进行儿童注意力检测：物体检测算法、手部骨架点检测算法和视线估计算法；其中，所述物体检测算法、手部骨架点检测算法和视线估计算法同时进行。

进一步地，所述步骤三包括：

步骤3.1：所述测试者将测试玩具分类，先给受试者一种测试玩具，发出所述语音指令：开始测试，让所述受试者自由把玩2分钟。

步骤3.2：2分钟后，所述终端提示该类测试玩具时间结束，所述测试者给所述受试者下一种测试玩具，发出所述语音指令：计时开始，让所述受试者自由把玩2分钟。

步骤3.3：利用所述视觉采集装置采集的图像，通过以下视觉检测算法进行儿童注意力检测：物体检测算法、手部骨架点检测算法和视线估计算法；其中，所述物体检测算法、手部骨架点检测算法和视线估计算法同时进行；

步骤3.4：重复步骤3.2和3.3，直到最后一种测试玩具计时结束。

进一步地，所述步骤二和所述步骤三的检测过程包括三类事件，所述三类事件满足触发条件后停止计时并存储该事件对应的视频段。

进一步地，所述三类事件包括：

事件1：对于所述手部骨架点检测算法，首先所述物体检测算法实时获取所述受试者手握的测试玩具种类和坐标，获取所述受试者的手部骨架点和坐标，计算当前测试玩具与所述受试者的手部的距离，距离小于阈值则开始计时并记录单独视频段，直到所述距离大于最大阈值时且超过临界时间则停止对于该测试玩具的计时并额外独立存储该段视频；

事件2：对于所述视线估计算法，用于实时获取所述受试者的视线向量；视线起点为所述受试者的双眼中点，方向根据基于外观的视线估计算法获得；所述物体检测算法实时获取所述受试者手握的所述测试玩具种类和坐标，所述测试玩具的中心位置为物体检测获得的中心坐标；连接所述受试者的所述双眼中点，得到对比向量；计算估计视线向量与所述对比向量的角度差；当所述角度差小于角度阈值时开始计时，直到所述角度差大于阈值时且超过临界时间则停止对于该测试玩具的计时并额外独立存储该段视频；

事件3：当所述事件1和所述事件2同时发生时，开始独立进行计时并存储对应视频段，直到其中一个事件结束停止存储。

进一步地，所述步骤四包括：

对不同的测试玩具进行编号，记录所述视觉采集装置获得的触发事件对应的视频时间长度，计算针对不同的测试玩具的专注时间比例，对所述专注时间比例从大到校排序，当最大专注时间比例减去其次专注时间比例的大小超过阈值时，判定满足单一兴趣条件，按照所述大小进行并打分。

进一步地，所述阈值为20％。

本发明具有以下有益的技术效果：本发明使用了一种融合视线估计、手部骨架点检测和物体检测的注意力检测方法，主要检测过程基本上由终端的算法分析模块自动完成，测试者仅起到辅助筛查流程进行的作用，数据记录、分析过程基本实现自动化，从而能够简化流程，减少时间，节约人力、物力，以及减少人为干扰的因素。本发明的检测方法给出了标准检测流程和儿童“单一兴趣”程度量化方法，检测结果更具有客观性。

以下将结合附图对本发明的构思、具体结构及产生的技术效果作进一步说明，以充分地了解本发明的目的、特征和效果。

附图说明

图1是本发明的一个较佳实施例的检测系统结构示意图；

图2是本发明的一个较佳实施例的检测方法的流程图；

图3是本发明的一个较佳实施例的手部骨架点检测算法和物体检测算法示意图；

图4是本发明的一个较佳实施例的视线估计算法示意图；

图5是本发明的一个较佳实施例的事件触发时间图。

具体实施方式

以下参考说明书附图介绍本发明的多个优选实施例，使其技术内容更加清楚和便于理解。本发明可以通过许多不同形式的实施例来得以体现，本发明的保护范围并非仅限于文中提到的实施例。

在附图中，结构相同的部件以相同数字标号表示，各处结构或功能相似的组件以相似数字标号表示。附图所示的每一组件的尺寸和厚度是任意示出的，本发明并没有限定每个组件的尺寸和厚度。为了使图示更清晰，附图中有些地方适当夸大了部件的厚度。

如图1所示，本发明提供了一种孤独症儿童的单一兴趣行为检测系统，包括测试区域、测试道具、视觉采集装置、语音采集装置和终端。测试区域是用于测试的场所，至少将测试道具、视觉采集装置、语音采集装置布置在测试区域内。终端可以布置在测试区域内，也可以布置在测试区域外。测试区域可以是一固定场所，在该固定场所内长期布置视觉采集装置、测试道具，可以循环使用。测试区域也可以选用临时场所，在选定区域后，将测试道具、视觉采集装置、语音处理装置和终端等布置在该区域内，以进行临时搭建。

在一些实施方式中，测试道具至少包括测试玩具，测试玩具用于吸引受试者的注意力，以观察受试者玩玩具时的行为和视线方向。测试玩具可以根据实际需求选择，例如，根据前期所了解的受试者感兴趣的玩具来设置。受试者把玩同一种玩具，可视为待检测的单一兴趣行为。本发明将以积木、绳子、瓶盖和人偶娃娃等测试玩具为例进行描述。此外，为了便于测试，测试道具还包括桌子2、椅子1等道具，以供受试者和测试者乘坐，以及摆放测试玩具。

在一些实施方式中，视觉采集装置包括高清RGB相机4、支架3和云台5。高清RGB相机4设置在云台5上，云台5连接至支架3，支架3摆放在测试区域的地板上或者悬挂在测试区域的天花板上，本发明以三角支架为例进行描述。云台5可以用于调节高清RGB相机4的角度，使得高清RGB相机4的视觉范围覆盖摆放桌子2、椅子1的区域，以便可以清晰、完整的采集图像信息。云台5可以手动调节，也可以通过终端来控制以进行自动调节。云台至少支持上下旋转调节俯仰角，也可以绕垂直于地面的轴旋转调节偏航角。高清RGB相机4的方位可以为测试者椅子右侧后方；高清RGB相机4的俯仰角度与偏航角度通过云台5调节，以获得最佳画面；高清RGB相机4需要无遮挡的、清晰的获得受试患者的面部信息和受试患者手部和桌面区域。

在一些实施方式中，语音采集装置选用降噪收音麦克风7，用于获得测试者高质量的语音质量，控制检测流程。降噪收音麦克风可以是微型的，固定在测试者衣领内测，或者可以是通过支撑装置摆放在测试区域内。

终端与高清RGB相机4、语音采集装置通讯，接受两者采集的信息。通讯方式可以是现有技术中已有的通讯方式，例如wifi、蓝牙、Zigbee等无线通讯方式，或者网线、数据线等有限通讯方式。终端至少包括数据存储模块、算法分析模块和显示装置。例如，终端可以选用PC机，数据存储模块和算法分析模块集成在主机8中，显示装置为与主机连接的显示屏6；或者可以选用一体化终端，例如一体机、移动终端、嵌入式系统等。终端的具体形式不构成本申请的限制。

数据存储模块可以为现有技术中已有的存储器，用于写入高清RGB相机和语音采集装置的视频数据、语音数据，便于后期处理和测试者诊断复盘。

算法分析模块能够使用基于外观的视线估计方法和基于目标检测的方法对视觉采集装置采集的图像信息进行实时处理，算法分析模块利用物体检测算法、视线估计算法、手部骨架点算法对图像信息进行处理。处理后获得的信息主要包括参与者身份信息、参与者三维空间位置、人脸特征信息、人体姿态信息和语音检测；人脸特征信息包括面部特征点、视线方向；人体姿态信息包括人体骨架点信息、人手骨架点信息、头部姿态信息等。对受试者当前的状态进行分析，主要是通过测试玩具的状态、受试者注意力等判断当前患者状态是否属于规定“单一兴趣”的行为之一，对其行为进行打分，计算总得分，最后得到诊断结果显示在显示屏6上，并将这些信息同步存储到本地。需要说明的是，判断受试者“单一兴趣”行为发生时的注意力依据需要由视线与患儿—玩具关系共同提供。

如图2所示，本发明提供了一种孤独症的“单一兴趣”行为的检测方法，利用上述的检测系统来执行该检测方法。在检测开始之前，需要做一些准备工作。例如，准备好测试区域，引导受试者在监督人的陪同下，通过测试者的引导，使得受试者与测试者坐在指定区域，例如，坐在相对布置的两张椅子上。在测试之前，测试者将受试者的名字输入终端，之后，可以开启检测工作。该检测方法包括如下步骤：

步骤一：语音采集装置检测测试者的语音指令，当检测到预定指令后，终端开始分析，进行测试。

步骤二：测试者在收到主机提示后开始进行“单一兴趣”行为的第一轮测试；视觉采集装置采集图像信息并传输至终端；

步骤三：测试者在收到主机提示后开始进行“单一兴趣”行为的第二轮测试；视觉采集装置采集图像信息并传输至终端；

步骤四：终端的算法分析模块自动处理步骤二、三获得的图像信息，计算步骤二与步骤三的累加分数，输出结果；

其中，步骤二和步骤三的时间间隔不少于五分钟。

在步骤二中，还包括如下步骤：

步骤2.1：测试者将测试玩具全部摆放在桌面上，2-3分钟后发出语音指令，开始测试；

步骤2.2：让受试者自由把玩测试玩具，整个过程持续8-10分钟；

步骤2.3：利用高清RGB相机采集的高清图像，通过以下视觉检测算法进行儿童注意力检测：(1)物体检测算法；(2)手部骨架点检测算法；(3)视线估计算法。以上三种算法同时进行，其检测过程可描述为以下三种事件，每种事件满足触发条件后停止计时并存储该事件对应的视频段：

事件1：如图3所示，对于手部骨架点检测算法，首先物体检测算法实时获取受试者手握的测试玩具种类和坐标，获取受试者手部骨架点和坐标，计算当前测试玩具与受试者手部的距离，距离小于阈值则开始计时并记录单独视频段，直到所述距离大于最大阈值时且超过规定的“临界时间”则停止对于该道具的计时并额外独立存储该段视频。

事件2：如图4所示，对于视线估计算法，用于实时获取受试者的视线向量；所述视线起点为受试者双眼中点，方向根据基于外观的视线估计算法获得；物体检测算法实时获取受试者手握的测试玩具种类和坐标，测试玩具的中心位置即上述物体检测获得的中心坐标；连接受试者双眼中点，得到对比向量；计算估计视线向量与对比向量的角度差；当角度差小于角度阈值时开始计时，直到角度差大于阈值时且超过规定的“临界时间”则停止对于该玩具的计时并额外独立存储该段视频。

事件3：如图5所示，当事件1和事件2同时发生时，开始独立进行计时并存储对应视频段，直到其中一个事件结束停止存储。

在步骤三中，具体包括如下步骤：

步骤3.1：测试者将测试玩具分类，先给受试者一种测试玩具，发出语音指令：开始测试，让受试者自由把玩2分钟。

步骤3.2：2分钟后，评估系统提示该类测试玩具时间结束，测试者给受试者下一种测试玩具，发出语音指令：计时开始，让受试者自由把玩2分钟。

步骤3.3：同步骤2.3；

步骤3.4：重复步骤3.2和3.3，直到最后一种测试玩具计时结束。

在步骤四中，终端的算法分析模块对步骤二和三中采集的图像信息进行处理，其计算方式如下：

以上公式解释如下：

将测试玩具分别进行编号，以积木、绳子、瓶盖和人偶娃娃为例，分别编号1、2、3、4；记高清RGB相机获得的触发事件的视频时间长度为T

上述计算公式能够获得把玩四种玩具(把玩一种玩具可视为一个单一兴趣行为)的专注时间比例R

表1.儿童“单一兴趣”程度量化方法

上述检测方法，使用了一种融合视线估计、手部骨架点检测和物体检测的注意力检测方法，主要检测过程基本上由终端的算法分析模块完成，测试者仅起到辅助筛查流程进行的作用，数据记录、分析过程基本实现自动化，从而能够简化流程，减少时间，节约人力、物力，以及减少人为干扰的因素。本发明的检测方法给出了标准检测流程和儿童“单一兴趣”程度量化方法，检测结果更具有客观性。

以上详细描述了本发明的较佳具体实施例。应当理解，本领域的普通技术无需创造性劳动就可以根据本发明的构思做出诸多修改和变化。因此，凡本技术领域中技术人员依本发明的构思在现有技术的基础上通过逻辑分析、推理或者有限的实验可以得到的技术方案，皆应在由权利要求书所确定的保护范围内。