一种眼部疼痛智能识别的人机交互系统及方法

技术领域

本申请涉及一种眼部疼痛智能识别的人机交互系统及方法，特别是用于眼部疼痛指标自动判断的智能化人机交互系统，属于医疗诊断人机交互技术领域。

背景技术

甲状腺相关眼病(Thyroid-Associated Ophthalmopathy,TAO)是一种与甲状腺相关的眼部疾病。其中，眼球疼痛和球后疼痛是甲状腺相关眼病的常见症状，也是如今临床上医生进行TAO诊断的两个常用指标与依据。眼球疼痛通常是由于眼外肌炎症引起的，而球后疼痛则是由于眼眶内压力增加引起的，这两种疼痛都会给患者带来严重的不适和影响其生活质量。

在我国，临床上对于患者眼球疼痛及球后疼痛两项指标的评估与判断主要以医生面诊和询问为主。然而医生的人工判断存在着主观性强、操作不规范的问题，这导致了不同医生可能会对相同疾病得到不同的诊断结论。同时，作为一种常见的眼眶病，来访患者的数量众多也造成了医生的工作量庞大。

随着国内外人工智能技术的发展与普及、各类成熟的人工智能应用落地，在医学领域衍生出了医学人工智能这一解决医疗生产力的新兴科技力量。采用医学人工智能技术应用于眼球疼痛和球后疼痛两项指标诊断可以避免人工诊断的主观性，同时规范化诊断流程。并且，现在已经有了基于dlib库的68个人脸关键点识别、基于openCV库的眼动识别方法。然而，尚未发现有将人脸关键点及眼动识别等人工智能方法应用于TAO眼病的眼球疼痛及球后疼痛两项指标的识别与诊断。不仅如此，现有的人工智能技术存在着训练数据庞大、系统硬件性能要求高的问题，也无法实现实时快速的两项疼痛指标检测。

发明内容

本申请要解决的技术问题是目前临床上对于患者眼球疼痛及球后疼痛两项指标的评估与判断主要以医生面诊和询问为主导致诊断流程难以规范化的问题。

为了解决上述技术问题，本申请的技术方案是提供了一种眼部疼痛智能识别的人机交互系统，包括采集患者面部图像及深度数据的采集模块、处理模块和交互模块；

所述采集模块包括深度相机；

所述处理模块包括处理器、双模态眼球疼痛识别功能模块和瞳孔运动轨迹识别功能模块；

所述交互模块包括与患者交互的显示器和语音交互子模块；

系统通过语音交互子模块发出眼部动作引导指令，瞳孔运动轨迹识别功能模块判断患者所做眼球运动是否符合要求；

系统通过语音交互子模块发出双模态眼球疼痛问题询问，双模态眼球疼痛识别功能模块识别患者头部动作，反馈输出眼球疼痛及球后疼痛两项指标。

优选的，人机交互包括引导部分和交互部分：

引导部分为系统将采集模块置于待机状态并实时调用采集图像；处理器在画面中识别68人脸关键点后，调用语音交互子模块向患者发出语音准备信号；经过系统设定的延时后，通过语音交互子模块发出眼球运动引导指令，引导患者看向标记处；引导部分结束后，瞳孔运动轨迹识别子模块执行瞳孔运动轨迹识别方法，判断患者是否进行了正确的眼球运动，并输出判断结果；

交互部分为患者根据引导正确完成眼球运动后，系统通过语音交互子模块询问患者眼部疼痛情况；其中，第一个问题基于眼球运动结果，询问患者在眼球运动过程中是否感觉到疼痛；第二个问题基于患者自身情况，询问患者在日常生活中是否感受到眼球后疼痛；交互过程中，由双模态眼球疼痛识别功能模块执行头部动作识别方法，判断患者的头部动作，对点头表示同意与摇头表示否定进行识别，反馈输出眼球疼痛及球后疼痛两项指标。

优选的，所述瞳孔运动轨迹识别方法具体包括：

步骤11、眼部区域分割，获取瞳孔坐标；

由于人双眼正常运动存在相似性，因此只需要对一侧瞳孔的轨迹进行追踪即可；

步骤11.1首先对采集器捕捉到的画面进行预处理，采用伽马变换方式提升画面亮度，抑制采集器中其他像素对于患者面部瞳孔中心像素的影响：

其中，S

然后使用面部检测器确定患者的面部位置，提取患者的面部ROI(Region ofInterest，感兴趣)区域作为第一特征图，并基于第一特征图使用眼睛检测器确定患者的双眼ROI区域作为第二特征图；

步骤11.2然后基于第二特征图使用瞳孔检测器确定患者双眼中的瞳孔坐标；通过将两个瞳孔坐标与第一特征图中的面部区域坐标作比较，得到右眼或左眼的瞳孔坐标(x

步骤12、相对坐标计算；

对捕捉到的人脸面部画面进行识别处理得到68个面部关键点；而后从68个面部关键点中提取右眼区域或左眼区域的关键点坐标，对关键点坐标运算得到实时的右眼或左眼中心位置(x

将中心位置(x

步骤13、眼动轨迹判断；

患者眼球运动轨迹的判断是基于原点坐标(x

然后以所求得的实时相对坐标(x

通过将第一特征判据、第二特征判据、辅助特征判据与系统预设阈值

步骤14、输出判断结果，False代表患者未进行正确的眼球运动。

优选的，所述双模态眼球疼痛识别功能模块执行头部动作识别方法，对捕捉到的人脸面部画面进行识别处理得到68个面部关键点，从中选取鼻尖位置关键点坐标作为第一特征判据，将鼻尖位置关键点的深度数据作为第二特征判据；

通过对第一特征判据、第二特征判据随时间变化的程度进行分析与处理，输出患者此时的头部动作反馈；

其中，输出的患者头部动作反馈有两种，即点头表示同意与摇头表示否定，判断依据为患者鼻尖位置关键点坐标x轴与y轴在一秒之内的抖动幅度，结合此时的深度数据通过标准差计算来进行判断，具体为：

采集器的帧率为N，一秒之内患者鼻尖位置关键点坐标集合分别为N

其中，x

将计算得到的标准差与系统预设阈值

Positive表示同意，Negative表示否定，None表示无意义动作。

本申请还提供了一种眼部疼痛智能识别的人机交互方法，采用上述的人机交互系统，包括以下交互过程：

过程一：系统初始化

步骤1：处理器为系统运行分配所需的内存，初始化显示器；

步骤2：初始化深度相机并调用实时画面；

过程二：眼球疼痛识别交互

步骤1：识别与检测画面中的患者面部关键点，获得68个面部关键点中需要的关键点坐标；

步骤2：得到稳定的关键点坐标数据后，反馈进度于显示器上；系统调用扬声器向患者发出语音，引导患者看向标记处，同时系统开始识别与检测画面中的患者眼睛中心坐标与瞳孔坐标；

步骤3：当患者完成上述动作后，系统将患者眼球移动所产生的特征判据与预设阈值进行比较；如果轨迹相似，则系统再次发出语音询问患者在眼球运动过程中是否感受到疼痛；同时在深度相机实时画面中对患者面部进行头部动作识别，对点头表示同意与摇头表示否定动作进行识别；如果未识别到患者相应动作反馈或眼动轨迹不相似，则系统通过语音提醒患者；

步骤4：根据识别结果，输出眼球疼痛指标，并呈现在显示器上；

过程三：球后疼痛交互

步骤1：输出眼球疼痛指标后，系统调用扬声器向患者发出语音询问患者在平时生活中是否感受到眼球后方疼痛；同时在深度相机实时画面中对患者面部进行头部动作识别，对点头表示同意与摇头表示否定动作进行识别；如果未识别到患者相应动作反馈，则系统会通过语音提醒患者；

步骤2：根据识别结果，输出球后疼痛指标，并呈现在显示器上；

过程四：系统运行结束

步骤1：结束画面调用，关闭深度相机及显示器；

步骤2：处理器释放所占用的系统内存。

本申请针对TAO眼病中眼球疼痛及球后疼痛指标检测，提出了一种双模态眼球疼痛识别交互系统，准确快速地获取患者关于眼球及球后疼痛的反馈，减少了患者的就诊等待时间，提高医院的运行效率。该系统通过与患者的互动能够准确地获取患者关于眼球及球后疼痛的反馈，代替了传统的医生问诊方式，具有客观性及快速性的特点。

目前人工检测、主观性、误差、效率低；本申请提供的系统与方法相对于AI检测，具有更高的客观性、实时性、准确性、效率高。

此外，针对现有的以机器学习及深度学习来识别患者眼球运动轨迹的算法，本申请基于传统图像处理方法提出了一种基于相对坐标的瞳孔运动轨迹识别方法，该方法基于实时采集画面进行识别与处理，相比于需要大量数据训练，部署要求较高的机器学习或深度学习算法，具有低延时、实时响应与低运行内存的特点。

附图说明

图1本申请眼部疼痛智能识别的人机交互系统架构图；

图2为右眼中心位置示意图；

图3为坐标原点及瞳孔坐标示意图；

图4为相对距离、夹角及投影示意图；

图5为本申请系统实施过程流程示意图；

图6为瞳孔轨迹识别流程示意图；

图7为头部动作识别流程示意图。

具体实施方式

以下结合附图对本申请作进一步详细说明。

本领域技术人员在阅读完本说明书后可以根据需要对本实施例做出没有创造性贡献的修改，但只要在本申请的权利要求范围内都受到专利法的保护。

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

本申请实施例提供了一种眼部疼痛智能识别的人机交互系统，包括采集模块、处理模块和交互模块，采集模块包括空间深度数据采集功能的深度相机，处理模块包括处理器和双模态眼球疼痛识别功能模块以及瞳孔运动轨迹识别功能模块，交互模块包括与患者交互的显示器和语音交互子模块，语音交互子模块包括扬声器；本系统中处理器子模块通过语音交互子模块发出眼部动作引导指令，然后向患者询问关于眼部疼痛的两个问题并通过采集模块采集患者的头部行为，双模态眼球疼痛识别功能模块处理后反馈输出眼球疼痛及球后疼痛两项指标；瞳孔运动轨迹识别功能模块通过获取实时的瞳孔坐标与人眼中心坐标并计算两点坐标连线的夹角与投影距离，进而获得患者瞳孔的运动轨迹并与预设轨迹方程进行相似度比对，判断患者所做眼球运动是否符合要求；从而为患者眼球疼痛及球后疼痛两项指标的评估与判断提供规范化指标。

本申请实施例中，系统架构图参见图1，采集模块利用带有空间深度数据采集功能的深度相机获取患者面部的二维图像及深度数据，处理模块对患者面部数据进行处理，双模态眼球疼痛识别功能模块和瞳孔运动轨迹识别功能模块是内置于处理器中的两个功能模块，对应执行相应的方法，进而实现患者头部识别、瞳孔检测及轨迹识别；处理模块用于控制进行语音交互，处理进度及其他信息均呈现在显示器上，医生可以通过显示器在系统输出结果后进行后续操作。

在本申请实施例中，交互模块用于通过语音及视频与患者交互，交互过程分为引导部分与交互部分，系统通过处理器子模块控制语音交互子模块将文字信息转换为声音信号，实现引导或者与患者交互；

引导部分：本系统初始化完毕后，将采集模块置于待机状态并实时调用深度相机画面；当处理器能基于dlib库在画面中识别68人脸关键点后，调用语音交互子模块向患者发出语音准备信号；而后，经过系统设定的延时后，通过语音交互子模块发出眼球运动引导指令，引导患者看向预先设定的标记处；引导部分结束后，瞳孔运动轨迹识别子模块执行瞳孔运动轨迹识别方法，判断患者是否进行了正确的眼球运动，并输出判断结果；

交互部分：交互部分又分为眼球疼痛交互与球后疼痛交互两个部分；当患者根据引导正确完成了眼球运动后，系统通过语音交互子模块询问患者眼部疼痛情况；其中，第一个问题基于眼球运动结果，询问患者：“在眼球运动过程中是否感觉到疼痛？”该问题属于眼球疼痛交互部分；第二个问题基于患者自身情况，询问患者：“在日常生活中是否感受到眼球后疼痛？”该问题属于球后疼痛交互部分；交互过程中，由双模态眼球疼痛识别功能模块执行头部动作识别方法，判断患者的头部动作，对点头(同意)与摇头(否定)动作进行识别，反馈输出眼球疼痛及球后疼痛两项指标。

在本申请实施例中，由瞳孔运动轨迹识别功能模块执行的瞳孔运动轨迹识别方法，核心有两部分：一、瞳孔检测，二、轨迹识别；

具体包括以下步骤：

步骤11、眼部区域分割，获取瞳孔坐标；

瞳孔检测基于现有OpenCV库中面部检测器、眼睛检测器及瞳孔分类器实现；由于人双眼正常运动存在相似性，因此在方法中只需要对其中一侧瞳孔的轨迹进行追踪即可；同时，利用该特性还能降低方法的运算复杂度；

以右眼为例；

步骤11.1首先对采集器捕捉到的画面进行预处理，采用伽马变换方式提升画面亮度，抑制采集器中其他像素对于患者面部瞳孔中心像素的影响：

其中，S

然后使用面部检测器确定患者的面部位置，提取患者的面部ROI(Region ofInterest，感兴趣)区域作为第一特征图，并基于第一特征图使用眼睛检测器确定患者的双眼ROI区域作为第二特征图；

步骤11.2然后基于第二特征图使用瞳孔检测器确定患者双眼中的瞳孔坐标；通过将两个瞳孔坐标与第一特征图中的面部区域坐标作比较，得到右眼的瞳孔坐标(x

步骤12、相对坐标计算；

轨迹识别采用现有基于dlib库的人脸关键点检测技术，对深度相机捕捉到的人脸面部画面进行识别处理得到68个面部关键点；而后从68个面部关键点中提取右眼区域的第43-48号关键点坐标(左眼同理)，其中，对第43、45、46、48号面部关键点进行运算得到实时的右眼中心位置(x

记第43号面部关键点坐标为(x

得到右眼中心位置坐标后，将该坐标作为原点，如图3所示；依照公式(2)计算右眼瞳孔与右眼中心位置两点之间的相对坐标(x

步骤13、眼动轨迹判断；

患者眼球运动轨迹的判断原理是基于坐标原点(x

然后以所求得的实时相对坐标(x

通过将第一、第二特征判据、辅助特征判据与系统预设阈值

步骤14、输出判断结果，False代表患者未进行正确的眼球运动。

通过采用上述瞳孔运动轨迹识别方法，系统能够实时获取患者瞳孔坐标；然后进行轨迹识别，通过对人眼中心位置的实时捕捉，计算出患者瞳孔坐标的相对于人眼中心位置连线的夹角与投影距离；与预设的阈值进行相似度比对，判断患者所做眼球运动是否符合要求；该轨迹识别方法基于传统图像处理方法实现，相比于机器学习及深度学习轨迹识别方法，具有低运行内存、低延时与实时响应的优点。

在本申请实施例中，由双模态眼球疼痛识别功能模块执行的头部动作识别方法，在交互部分，向患者询问问题后，判断患者的头部动作，对点头(同意)与摇头(否定)动作进行识别，并输出判断结果；头部动作识别方法采用现有基于dlib库的人脸关键点检测技术，在接收到系统的调用请求后，头部动作识别方法从采集模块实时采集的画面中，识别68个面部关键点，从中选取鼻尖位置关键点坐标作为第一特征判据，将采集模块(深度相机)生成的关于鼻尖位置关键点的深度数据作为第二特征判据；通过对第一特征判据、第二特征判据随时间变化的程度进行分析与处理，输出患者此时的头部动作反馈；

其中，输出的患者头部动作反馈有两种，即点头表示同意与摇头表示否定，判断依据为患者鼻尖位置关键点坐标x轴与y轴在一秒之内的抖动幅度，结合此时的深度数据通过标准差计算来进行判断，具体为：

采集器的帧率为N(30fps)，一秒之内患者鼻尖位置关键点坐标集合分别为N

其中，x

为了消除不同采集设备之间的差异，本方法采用了标准差比的方式进行患者头部动作识别，将计算得到的标准差与系统预设阈值

Positive表示同意，Negative表示否定，None表示无意义动作。

通过执行上述头部动作识别方法，本系统以此输出头部动作反馈结果。该方法作为基于标准差比的头部动作识别方法，以患者面部鼻尖位置的关键点坐标为基础，采用经典的图像处理方法判断患者对于问题的头部动作反馈，识别内容为同意(点头)及否定(摇头)；核心步骤为将一帧坐标的x、y、z轴数据分别计算其标准差，而后根据x、y轴标准差比进行阈值判断并辅以z轴标准差的阈值判断结果，符合判定条件即输出头部动作反馈结果。该识别方法提高了实时响应速度与处理速度，精度高的同时对于硬件性能的需求低。

在本申请中，患者眼球疼痛及球后疼痛两项指标的评估与判断，依赖于双模态眼球疼痛识别功能模块以及瞳孔运动轨迹识别功能模块提供的规范化指标，双模态眼球疼痛识别功能模块为本系统的核心模块，瞳孔运动轨迹识别功能模块为辅助模块，最终是为了得到准确规范的眼部疼痛智能识别结果。当系统与患者就眼球疼痛这一指标进行交互时，需要通过患者的眼球运动来获得此时眼球疼痛与否的信息反馈。瞳孔轨迹识别方法用来判断患者是否正确地按照语音引导进行了眼球运动，从而获得可信度较高的反馈结果。系统提前计算好患者瞳孔从采集模块所在位置到标记点的角度、相对距离的变化作为判断的标准，从而当患者实际进行眼球运动时，系统将通过调取实时采集模块画面获得的角度、相对距离的变化与预设的判断标准进行阈值比较，在阈值内则表明患者依照约定路径进行了运动，此时获得的反馈结果可信度较高；才能得到准确规范的识别结果。

在本申请实施例中，本系统的交互实施过程为：

为了获取甲状腺相关眼病患者的眼球疼痛与球后疼痛两项指标结果，方便医生的诊断与分析，本申请提供了一种眼部疼痛智能识别的人机交互系统，使用本系统进行患者眼球疼痛识别交互的整个过程包含系统初始化与中止、眼球疼痛交互、球后疼痛交互三大部分，如图5所示，患者瞳孔运动轨迹识别流程如图6所示，患者头部动作识别流程如图7所示。

具体交互过程如下：

过程一：系统初始化

步骤1：处理器为系统运行分配所需的内存，初始化显示器；

步骤2：初始化深度相机并调用实时画面。

过程二：眼球疼痛识别交互

步骤1：识别与检测画面中的患者面部关键点，获得68个面部关键点中需要的关键点坐标；

步骤2：得到稳定的关键点坐标数据后，反馈进度于显示器上；系统调用扬声器向患者发出语音，引导患者看向标记处，同时系统开始识别与检测画面中的患者眼睛中心坐标与瞳孔坐标；

步骤3：当患者完成上述动作后，系统将患者眼球移动所产生的特征判据与预设阈值进行比较，方式见公式4；如果轨迹相似，则系统再次发出语音询问患者在眼球运动过程中是否感受到疼痛。同时在深度相机实时画面中对患者面部进行头部动作识别，对点头(同意)与摇头(否定)动作进行识别，方式见公式5；如果未识别到患者相应动作反馈或眼动轨迹不相似，则系统通过语音提醒患者；

步骤4：根据识别结果，输出眼球疼痛指标，并呈现在显示器上。

过程三：球后疼痛交互

步骤1：输出眼球疼痛指标后，系统调用扬声器向患者发出语音询问患者在平时生活中是否感受到眼球后方疼痛；同时在深度相机实时画面中对患者面部进行头部动作识别，对点头(同意)与摇头(否定)动作进行识别，方式见公式5；如果未识别到患者相应动作反馈，则系统会通过语音提醒患者；

步骤2：根据识别结果，输出球后疼痛指标，并呈现在显示器上。

过程四：系统运行结束

步骤1：结束画面调用，关闭深度相机及显示器；

步骤2：处理器释放所占用的系统内存。