一种基于人工智能的眼保健操质量评估系统

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于人工智能的眼保健操质量评估系统。

背景技术

随着社会的不断进步，人们对健康的理解日益全面和深入，青少年的视力问题尤其是家庭、学校、社会都共同关切与重视的问题。眼保健操是基于中国医学的推拿和经络理论、同时结合体育医疗综合而成的按摩法，它通过对人眼部周围穴位的按摩，使眼内气血通畅，从而改善神经营养，以达到消除睫状肌紧张或痉挛的目的，改善眼的疲劳。

但是，在实际的操作过程中，由于很多学生对眼保健操按摩穴位掌握的准确性较差，使得日常的眼保健操难以达到理想的预防和治疗效果，甚至可能损伤眼睛。

发明内容

本发明提供一种基于人工智能的眼保健操质量评估系统，解决的技术问题是，目前，人们对眼保健操按摩穴位把握的准确性较差，错误的眼保健操不仅达不到预期结果，还会影响青少年的视力发育。

为解决以上技术问题，本发明提供了一种基于人工智能的眼保健操质量评估系统，包括顺序连接的数据采集系统、数据分析系统以及大数据系统；

所述数据采集系统用于将采集到的实际动作图像输入神经网络中，输出手部三维关键点坐标序列以及脸部三维关键点坐标序列；

所述数据采集系统还用于基于所述脸部三维关键点坐标序列，在预先改进的三维人头统计模型中进行穴位对齐，得到头部穴位点坐标序列；

本技术方案识别手部和脸部关键点所利用的神经网络模型，在识别三维坐标时结合手部和脸部关键点的二维坐标，相对于仅仅考虑二维坐标的现有技术，通过本方案可以实现提高手部和脸部关键点的三维坐标的精准度的目的，同时，本方案根据改进的三维人头统计模型获取头部穴位点的位置，大大提高了穴位点的精确系数；

所述数据分析系统包括依次连接的位置计算单元、顺序判断单元以及时长计算单元；

所述位置计算单元，用于采用欧式距离算法，计算各个手部三维关键点坐标与各个头部穴位点坐标的距离，生成距离关系矩阵；

所述顺序判断单元，用于提取所述距离关系矩阵中的零元素的行列值，将其构成按压步骤序列，并将其去噪、合并得到实际步骤序列，还用于将所述实际步骤序列与标准步骤序列进行匹配，得到重复步骤序列以及不重复步骤序列，根据所述重复步骤序列计算得到步骤准确率；

所述时长计算单元，用于将去噪后的所述按压步骤序列与所述重复步骤序列进行匹配，得到正确按压时长，并将其与标准正确按压时长计算得到正确时长准确率，以判断实际按压时长是否满足规定时长；同理，获取错误时长准确率；

所述时长计算单元，还用于将所述步骤准确率、所述正确时长准确率以及所述错误时长准确率融合，计算得到所述眼保健操正确率；

所述大数据系统用于根据所述眼保健操正确率进行数据评估、上传。

其中，在所述采集实际动作图像之前，需预先存储不同章节的标准眼保健操视频对应的标准动作图片。

本技术方案利用欧氏距离算法得到实际做眼保健操的步骤序列，减少了相当多的系统运算量、可操作性强；与此同时，所述数据分析系统同步采用欧氏距离算法计算数据采集系统获取的标准手部三维关键点坐标和标准脸部三维关键点坐标的距离，以得到标准步骤序列；本方案通过时长准确率以及步骤准确率联合进行眼保健操正确率的确定，在判断各个步骤正确与否的基础上，还需判断各个步骤时长是否符合眼保健操规定的时长，增加了判断精度，提高了评估准确率。

在进一步的实施方案中，所述数据采集系统包括二维关键点检测单元和三维姿态估计单元；

所述二维关键点检测单元，用于将采集到的所述实际动作图像输入二维关键点检测网络中，得到手脸关键点热图，以及根据所述手脸关键点热图得到手脸二维关键点坐标序列；

所述三维姿态估计单元，用于将所述手脸二维关键点坐标序列输入三维姿态估计网络中，以得到所述手部三维关键点坐标序列以及所述脸部三维关键点坐标序列。

其中，所述二维关键点检测网络采用编码器-解码器网络结构；

本技术方案在利用神经网络模型识别三维坐标时，将识别任务拆分为先识别二维坐标再识别三维坐标两个任务，即任务一：基于实际动作图像识别手脸关键点的二维坐标，以及任务二：基于手脸关键点的二维坐标识别实际动作图像中的手部和脸部关键点的三维坐标，本方案相对于从图像直接到三维坐标的端到端的识别，大大降低了模型的复杂度，同时提高了系统的稳定性。

在进一步的实施方案中，所述三维姿态估计网络包括第一时间卷积网络、以及与所述第一时间卷积网络均连接且相互独立的第二时间卷积网络、第三时间卷积网络；

其中，所述第一时间卷积网络根据所述手脸二维关键点坐标序列提取手脸共同时域特征；

所述第二时间卷积网络、所述第三时间卷积网络根据所述手脸共同时域特征分别输出所述手部三维关键点坐标序列、所述脸部三维关键点坐标序列。

本技术方案采用双路时间卷积网络，即第二时间卷积网络和第三时间卷积网络分别监督训练，获取手部三维关键点坐标、脸部三维关键点坐标，相比直接获取手部和脸部三维关键点坐标的技术，本方案的三维姿态估计网络收敛的更快，且排除了手部和脸部之间的干扰，使整个神经网络的准确率提升。

在进一步的实施方案中，所述数据采集系统通过调整所述三维人头统计模型的形状参数以及姿态参数进行穴位对齐，得到所述头部穴位点坐标序列；

其中，所述三维人头统计模型包括面部、头部后脑勺以及耳部网格结构；

所述三维人头统计模型的形状参数包括控制面部形状、头部大小以及耳部位置和大小的参数；

所述三维人头统计模型的姿态参数包括控制面部以及穴位网格结构的参数。

本技术方案利用对齐三维人头统计模型的方法获取头部穴位点的位置，本方案对传统的三维人脸统计模型进行了改进，增加了头部后脑勺以及耳部网格结构，使三维模型得到更加丰富的应用；同时通过三维人头统计模型能够很好的解决姿态遮挡等问题，使其更精确地定位头部穴位点，提升了三维模型与实际人的头部之间的一致性。

在进一步的实施方案中，所述大数据系统包括数据评估单元以及数据上传单元；

所述数据评估单元，用于根据所述眼保健操正确率对学生眼保健操质量进行评估；

所述数据上传单元，用于将所有学校每个学生的所述眼保健操正确率上传至上级教育机构，以进行数据挖掘。

在本技术方案中，大数据系统根据获取的眼保健操正确率生成综合评估结果，方便学生实时检测自己做眼保健操的情况，从而及时纠正错误的穴位按压，提高眼保健操质量；同时，本方案通过大数据系统实现了信息资源的共享，将眼保健操正确率结果上传至上级教育机构，比如：省市级的教育部门等，从而使得上级教育机构能够实时动态地掌握各个学校的情况，便于进一步的数据挖掘，以推动学校的教育管理。

附图说明

图1是本发明实施例提供的一种基于人工智能的眼保健操质量评估系统的结构框图；

图2是本发明实施例提供的三维姿态估计网络的结构示意图；

图3是本发明实施例提供的三维人头统计模型示意图。

图形标注：

数据采集系统1；数据分析系统2；大数据系统3。

具体实施方式

下面结合附图具体阐明本发明的实施方式，实施例的给出仅仅是为了说明目的，并不能理解为对本发明的限定，包括附图仅供参考和说明使用，不构成对本发明专利保护范围的限制，因为在不脱离本发明精神和范围基础上，可以对本发明进行许多改变。

针对现有的人力资源分配系统缺乏基于感兴趣度的资源分配机制，无法根据应聘者的感兴趣度实现精准分配，且现有的视线追踪技术无法获取多目标视线的问题，本发明实施例提供了一种基于人工智能的眼保健操质量评估系统，如图1所示，包括顺序连接的数据采集系统1、数据分析系统2以及大数据系统3；

所述数据采集系统1包括二维关键点检测单元和三维姿态估计单元；

所述二维关键点检测单元，用于将采集到的所述实际动作图像输入二维关键点检测网络中，得到手脸关键点热图，以及根据所述手脸关键点热图得到手脸二维关键点坐标序列；

本实施例在所述采集实际动作图像之前，需预先存储不同章节的标准眼保健操视频对应的标准动作图片；

其中，所述二维关键点检测网络采用编码器-解码器网络结构训练，网络训练步骤包括：

S1.采集学生做眼保健操的实际动作图像作为数据集，标注学生手部关键点和脸部关键点，将80％数据集作为训练集，余下20％数据集作为测试集；

其中，所述手部关键点包括左右手的大拇指指尖关键点、食指指尖以及食指关节关键点，共6个手部关键点；脸部关键点包括鱼腰穴、攒竹穴、晴明穴、眼穴、太阳穴、丝竹空穴、四白穴、风池穴，共16个脸部关键点；

S2.在图像输入网络之前，将图像归一化到0～1之间，将对应的标注数据用高斯核进行卷积运算；

S3.编码器将输入的所述实际动作图像下采样，获得手部和脸部的特征信息，此特征信息经解码器的上采样，获得手脸关键点热图，同时采用标注数据监督网络训练；

S4.选取交叉熵损失函数和随机梯度下降算法训练网络。

所述二维关键点检测单元根据二维关键点检测网络输出的手脸关键点热图计算得到手脸二维关键点坐标序列，并将其输入所述三维姿态估计单元；

所述三维姿态估计单元将所述手脸二维关键点坐标序列输入三维姿态估计网络中，以得到手部三维关键点坐标序列以及脸部三维关键点坐标序列；在本实施例中，考虑到学生做眼保健操时，手部的运动幅度远比脸部的运动幅度大，因此，两者可看成相互独立的运动，即无实际骨骼相连，本发明实施例将手部的三维姿态和脸部的三维姿态分开监督训练，此方式不仅可以使网络收敛的更快，同时可以避免手部和脸部间特征信息的相互干扰；

如图2所示，所述三维姿态估计网络包括第一时间卷积网络、以及与所述第一时间卷积网络均连接且相互独立的第二时间卷积网络、第三时间卷积网络；

其中，所述三维姿态估计网络的训练过程如下：

①构建数据集：数据集为手脸二维关键点坐标序列和对应的手部、脸部三维关键点坐标序列，将80％数据集作为训练集，余下20％数据集作为测试集；

需要说明的是，在本实施例中，所述三维姿态估计网络训练的数据集为通过3D图形软件获取得到的数据，比如：通过MAYA软件或者3ds MAX软件获取，具体方法如下：

利用动作捕捉设备捕捉学生做眼保健操的动画和其他动作的动画，将动画作用在学生的三维模型上；

在所述三维模型上获得手部三维关键点坐标序列和脸部三维关键点坐标序列，生成不同视角、不同参数的虚拟相机；

通过所述虚拟相机将三维关键点坐标渲染到二维图像平面上，每个三维关键点坐标都会对应一个二维关键点坐标；

②将所述手脸二维关键点坐标序列输入第一时间卷积网络中，提取手脸共同时域特征，即二维关键点坐标数据时域上的信息，它是时间上的一维卷积，利用残差结构堆叠的网络结构；第二时间卷积网络、第三时间卷积网络根据所述手脸共同时域特征分别提取手部的时域特征、提取脸部的时域特征，最终分别输出所述手部三维关键点坐标序列、所述脸部三维关键点坐标序列；

其中，第二时间卷积网络、所述第三时间卷积网络结构相似；

③利用均方差损失函数和随机梯度下降法训练网络。

同理，获取并存储标准手部三维关键点坐标序列以及标准脸部三维关键点坐标序列。

需要说明的是，本实施例的三维姿态估计网络输出的三维关键点坐标，相对输入的二维关键点坐标有一定的延迟，因此，为了保持输入和输出同步，学生需在做眼保健操前先进行准备动作。

本实施例通过神经网络模型识别三维坐标时，将识别任务拆分为先识别二维坐标再识别三维坐标两个任务，相对于从图像直接到三维坐标的端到端的识别，本实施例提供的网络大大降低了模型的复杂度，同时提高了系统的稳定性；本实施例将二维关键点转换至三维空间的目的在于，一方面：通过时域特征获得更加精确的结果和一定的抗遮挡能力；另一方面：二维空间的脸部关键点无法精确定位所有穴位点，尤其是侧脸和脑后的风池穴穴位，相对于仅仅考虑二维坐标的现有技术，本实施例将二维关键点转换至三维空间，精准度更高。

另外，所述三维姿态估计网络采用两路时间卷积网络分别监督训练获取手部三维关键点坐标、脸部三维关键点坐标，相比于通过一路获取手部和脸部三维关键点坐标的技术，本实施例的三维姿态估计网络收敛的更快，且排除了手部和脸部之间的干扰，提升了整个神经网络的准确率。

在本实施例中，所述数据采集系统1根据获取的所述脸部三维关键点坐标序列，在预先改进的三维人头统计模型上标注出穴位的位置坐标，并通过调整所述三维人头统计模型的形状参数以及姿态参数进行穴位对齐，获取所述三维人头统计模型上的所述头部穴位点坐标序列，相比于直接定位穴位，本实施例的穴位对齐操作能更精确获取穴位点的位置，同时提升了三维模型与实际人的头部之间的一致性；同理，根据所述标准脸部三维关键点坐标序列获取标准头部穴位点坐标序列。

如图3所示，相比于传统的三维人脸统计模型，本实施例改进的所述三维人头统计模型不仅包括面部网格结构，还包括通过MAYA软件等3D建模软件增加的头部后脑勺以及耳部网格结构；在实际操作中，本领域技术人员可根据具体情况选取增加头部后脑勺以及耳部网格结构的方式，不局限于本实施例提供的方式。

同时，所述三维人头统计模型的形状参数不仅包括控制面部形状的参数，还添加了控制头部大小以及耳部位置和大小的参数；

所述三维人头统计模型的姿态参数在控制面部参数的基础上，还添加了穴位网格结构的参数。

在本发明实施例中，所述数据分析系统2包括依次连接的位置计算单元、顺序判断单元以及时长计算单元；

所述位置计算单元，用于采用欧式距离算法，计算在第k帧图像中，各个手部三维关键点坐标与各个头部穴位点坐标的距离，并将得到的距离构成一个6x16的距离关系矩阵，如下所示：

其中，1≤i≤6，1≤j≤16；

在距离关系矩阵中，每行表示第i个手部关键点与所有穴位点之间的欧式距离；当P

同理，得到标准距离关系矩阵B

所述顺序判断单元提取每帧所述距离关系矩阵中的元素值为0的行列值，即，在第k帧的距离关系矩阵中，若P

M

M

需要说明的是，由于头部的对称型，一般有两个穴位位置，为方便说明，本发明实施例只考虑头部一侧的数据；

然后合并所有帧的分量序列得到按压步骤序列M，其长度为k，分量序列M

同时，所述顺序判断单元对所述按压步骤序列M进行去噪处理：在所述按压步骤序列M中，若两个相同元素间有较少帧的其他元素，即视较少帧的元素为噪声，将噪声剔除，获得去噪步骤序列M0，或者将所述噪声替换为相邻邻域的相同元素值，从而获得去噪步骤序列M0，比如：按压步骤序列M为{1，1，1，1，2，1，1，1，3，3……}，其中，第五个元素值2为噪声，将其替换为相邻邻域的相同元素值：1，因此，得到的去噪步骤序列M0为{1，1，1，1，1，1，1，1，3，3……}；

由于一个穴位会被按压多帧时间，本实施例将其视为一个步骤，因此，将去噪步骤序列M0中连续相同的元素合并为一个元素，从而获得实际步骤序列M1，其反映的是学生做眼保健操按压穴位的步骤顺序。

同理，所述顺序判断单元根据标准距离关系矩阵B

其中，MB1表示做眼保健操的标准步骤序列，而M1表示学生做眼保健操的实际步骤序列。

本实施例将所述实际步骤序列M1与所述标准步骤序列MB1进行匹配，获得这两个序列的重复元素，即取两个序列的交集，并将重复元素构成重复步骤序列M2，重复步骤序列M2表示穴位被正确按压，即为正确步骤；同时，获取两个序列的不重复元素，并将其构成不重复步骤序列M3，不重复步骤序列M3表示穴位被错误按压，即为错误步骤；

根据重复步骤序列M2计算序列M1和MB1的重复度，即步骤准确率a：

N

所述时长计算单元将去噪后的所述按压步骤序列与所述重复步骤序列进行匹配，得到正确按压时长，并将其与标准正确按压时长计算得到正确时长准确率；同理，获取错误时长准确率，以判断每个步骤的时长是否满足眼保健操的时长规定，不仅判断正确步骤的时长，也需判断错误步骤的时长，使评估数据更可靠；

其中，所述正确时长准确率和所述错误时长准确率具体计算过程如下：

首先，计算正确时长准确率，设M2

遍历重复步骤序列M2的所有元素，获得去噪步骤序列M0与元素M2

其中，p

同理，获取不重复步骤序列M3的错误时长准确率c。

所述时长计算单元将所述步骤准确率a、所述正确时长准确率b以及所述错误时长准确率c融合，计算得到所述眼保健操正确率result，即：

result＝α*a+β*b+δ*c 1-4

式中，α+β+δ＝1，α、β、δ可根据具体实施情况定义，本实施例优选α、β、δ分别为0.6、0.3、0.1。

本实施例联合时长以及步骤的准确率，不仅判断各个步骤是否正确，还需判断各个步骤的时长是否满足规定时长，进而确定眼保健操正确率，增加了判断精度，同时提高了评估准确率。

在本发明实施例中，所述大数据系统3包括数据评估单元以及数据上传单元；

所述数据评估单元根据所述眼保健操正确率result进行粗分类，本实施例将其分成三个等级：良好、差、中；学校或班级可根据不同等级进行针对性的指导和鼓励，以增加学生的积极性。

所述数据上传单元将所述眼保健操正确率result上传至学校服务器，汇总各个年级、班级的眼保健操正确率，并将其与学生基本信息共享给上级教育机构，例如省市级的教育部门，其中，学生基本信息包括年龄、成绩、课堂综合表现数据，以便于教育部门能够实时动态地掌握各级学校的教育情况，进行数据挖掘，为进一步的教育管理与规划提供数据。

本发明实施例提供的提供一种基于人工智能的眼保健操质量评估系统，包括顺序连接的数据采集系统1、数据分析系统2以及数据评估系统3，解决了目前，人们对眼保健操按摩穴位把握的准确性较差，错误的眼保健操不仅达不到预期结果，还会影响青少年的视力发育的问题；本发明实施例利用神经网络模型将识别任务拆分为先识别二维坐标再识别三维坐标两个任务，大大降低了模型的复杂度，接着基于预先建立的三维人头统计模型进行穴位对齐，使其更精确地定位头部穴位点，提升了三维模型与实际人的头部之间的一致性；本实施例将获取的实际步骤序列与标准动作序列进行匹配计算，并联合时长与步骤顺序作为评估判断结果，提高了判断精度，从而进一步加强眼操穴位的准确性，提高学生眼保健操质量。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。