基于青少年眼部微表情变化的近视发展智能预警系统及其干预方法

技术领域

本发明涉及近视预警技术领域，更具体地说，涉及基于青少年眼部微表情变化的近视发展智能预警系统及其干预方法。

背景技术

儿童青少年近视防控工作上升到国家高度，近视防控任务极其艰巨。目前近视普查主要通过筛查机构在学校的视力检查中，将视力异常的儿童转诊至医院进行综合验光以明确诊断，普查过程中存在漏诊率高、人力设备成本高等缺点由于我国的医疗资源欠缺、分布不均，这使得普及全国的、高频率的近视筛查成为一个难题。

针对人工视力筛查效率低、误判、漏判的问题，提出了“基于青少年眼部微表情变化的近视发展智能预警系统”，将AI赋能视频数据。将采用摄像头前端感知设备的实时视频流、远程视频文件接入系统，转码并调用算法分析结果，并生成结构化数据存入数据库，自动发现视力异常个体并实时上报及推送警示信息。

本专利的关键点和保护点

1.运用人工智能对学生视力进行预警：在学生最重要学习场所教室安装高清监控摄像机等前端感知设备，实时无感采集学生的眼部特征信息，用眼情况信息，教室光环境等信息，通过算法分析，还会结合学生的早期视力下降的具体表现和频次，给出近视风险因子，以及合理的干预建议方案。现行干预方式均为人工排查。

2.自动化学生近视特征数据库建立：通过学生眼部微表情特征识别作为学生id，以班级为单位提取教学过程图片，分割学生个体，采集眼部特征，分析其眼部微表情。采集学生对黑板的注视行为，标注其对视力健康的影响程度，从而输出AI模型用于自动化识别归类这些学生个体行为。当前还不存在商业化近视特征数据库。

3.针对学生个体的干预方案辅助决策系统建立：通过对学生眼部微表情行为的采集，构建短期行为预防和长期趋势预防手段，辅助引导学生健康用眼的行为习惯。

4.实时视频流处理流程（见附图一）：实时导入高清监控摄像机信息及教室光环境信息，流媒体服务器主动请求实时视频流。流媒体服务器接收分发服务器消息，需要处理实时视频流后，根据当前系统CPU/GPU负载情况，调用CPU/GPU对视频文件解码。解码完成后，把结果写入缓存队列，并通知算法处理模块处理数据。算法处理完成后，把处理后的结果写回缓存队列。上层应用根据处理结果，展示数据，并进行学生的视力因子判别并上报。

发明内容

1．要解决的技术问题

针对现有技术中存在的问题，本发明的目的在于提供基于青少年眼部微表情变化的近视发展智能预警系统及其干预方法，可以通过使用教室高清监控系统对学生的眼部微表情特征信息进行实时采集，视频识别及分发系统对眼部微表情特征信息进行提取和分发，近视发展预警AI算法平台对学生的眼部进行对比和自动化算法处理，近视预警系统进行近视分析和预警，并通过近视警示信息推送系统在学生近视发展出现变化时对校医、班主任、家长及学生本人发出警示信息，通过多方向的干预，对学生的近视发展情况进行管理，能够及时有效的提醒校医、班主任、家长及学生本人近视发展情况，有效提高对学生的视力保护。

2．技术方案

为解决上述问题，本发明采用如下的技术方案。

基于青少年眼部微表情变化的近视发展智能预警系统及其干预方法，包括教室高清监控系统、视频识别及分发系统、近视发展预警AI算法平台、数据库系统、近视预警系统、近视警示信息推送系统。所述教室高清监控系统与视频识别及分发系统连接，通过教室高清监控系统对学生的眼部特征信息及教室光环境信息进行实时监测，近视发展预警AI算法平台用于对学生眼部微表情变化的实时视频采集、自动化处理等，得到检测特征值组数据，并从青少年眼部近视特称数据库中调用对应关系表，利用所述检测特征值组数据与所述对应关系表中进行匹配得到检测结果列表，通过AI智能化计算和比对，发现青少年近视风险因子。近视预警系统根据AI算法平台的处理结果将数据分组，并进行因子判别及数据上报。并由近视警示信息推送系统将近视警示信息推送给校医、班主任、家长及学生本人，及时有效的提醒多方关注近视发展情况。

所述教室高清监控系统包括有高清监控摄像机、教室光环境感应模块；所述视频识别及分发系统包括眼部微表情获取模块、眼部微表情提取模块、分发服务模块；所述近视发展预警AI算法平台包括青少年眼部近视特征数据模块、眼部微表情对比模块、算法处理模块；所述近视预警系统包括近视预警统计分析模块、干预模块；所述近视警示信息推送系统包括警示通讯模块。

另外，本发明还公开了基于青少年眼部微表情变化的近视发展智能预警系统及干预方法，包括如下步骤：

S1.通过教室高清监控系统对学生的眼部微表情和教室光环境进行采集，并与视频识别及分发系统的输入端连接；

S2.视频识别及分发系统对采集的学生眼部微表情进行提取，并将其格式化存储至数据库系统；

S3.数据库系统主要用来存储格式化后的数据信息及对应关系表，数据库系统存储待处理特征值组数据与对应关系表中进行匹配得到检测结果列表，例如匹配可以是利用模糊匹配 ，或者对特征值组数据中的特征值进行权重区分，重要的特征数据权重高，不重要的特征数据权重低。对应关系表中存储有待处理特征值组与近视风险程度和对应干预措施的关系。因为特征值组很有可能不是与某一个近视风险程度100%匹配，那么就取匹配度最高的近视风险类别，每种近视风险匹配度的百分比值以及对应干预措施生成分析结果，多个匹配的分析结果组成分析结果列表。数据库系统具体为云存储数据库；

S4.近视发展预警AI算法平台用于对眼部微表情提取模块获取的视频及图像数据进行自动化算法处理，得到检测特征值组数据，并从青少年眼部近视特称数据库中调用对应关系表，利用所述检测特征值组数据与所述对应关系表中进行匹配得到检测结果列表，通过AI智能化计算和比对，发现青少年近视风险因子，并将对比的数据输送至近视预警系统进行近视预警分析；

S5.近视预警系统对于眼部近视特征数据进行统计分析，并将统计分析结果及对应的干预方法输送至近视警示信息推送系统；

S6.近视警示信息推送系统根据近视预警系统所输送过来的统计分析结果和对应的干预方法，启动不同的警示信息通讯模块，将警示信息推送至校医、班主任、家长及学生本人，及时有效的提醒多方关注近视发展情况；

另外，本发明还公开了基于青少年眼部微表情变化的近视发展智能预警系统所采用的算法模块：

（1）算法概述

算法模块主要由短期和长期两种预防场景组成，它们均以眼部微表情特征识别识别为ID，对班级学生进行行为分析，通过获取的数据分别给出短期行为预警和长期视力健康程度统计值。

短期行为监测通过图像形式采集学生在班级教室中的学习活动，以眼部微表情为ID进行个体区分，关注每一学生个体的眼部特征和注视行为，通过在线深度学习模型评估他们的眼部健康状况。通过对教学过程中的用眼行为分析，掌握样本个体影响自身视力健康的活动方式，从而推到出每个个体的视力健康趋势。对于长期以上特征的统计，结合统计个体每天学习/活动的作息分布，推导出长期视力健康程度预测，从而指导样本个体，采取有效的诱导措施，避免影响视力健康的行为误区。

（2）眼部微表情特征提取

从注视黑板过程中，收集每个样本个体的眼部微表情，设计基于深度神经网络mobileNet为基础的微表情提取器，训练样本总体容量超过一万人，每人不少于64张图片。采用专家标注方式把眼神凝视变化分为5个的等级进行识别评估。从而达到利用人工智能判断视力凝视困难度的目的。

（3）影响视力健康的眼部微表情行为识别

利用基于时间关系的深度神经网络提取样本行为，区分出课堂中的眼部微表情不同行为，并评估这些行为的健康程度，利用SVM方式在线分析这些被识别行为的统计值，比对学生样本个体的视力普查数据，从而构建影响视力健康的短期和长期因子。

3．有益效果

相比于现有技术，本发明的优点在于：

（1）本方案通过基于青少年眼部微表情变化的近视发展智能预警系统及其干预方法，通过教室高清监控系统实时无感监测青少年儿童在上课时的眼部微表情，记录眼部特征信息，用眼情况信息，教室光环境信息的视频和图像数据，保证对各教室的学生视力监控，达到监控区域内无盲区、图像清晰，分析早期视力下降的表现及发生次数，并将视频或图像数据传输至接视频识别及分发系统，可有效解决青少年近视发展目前无法提前发现提前预警的问题；

（2）通过视频识别及分发系统获取教室高清监控系统所采集的视频和图像数据，并提取眼部微表情特征视频和图像数据，并将其格式化存储至数据库系统，可有效解决人工视力筛查过程中漏查的问题；

（3）通过数据库系统存储格式化后的数据信息及对应关系表，数据库系统存储待处理特征值组数据与对应关系表中进行匹配得到检测结果列表，有效提高对学生近视发展趋势的监测预警；

（4）通过近视发展预警AI算法平台对学生眼部微表情变化的实时视频通过自动化算法进行处理，得到检测特征值组数据，并从青少年眼部近视特称数据库中调用对应关系表，利用所述检测特征值组数据与所述对应关系表中进行匹配得到检测结果列表，结合早期视力下降的具体表现和频次，通过AI智能化计算和比对，给出青少年近视风险因子，有效解决了人工视力筛查效率低、误判、漏判的问题；

（5）近视预警系统根据AI算法平台的处理结果将数据分组及统计分析，并进行近视因子判别，针对性的对不同的视力健康情况和年龄设置不同的干预措施建议，有效提高近视干预的有效性和实用性；

（6）通过近视警示信息推送系统将近视警示信息及建议干预措施推送给校医、班主任、家长及学生本人，从而可以及时有效的提醒多方关注近视发展情况。

（7）青少年眼部微表情变化的近视发展智能预警系统处理数据识别速度快，识别准确度高，数据库中的对应关系表丰富，数据匹配准确。可针对问题患者及时通知校医、班主任、家长，做到早发现，早反馈，早干预。通过多维多级动态提醒及预警体系，提高学校在地区近视眼防控工作的管控力度，提高防控效率。

附图说明

图1为实时视频流处理流程图；

图2为基础眼部微表情分析网络；

图3为眼部微表情行为分析网络；

图4 为本发明基于青少年眼部微表情变化的近视发展智能预警系统的示意图；

图5为本发明基于青少年眼部微表情变化的近视发展智能预警系统的流程图。

具体实施方式

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图四为本发明基于青少年眼部微表情变化的近视发展智能预警系统的示意图，如图所示，本发明的教室近视监控系统包括：教室高清监控系统、视频识别及分发系统、数据库系统、近视发展预警AI算法平台、近视预警系统、近视警示信息推送系统；

教室高清监控系统包括有高清监控摄像机、教室光环境感应模块，与视频识别及分发系统相连接，实时监测青少年儿童在上课时的眼部微表情，记录眼部特征信息，用眼情况信息，教室光环境信息的视频和图像数据，保证对各教室的学生视力监控，达到监控区域内无盲区、图像清晰，分析早期视力下降的表现及发生次数，并将视频或图像数据传输至接视频识别及分发系统。

视频识别及分发系统包括眼部微表情获取模块、眼部微表情提取模块、分发服务模块，与数据库相连接，获取教室高清监控系统所采集的视频和图像数据，并提取眼部微表情特征视频和图像数据，并将其格式化存储至数据库系统。

数据库系统主要用来存储格式化后的数据信息及对应关系表，数据库系统存储待处理特征值组数据与对应关系表中进行匹配得到检测结果列表，例如匹配可以是利用模糊匹配 ，或者对特征值组数据中的特征值进行权重区分，重要的特征数据权重高，不重要的特征数据权重低。对应关系表中存储有待处理特征值组与近视风险程度和对应干预措施的关系。因为特征值组很有可能不是与某一个近视风险程度100%匹配，那么就取匹配度最高的近视风险类别，每种近视风险匹配度的百分比值以及对应干预措施生成分析结果，多个匹配的分析结果组成分析结果列表。数据库系统具体为云存储数据库。

近视发展预警AI算法平台包括青少年眼部近视特征数据模块、眼部微表情对比模块、算法处理模块，与近视预警系统相连接，用于对学生眼部微表情变化的实时视频通过自动化算法进行处理等，得到检测特征值组数据，并从青少年眼部近视特称数据库中调用对应关系表，利用所述检测特征值组数据与所述对应关系表中进行匹配得到检测结果列表，结合早期视力下降的具体表现和频次，通过AI智能化计算和比对，给出青少年近视风险因子。

近视预警系统包括近视预警统计分析模块、干预模块，与近视警示信息推送系统相连接，近视预警系统根据AI算法平台的处理结果将数据分组，并进行近视因子判别及对应干预措施建议方案。

近视警示信息推送系统包括警示通讯模块，将近视警示信息及建议干预措施推送给校医、班主任、家长及学生本人，及时有效的提醒多方关注近视发展情况。

因为对于青少年，尤其是中小学生来说，近视防控尤为重要，可以针对性的对不同的视力健康情况和年龄设置不同的干预措施建议。再有，对于无远视储备群体及新发病趋势群体强化干预，防止步入真性近视人群；对100度以内（疑似假性近视人群）强化干预使其回归正常视力人群，而已发病群体强化干预，防止近视情况增加。针对问题患者及时通知校医、班主任、家长，做到早发现，早反馈，早干预。通过多维多级动态提醒及预警体系，提高学校在地区近视眼防控工作的管控力度，提高防控效率。

本发明的基于青少年眼部微表情变化的近视发展智能预警系统处理数据识别速度快，识别准确度高，数据库中的对应关系表丰富，数据匹配准确。

附图五为本发明基于青少年眼部微表情变化的近视发展智能预警系统的流程图，如图所示，本发明基于青少年眼部微表情变化的近视发展智能预警系统具体包括如下步骤：

S1.通过教室高清监控系统对学生的眼部微表情和教室光环境进行采集，并与视频识别及分发系统的输入端连接；

具体的：教室高清监控系统实时监测青少年儿童在上课时的眼部微表情，记录眼部特征信息，用眼情况信息，教室光环境信息的视频和图像数据，保证对各教室的学生视力监控，达到监控区域内无盲区、图像清晰，分析早期视力下降的表现及发生次数，并将视频或图像数据传输至接视频识别及分发系统。

S2.视频识别及分发系统对采集的学生眼部微表情进行提取，并将其格式化存储至数据库系统；

具体的：视频识别及分发系统获取教室高清监控系统所采集的视频和图像数据，并提取眼部微表情特征视频和图像数据，将其格式化存储至数据库。

S3.数据库系统主要用来存储格式化后的数据信息及对应关系表；

具体的：数据库系统存储待处理特征值组数据与对应关系表中进行匹配得到检测结果列表，例如匹配可以是利用模糊匹配 ，或者对特征值组数据中的特征值进行权重区分，重要的特征数据权重高，不重要的特征数据权重低。对应关系表中存储有待处理特征值组与近视风险程度和对应干预措施的关系。因为特征值组很有可能不是与某一个近视风险程度100%匹配，那么就取匹配度最高的近视风险类别，每种近视风险匹配度的百分比值以及对应干预措施生成分析结果，多个匹配的分析结果组成分析结果列表。数据库系统具体为云存储数据库。

S4.近视发展预警AI算法平台用于对眼部微表情提取模块获取的视频及图像数据进行自动化算法处理，发现青少年近视风险因子，并将对比的数据输送至近视预警系统进行近视预警分析；

具体的：近视发展预警AI算法平台通过数据库系统得到检测特征值组数据，并从青少年眼部近视特称数据库中调用对应关系表，利用所述检测特征值组数据与所述对应关系表中进行匹配得到检测结果列表，通过AI智能化计算和比对，发现青少年近视风险因子，并将对比的数据输送至近视预警系统进行近视预警分析。

S5.近视预警系统对于眼部近视特征数据进行统计分析，并将统计分析结果及对应的干预方法输送至近视警示信息推送系统；

具体的：近视预警系统根据AI算法平台的处理结果统计分析并将数据分组，并进行近视因子判别及对应干预措施建议方案。

S6.近视警示信息推送系统根据近视预警系统所输送过来的统计分析结果和对应的干预方法，启动不同的警示信息通讯模块，将警示信息推送至校医、班主任、家长及学生本人，及时有效的提醒多方关注近视发展情况；

本发明的基于青少年眼部微表情变化的近视发展智能预警系统检测数据识别速度快，识别准确度高 ，数据库中的对应关系表丰富，数据匹配准确 。

专业人员应该还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件的结合来实现，为了清楚地说明硬件和软件的先进性、实用性和扩展性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围 。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。