一种基于图像处理和行为识别的运维人员训练系统

技术领域

本发明涉及图像处理技术领域，更具体地说，它涉及一种基于图像处理和行为识别的运维人员训练系统。

背景技术

由于变电现场情况复杂和人员素质参差不齐等因素，变电运维作业仍存在极大的由人为因素引发的安全风险隐患等问题。因此对于变电运维人员的综合水平进行评估是极为重要的，可以有效降低由人为因素引发的安全风险隐患；常规的采用机械的试卷考试的方式来评估变电运维人员的水平，这种评估的内容较为单一，而且与实际操作偏离较大，无法评估变电运维人员在真实情况下的运维水平。

发明内容

本发明提供一种基于图像处理和行为识别的运维人员训练系统，解决相关技术中无法评估变电运维人员在真实情况下的运维水平的技术问题。

本发明提供了一种基于图像处理和行为识别的运维人员训练系统，包括：

建模模块，其用于提取建模信息，并基于建模信息生成模拟训练模型；

人员信息管理模块，其用于管理运维人员的人员信息；

训练启动模块，训练启动模块用于启动训练；

训练数据采集单元，其用于采集运维人员训练过程中的训练数据；训练数据包括生理数据、动作数据、图像数据；

训练数据预处理单元，其用于对采集的训练数据进行处理获得当前训练模型；

训练数据库，其用于存储参照训练模型，参照训练模型包括多个动作节点以及与动作节点对应的数据片集；

模型预处理模块，其用于对当前训练模型和参照训练模型进行预处理；

参照模型选择模块，其用于计算当前训练模型的第一节点集合和参照训练模型的第一节点集合的相似度

评分模块，其用于对运维人员的训练进行评分，评分与当前训练模型与最终参照训练模型的相似度

教学模块，其基于运维人员的训练的评分为其推荐教学内容。

进一步地，建模模块包括建模数据采集模块和模型生成模块，建模数据采集模块用于采集建模数据，模型生成模块基于建模数据生成模拟训练模型。

进一步地，人员信息管理模块包括：

人员信息存储模块，其用于存储运维人员的人员信息；

人员信息更新模块，其用于更新人员信息存储模块所存储的人员信息；

人员识别验证模块，其基于输出的生物识别信息匹配对应的人员信息，如果无法匹配对应的人员信息则无法验证通过，拒绝其访问。

进一步地，训练启动模块包括训练项目存储模块、训练项目选择模块，其中训练项目存储模块用于存储训练项目；

训练项目选择模块用于选择训练项目；

训练项目选择模块选择训练项目可以是基于运维人员或系统管理员通过人机交互界面输入的请求来选择的。

训练环境生成模块，其基于训练项目选择模块选择的训练项目对应的场景模型、设备模型、工具模型来生成训练环境。

进一步地，每个训练项目匹配一个以上的场景模型、一个以上的设备模型、一个以上的工具模型，训练环境包括了场景模型、设备模型和人员模型。

进一步地，训练数据预处理单元基于运动数据判断运维人员动作的时间点作为动作节点，并基于动作节点的时间提取同一时间的图像数据和生理数据作为数据片集；提取运维人员的所有数据片集集合作为当前训练模型；

训练数据预处理单元判断动作节点包括：

将运维人员开始训练时的动作数据记录为初始动作数据，从初始动作数据开始向后逐时间帧的遍历动作数据，直至达到遍历终止的条件，记录遍历终止的时间点作为新的动作节点；

然后迭代执行以下过程，从已经记录的时间最晚的动作节点对应的动作数据开始向后逐时间帧的遍历动作数据，直至达到遍历终止的条件，记录遍历终止的时间点作为新的动作节点；遍历终止的条件是遍历到一个动作数据与前一个动作节点对应的运动数据的距离

迭代执行的终止条件是：所有动作数据都已经被遍历一次。

进一步地，对当前训练模型和参照训练模型进行预处理的步骤包括：

步骤101，对训练模型的数据片集生成对应的片集对象，片集对象的属性是基于动作数据和生理数据生成的；

步骤102，生成N个第一节点，每个第一节点映射一个二维坐标点，所有第一节点的二维坐标点矩阵阵列分布，每一列的二维坐标点的数量与每一行的二维坐标点的数量相同，相邻的两个二维坐标点的最小距离为1；

步骤103，随机选择训练模型的N个片集对象作为第一片集对象，并将第一片集对象一一映射到第一节点；

步骤104，从训练模型中随机选择一个片集对象作为第二片集对象，计算第二片集对象与第一片集对象的相似度

更新第一片集对象以及与其关联的第一片集对象的属性值的公式如下：

其中

步骤105，迭代执行步骤104，直至所有片集对象都被选择作为第二片集对象。

进一步地，相似度

给定赋权二分图

求解赋权二分图G的最大权完美匹配时初始权重为两个第一节点映射的片集对象的相似度

基于最大权完美匹配获得匹配后的权重和作为相似度

进一步地，相似度

为当前训练模型和最终参照训练模型的每个数据片集生成第二节点；

给定赋权二分图

求解赋权二分图U的最大权完美匹配时初始权重为两个第二节点的相似度

基于最大权完美匹配获得匹配后的权重和作为相似度

其中两个第二节点的相似度

其中，

进一步地，评分H的计算公式如下：

其中，/>

本发明的有益效果在于：

本发明基于虚拟现实环境来进行运维训练仿真模拟，并采集生理数据、动作数据和图像数据作为训练数据，通过综合的数据处理方法对异构的训练数据进行处理，从生理、心理和知识多个维度评估运维人员的水平。

附图说明

图1是本发明的一种基于图像处理和行为识别的运维人员训练系统的模块示意图；

图2是本发明的建模模块的模块示意图；

图3是本发明的人员信息管理模块的模块示意图；

图4是本发明的训练启动模块的模块示意图；

图5是本发明的对当前训练模型和参照训练模型进行预处理的方法的流程图。

图中：建模模块101，建模数据采集模块1011，模型生成模块1012，人员信息管理模块102，人员信息存储模块1021，人员信息更新模块1022，人员识别验证模块1023，训练启动模块103，训练项目存储模块1031，训练项目选择模块1032，训练环境生成模块104，训练数据采集单元105，训练数据预处理单元106，训练数据库107，模型预处理模块108，参照模型选择模块109，评分模块110，教学模块111。

具体实施方式

现在将参考示例实施方式讨论本文描述的主题。应该理解，讨论这些实施方式只是为了使得本领域技术人员能够更好地理解从而实现本文描述的主题，可以在不脱离本说明书内容的保护范围的情况下，对所讨论的元素的功能和排列进行改变。各个示例可以根据需要，省略、替代或者添加各种过程或组件。另外，相对一些示例所描述的特征在其他例子中也可以进行组合。

实施例一

如图1-图5所示，一种基于图像处理和行为识别的运维人员训练系统，包括：

建模模块101，其用于提取建模信息，并基于建模信息生成模拟训练模型；

在本发明的一个实施例中，模拟训练模型包括场景模型、设备模型、工具模型、人员模型，其中设备模型又包括正常设备模型和故障设备模型。

在本发明的一个实施例中建模模块101包括建模数据采集模块1011和模型生成模块1012，建模数据采集模块1011用于采集建模数据，模型生成模块1012基于建模数据生成模拟训练模型；

人员信息管理模块102，其用于管理运维人员的人员信息；

在本发明的一个实施例中，运维人员的人员信息包括人员ID、人员性别、人员年龄、人员工龄、人员身高、人员体重、人员生物识别信息等人员信息。

在本发明的一个实施例中，人员信息管理模块102包括：

人员信息存储模块1021，其用于存储运维人员的人员信息；

人员信息更新模块1022，其用于更新人员信息存储模块1021所存储的人员信息；

人员识别验证模块1023，其基于输出的生物识别信息匹配对应的人员信息，如果无法匹配对应的人员信息则无法验证通过，拒绝其访问。

输入生物识别信息可以是通过外部的生物识别信息采集设备。

训练启动模块103，训练启动模块103用于启动训练；

在本发明的一个实施例中，训练启动模块103包括训练项目存储模块1031和训练项目选择模块1032，其中训练项目存储模块1031用于存储训练项目，每个训练项目匹配一个以上的场景模型、一个以上的设备模型、一个以上的工具模型；

训练项目选择模块1032用于选择训练项目；

训练项目选择模块1032选择训练项目可以是基于运维人员或系统管理员通过人机交互界面输入的请求来选择的。

训练环境生成模块104，其基于训练项目选择模块1032选择的训练项目对应的场景模型、设备模型、工具模型来生成训练环境。

训练环境包括了场景模型、设备模型和人员模型。其中人员模型的数量与训练项目参与的人数相同。

例如同一个训练环境可以容纳ABC三人共同训练，那么在该训练环境内设有与ABC三人对应的三个人员模型，如果允许一人进行训练，那么只需要生成一个人员模型在该训练环境中。

训练数据采集单元105，其用于采集运维人员训练过程中的训练数据；

训练数据包括生理数据、动作数据、图像数据；

在本发明的一个实施例中，生理数据表征的是运维人员身体特征指标，例如心率、血压、体温等。

在本发明的一个实施例中，图像数据是在虚拟的训练环境下采集的虚拟图像，一个训练环境中至少设置一个图像采集点；

在本发明的一个实施例中，动作数据是通过穿戴式动作检测设备来采集的，穿戴式动作检测设备包括穿戴于运维人员身上的传感器。

训练数据预处理单元106，其用于对采集的训练数据进行处理获得当前训练模型；

基于运动数据判断运维人员动作的时间点作为动作节点，并基于动作节点的时间提取同一时间的图像数据和生理数据作为数据片集；提取运维人员的所有数据片集集合作为当前训练模型；

数据片集本质上是提取特定时间节点的多源异构数据集合，在本发明的一个实施例中提供一种判断动作节点的方法，包括：

相邻的两个动作节点对应的运动数据的距离

从前一个动作节点对应的运动数据开始向后逐时间帧的遍历动作数据，遍历终止的条件是遍历到一个动作数据与前一个动作节点对应的运动数据的距离

将运维人员开始训练时的动作数据作为第一个动作节点，从该动作节点开始遍历。

具体的，将运维人员开始训练时的动作数据记录为初始动作数据，从初始动作数据开始向后逐时间帧的遍历动作数据，直至达到遍历终止的条件，记录遍历终止的时间点作为新的动作节点；

然后迭代执行以下过程，从已经记录的时间最晚的动作节点对应的动作数据开始向后逐时间帧的遍历动作数据，直至达到遍历终止的条件，记录遍历终止的时间点作为新的动作节点；

迭代执行的终止条件是：所有动作数据都已经被遍历一次。

在本发明的一个实施例中，将动作数据作为对象来通过欧氏距离、余弦距离等距离计算方式来计算动作数据之间的距离；

具体的，动作数据包括手腕关节角度、膝关节角度、肘关节角度、头部角度，可以通过以下公式计算动作数据之间的距离

其中，

在本发明的一个实施例中，时间帧的长度等于运动数据的采样间隔时间，例如运动数据采样的间隔时间为0.5s，则时间帧等同的设置为0.5s。

训练数据库107，其用于存储参照训练模型，参照训练模型包括多个动作节点以及与动作节点对应的数据片集；

与当前训练模型相同的是，参照训练模型的数据片集同样包含图像数据和生理数据；

在本发明的一个实施例中，参照训练模型可以是由测试人员按照标准操作规程进行运维操作的训练记录所生成的，其用于作为对比参照；对于一个训练项目可以由不同的测试人员按照不同的训练记录生成多个参照训练模型，因此在对比时需要选择合适的参照训练模型作为参照。

模型预处理模块108，其用于对当前训练模型和参照训练模型进行预处理；

预处理的步骤包括：

步骤101，对训练模型的数据片集生成对应的片集对象，片集对象的属性是基于动作数据和生理数据生成的；

例如片集对象的属性包括手腕关节角度、膝关节角度、肘关节角度、头部角度、心率、血压、体温。

步骤102，生成N个第一节点，每个第一节点映射一个二维坐标点，所有第一节点的二维坐标点矩阵阵列分布，每一列的二维坐标点的数量与每一行的二维坐标点的数量相同，相邻的两个二维坐标点的最小距离为1；

N与训练模型的动作节点的总数量成正比，在本发明的一个实施例中，N的计算公式如下：

N=

步骤103，随机选择训练模型的N个片集对象作为第一片集对象，并将第一片集对象一一映射到第一节点；

步骤104，从训练模型中随机选择一个片集对象作为第二片集对象，计算第二片集对象与第一片集对象的相似度

更新第一片集对象以及与其关联的第一片集对象的属性值的公式如下：

其中

在本发明的一个实施例中，两个片集对象的相似度

其中，/>

当然也可以采用余弦相似度计算片集对象的相似度

步骤105，迭代执行步骤104，直至所有片集对象都被选择作为第二片集对象；

迭代的过程中不会选择重复的片集对象作为第二片集对象。

参照模型选择模块109，其用于计算当前训练模型和参照训练模型的相似度

在本发明的一个实施例中，相似度

给定赋权二分图

求解赋权二分图G的最大权完美匹配时初始权重为两个第一节点映射的片集对象的相似度

基于最大权完美匹配获得匹配后的权重和作为相似度

本发明通过运维人员身体数据、运动数据、运动节点数量等多方面综合选择最合适的参照训练模型参与对运维人员进行评分。

评分模块110，其用于对运维人员的训练进行评分，评分与当前训练模型与最终参照训练模型的相似度

相似度

为当前训练模型和最终参照训练模型的每个数据片集生成第二节点；

给定赋权二分图

求解赋权二分图U的最大权完美匹配时初始权重为两个第二节点的相似度

基于最大权完美匹配获得匹配后的权重和作为相似度

其中两个第二节点的相似度

其中，

图像数据的相似度计算方法可以采用直方图匹配、基于特征点的图像相似度计算等方法。

生理数据的距离

教学模块111，其基于运维人员的训练的评分为其推荐教学内容。

如果运维人员的训练的评分低于当前训练项目的评分阈值，则为其推荐教学内容。

教学内容包括基于最终参照训练模型的图像数据生成的教学视频。

上面对本实施例的实施例进行了描述，但是本实施例并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本实施例的启示下，还可做出很多形式，均属于本实施例的保护之内。