基于虚拟现实的煤矿安全模拟交互方法

技术领域

本发明涉及电数字数据处理技术领域，具体涉及基于虚拟现实的煤矿安全模拟交互方法。

背景技术

虚拟现实的煤矿安全模拟交互方法可以有效地提高煤矿安全交互的效果，帮助煤矿工人更好地了解煤矿安全知识和操作技能。虚拟现实的煤矿安全模拟交互方法的主要手段为：使用VR技术创建一个逼真的煤矿环境，包括地下和地表设施，以提高用户的沉浸式体验感。为了达到上述目的，通常使用尺度不变特征变换（Scale Invariant FeatureTransform，SIFT）算子提取原VR场景关键点，并将关键点周围环境作为关键环境，用以提高逼真感。虚拟现实模块中，较为重要的是真实感，真实感直接关系到用户的体验。为了增加真实感，需要确定场景下较为重要的区域，使用SIFT算子提取相应的关键点，并将依据关键点提供的特征信息确定出较为重要的真实点。将关键点转化到真实点的过程中，如果选取存在误差或未能有效结合场景特征，会使得到的真实点不能够有效渲染场景真实感，导致交互体验较差。

发明内容

为了解决现有的虚拟现实的煤矿安全模拟交互方法在确定真实点时存在误判的现象，进而使得到的真实点不能够有效渲染场景真实感，导致交互体验较差的问题，本发明的目的在于提供一种基于虚拟现实的煤矿安全模拟交互方法，所采用的技术方案具体如下：

本发明提供了一种基于虚拟现实的煤矿安全模拟交互方法，该方法包括以下步骤：

获取煤矿区域的灰度图像及其关键点；

利用不同高斯尺度的核对所述灰度图像进行滤波处理，获得每个高斯尺度的煤矿图像；根据每个关键点在每个高斯尺度下的煤矿图像中的灰度值以及每个关键点在每个高斯尺度下的煤矿图像中与其邻域内像素点的灰度差异，得到每个关键点对应的保留性指标；基于所述保留性指标筛选疑似目标点；

根据所述灰度图像中每个疑似目标点的位置分布，得到每个疑似目标点对应的结构性指标；基于所述保留性指标和所述结构性指标，筛选目标关键点；

基于所述目标关键点的位置确定重点渲染区域。

优选的，所述根据每个关键点在每个高斯尺度下的煤矿图像中的灰度值以及每个关键点在每个高斯尺度下的煤矿图像中与其邻域内像素点的灰度差异，得到每个关键点对应的保留性指标，包括：

对于第i个关键点：

在任一高斯尺度下的煤矿图像中，以第i个关键点为中心，构建第i个关键点对应的窗口，计算第i个关键点对应的窗口内所有像素点的平均灰度值；

计算第i个关键点在最大高斯滤波尺度的煤矿图像中与在最小高斯滤波尺度的煤矿图像的灰度差异，记为第一差异；

计算第i个关键点在每两个相邻高斯滤波尺度的煤矿图像中的灰度差异，记为第二差异；

根据所述平均灰度值、所述第一差异和所述第二差异，获得第i个关键点对应的保留性指标。

优选的，采用如下公式计算第i个关键点对应的保留性指标：

其中，

优选的，所述根据所述灰度图像中每个疑似目标点的位置分布，得到每个疑似目标点对应的结构性指标，包括：

将所有疑似目标点的横坐标的均值作为质心的横坐标，将所有疑似目标点的纵坐标的均值作为质心的纵坐标，基于所述质心的横坐标和所述质心的纵坐标确定质心；

根据每个疑似目标点与质心的坐标之间的差异，获得每个疑似目标点对应的质心夹角；

对于第k个疑似目标点：

将第k个疑似目标点与其邻域内的疑似目标点对应的质心夹角之间的差异和第k个疑似目标点与其邻域内对应疑似目标点之间的欧式距离的比值，作为第k个疑似目标点邻域内对应疑似目标点的第一比值；

根据第k个疑似目标点对应的质心夹角、第k个疑似目标点与质心之间的欧式距离、第k个疑似目标点邻域内所有疑似目标点的第一比值，计算第k个疑似目标点对应的结构性指标。

优选的，根据每个疑似目标点与质心的坐标之间的差异，获得每个疑似目标点对应的质心夹角，包括：

对于第k个疑似目标点：

将第k个疑似目标点的横坐标与质心的横坐标的差值作为横坐标差异，将第k个疑似目标点的纵坐标与质心的纵坐标的差值作为纵坐标差异；将所述横坐标差异和所述纵坐标差异代入方位角函数中，获得第k个疑似目标点对应的质心夹角。

优选的，采用如下公式计算第k个疑似目标点对应的结构性指标：

其中，

优选的，所述基于所述保留性指标和所述结构性指标，筛选目标关键点，包括：

对于第k个疑似目标点：根据第k个疑似目标点对应的保留性指标和结构性指标，计算第k个疑似目标点的特征指标；

分别判断每个疑似目标点的特征指标是否小于预设阈值，若小于，则判定对应疑似目标点为目标关键点。

优选的，所述根据第k个疑似目标点对应的保留性指标和结构性指标，计算第k个疑似目标点的特征指标，包括：

对第k个疑似目标点对应的保留性指标和结构性指标加权求和，将和值的归一化结果作为第k个疑似目标点的特征指标；其中，保留性指标的权值与结构性指标的权值之和为1，保留性指标的权值小于结构性指标的权值。

优选的，所述基于所述目标关键点的位置确定重点渲染区域，包括：

将目标关键点及其预设邻域内的像素点所在的位置确定为重点渲染区域。

优选的，所述基于所述保留性指标筛选疑似目标点，包括：

分别判断每个关键点的保留性指标是否大于第一保留性阈值且小于第二保留性阈值，若是，则判定对应关键点为疑似目标点；其中，第一保留性阈值小于第二保留性阈值。

本发明至少具有如下有益效果：

本发明首先利用现有的关键点检测算法对煤矿区域的灰度图像的关键点进行了检测，考虑到在关键点检测过程中，可能会将噪声点误判为关键点，进而使得后续真实点的选取存在误差，使得到的真实点不能够有效渲染场景真实感，导致交互体验较差，本发明为了消除误判带来的影响，根据每个关键点在每个高斯尺度下的煤矿图像中的灰度值以及每个关键点在每个高斯尺度下的煤矿图像中与其邻域内像素点的灰度差异，得到了每个关键点对应的保留性指标，初步基于保留性指标从所有目标点中筛选出疑似目标点；又根据灰度图像中每个疑似目标点的位置分布，得到了每个疑似目标点对应的结构性指标，进而结合保留性指标和结构性指标筛选出了目标关键点，也即真实点，基于真实点所在位置确定了重点渲染区域，起到了增加VR场景真实性的作用，提升了虚拟现实的煤矿安全模拟交互体验。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本发明实施例所提供的基于虚拟现实的煤矿安全模拟交互方法的流程图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的基于虚拟现实的煤矿安全模拟交互方法进行详细说明如下。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的基于虚拟现实的煤矿安全模拟交互方法的具体方案。

基于虚拟现实的煤矿安全模拟交互方法实施例：

本实施例所针对的具体场景为：虚拟现实的煤矿安全模拟交互过程中，需要提取煤矿区域的灰度图像中的关键点，考虑到在采用SIFT算子对煤矿区域的灰度图像进行关键点检测时，会将一些非关键点提取出来，进而影响虚拟现实的煤矿安全模拟交互的真实感，本实施例将首先采用SIFT算子对煤矿区域的灰度图像进行关键点提取，然后再结合提取到的关键点与其周围像素点的分布特征，从中筛选出目标关键点，也即真正的关键点，进而能够提高关键点的提取精度，保证虚拟现实的煤矿安全模拟交互的真实感。

本实施例提出了基于虚拟现实的煤矿安全模拟交互方法，如图1所示，本实施例的基于虚拟现实的煤矿安全模拟交互方法包括以下步骤：

步骤S1，获取煤矿区域的灰度图像及其关键点。

本实施例首先采用现有的帧差法确定煤矿区域的VR关键帧，也即获得了煤矿区域的图像，此时获取到的煤矿区域的图像为RGB图像，对煤矿区域的图像进行灰度化处理，将灰度化处理后的图像记为煤矿区域的灰度图像。图像的灰度化处理为现有技术，此处不再过多赘述。

地下煤矿包括井道（垂直通道）和巷道（水平通道），以便矿工进入和离开工作面。矿井内通常还包括通风系统、排水系统和电力供应系统等基础设施，在这些设施中，为了使得采用VR可以获得更为真实的场景，需要将其具体特征进行归纳。通过分析上述特点，可以确定此类场景最为主要的特征就是结构的规则性，即主要线条之间的组合可以构成一系列较为规整的结构，关键点的位置一般会处于规则的角点处。并且此类角点为较重要的特征区域的像素点，那么处于此类区域的关键点是需要筛选出来的真实点。基于此，目标关键点的获取需要考虑其结构性和保留性，保留性是为了确定关键点的尺度不变性，将二者结合是为了得到较为客观的真实点。

本实施例采用SIFT算子提取煤矿区域的灰度图像中的关键点，SIFT算子为现有技术，此处不再过多赘述。

步骤S2，利用不同高斯尺度的核对所述灰度图像进行滤波处理，获得每个高斯尺度的煤矿图像；根据每个关键点在每个高斯尺度下的煤矿图像中的灰度值以及每个关键点在每个高斯尺度下的煤矿图像中与其邻域内像素点的灰度差异，得到每个关键点对应的保留性指标；基于所述保留性指标筛选疑似目标点。

利用不同高斯尺度的核对煤矿区域的灰度图像进行滤波处理，获得每个高斯尺度的煤矿图像；本实施例中高斯尺度分别为0.2、0.4、0.6、0.8、1.0、1.2、1.4、1.6、2.0，在具体应用中，实施者可根据具体情况进行设置。利用不同高斯尺度的核对图像进行滤波处理为现有技术，此处不再过多赘述。

为了避免噪声关键点对于真实关键点的筛选产生影响，需要排除噪声关键点。对比正常关键点，噪声关键点不具备较大程度上的尺度不变性，即通过关键点的获取方式对噪声关键点进行排除，越是具备着更高的尺度不变性，其保留性就越高，因为其越能反映出原图中较为重要的边缘。

本实施例已经获取了煤矿区域的灰度图像中的关键点，关键点在煤矿区域的灰度图像中具备位置信息，定位每个关键点的位置。将每个关键点的位置对应到每个高斯尺度的煤矿图像中，获得每个关键点在每个高斯尺度的煤矿图像中的位置。本实施例将根据每个关键点在每个高斯尺度下的煤矿图像中的灰度值以及每个关键点在每个高斯尺度下的煤矿图像中与其邻域内像素点的灰度差异，得到每个关键点对应的保留性指标。

具体地，对于第i个关键点：

在任一高斯尺度下的煤矿图像中，以第i个关键点为中心，构建预设大小的窗口，并将构建的窗口作为第i个关键点对应的窗口；本实施例中预设大小为5*5，在具体应用中，实施者可根据具体情况进行设置。计算第i个关键点对应的窗口内所有像素点的平均灰度值；计算第i个关键点在最大高斯滤波尺度的煤矿图像中与在最小高斯滤波尺度的煤矿图像的灰度差异，记为第一差异；计算第i个关键点在每两个相邻高斯滤波尺度的煤矿图像中的灰度差异，记为第二差异；根据所述平均灰度值、所述第一差异和所述第二差异，获得第i个关键点对应的保留性指标。第i个关键点对应的保留性指标的具体计算公式为：

其中，

本实施例在保留性指标的计算公式的分母中引入预设调整参数是为了防止分母为0，本实施例中预设调整参数的值为2，在具体应用中，实施者可根据具体情况进行设置。

采用上述方法，能够获得每个关键点对应的保留性指标，保留性指标越接近1，其为噪声概率就会越大；设置第一保留性阈值和第二保留性阈值，其中第一保留性阈值小于第二保留性阈值，分别判断每个关键点的保留性指标是否大于第一保留性阈值且小于第二保留性阈值，若是，则判定对应关键点为疑似目标点。本实施例中第一保留性阈值为0.66，第二保留性阈值为0.8，在具体应用中，实施者可根据具体情况进行设置。

至此，采用本实施例提供的方法从所有关键点中筛选了疑似目标点。

步骤S3，根据所述灰度图像中每个疑似目标点的位置分布，得到每个疑似目标点对应的结构性指标；基于所述保留性指标和所述结构性指标，筛选目标关键点。

本实施例基于保留性指标从所有关键点筛选出了疑似目标点，消除了噪声关键点带来的影响，去除噪声影响后，为了使得该方法更适用于煤矿场景，并且联系到真实性的特征，此处需要考虑到不同疑似目标点的结构性，煤矿区域的灰度图像中主要线条之间的组合可以构成一系列较为规整的结构。本实施例将根据煤矿区域的灰度图像中每个疑似目标点的位置分布，得到每个疑似目标点对应的结构性指标。

将所有疑似目标点的横坐标的均值作为质心的横坐标，将所有疑似目标点的纵坐标的均值作为质心的纵坐标，基于所述质心的横坐标和所述质心的纵坐标确定质心。

对于第k个疑似目标点：

将第k个疑似目标点的横坐标与质心的横坐标的差值作为横坐标差异，将第k个疑似目标点的纵坐标与质心的纵坐标的差值作为纵坐标差异；将所述横坐标差异和所述纵坐标差异代入方位角函数中，获得第k个疑似目标点对应的质心夹角。将第k个疑似目标点与其邻域内的疑似目标点对应的质心夹角之间的差异和第k个疑似目标点与其邻域内对应疑似目标点之间的欧式距离的比值，作为第k个疑似目标点邻域内对应疑似目标点的第一比值；根据第k个疑似目标点对应的质心夹角、第k个疑似目标点与质心之间的欧式距离、第k个疑似目标点邻域内所有疑似目标点的第一比值，计算第k个疑似目标点对应的结构性指标。第k个疑似目标点对应的质心夹角和结构性指标的具体计算公式分别为：

其中，

理想情况下，质心夹角越接近0，代表疑似目标点之间构成的几何形状越规则，此角度的量化是为了确定出疑似目标点之间的位置关系，当它们的位置关系越规则，得到每个疑似目标点的质心夹角就越接近0，说明其越具有着相应特征。

第k个疑似目标点的邻域内的疑似目标点位置越接近质心，其结构性就越强，那么得分也就越高，第k个疑似目标点对应的结构性指标越小。第k个疑似目标点邻域内所有疑似目标点的第一比值越接近，它们之间的分布是越规律的，因此第k个疑似目标点邻域内所有疑似目标点的第一比值的方差越小，说明第k个疑似目标点邻域内的关键点分布的越规则，结构性越强，第k个疑似目标点对应的结构性指标越小。

采用上述方法，能够获得每个疑似目标点对应的结构性指标，接下来本实施例基于每个疑似目标点对应的保留性指标和结构性指标，筛选目标关键点。

具体地，对于第k个疑似目标点：对第k个疑似目标点对应的保留性指标和结构性指标加权求和，将和值的归一化结果作为第k个疑似目标点的特征指标；其中，保留性指标的权值与结构性指标的权值之和为1，保留性指标的权值小于结构性指标的权值。第k个疑似目标点的特征指标的具体计算公式为：

其中，

本实施例中

采用本实施例提供的方法能够获得每个疑似目标点的特征指标，特征指标越小，说明对应疑似目标点越可能为真实的关键点，因此本实施例分别判断每个疑似目标点的特征指标是否小于预设阈值，若小于，则判定对应疑似目标点为目标关键点。本实施例中的预设阈值为0.2，在具体应用中，实施者可根据具体情况进行设置。

至此，采用本实施例提供的方法，筛选出了目标关键点，也即真实的关键点。

步骤S4，基于所述目标关键点的位置确定重点渲染区域。

本实施例已经筛选出了目标关键点，接下来将目标关键点及其预设邻域内的像素点所在的位置确定为重点渲染区域。本实施例中此处的预设邻域为以目标关键点为窗口中心，大小为101*101的窗口中除目标关键点外所在位置外的其他所有位置，因此本实施例中对于任一目标关键点，以该目标关键点为窗口中心，大小为101*101的窗口区域即为重点渲染区域。在具体应用中，实施者可根据具体情况设置邻域大小。采用该方法，能够获得所有的重点渲染区域。

本实施例获取重点渲染区域的目的是增加场景的真实感和用户的沉浸式体验感，增加了煤矿安全模拟交互效率，并能够提高以下三方面，1、实时反馈：VR系统可以提供实时反馈，用户可以在虚拟环境中立即看到他们的行动结果。这对于培训和模拟任务的即时纠正非常有用；2、安全性：虚拟环境中的模拟可以在没有真实风险的情况下进行，这对危险的任务和培训尤为重要。用户可以在虚拟环境中犯错误而不会导致实际危险；3、个性化学习：VR系统可以根据用户的行为和需求进行个性化调整，以提供更适合用户的学习体验，这有助于更高效的学习和技能提升。

本实施例首先利用现有的关键点检测算法对煤矿区域的灰度图像的关键点进行了检测，考虑到在关键点检测过程中，可能会将噪声点误判为关键点，进而使得后续真实点的选取存在误差，使得到的真实点不能够有效渲染场景真实感，导致交互体验较差，本实施例为了消除误判带来的影响，根据每个关键点在每个高斯尺度下的煤矿图像中的灰度值以及每个关键点在每个高斯尺度下的煤矿图像中与其邻域内像素点的灰度差异，得到了每个关键点对应的保留性指标，初步基于保留性指标从所有目标点中筛选出疑似目标点；又根据灰度图像中每个疑似目标点的位置分布，得到了每个疑似目标点对应的结构性指标，进而结合保留性指标和结构性指标筛选出了目标关键点，也即真实点，基于真实点所在位置确定了重点渲染区域，起到了增加VR场景真实性的作用，提升了虚拟现实的煤矿安全模拟交互体验。

需要说明的是：以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。