一种基于虚拟现实的图像数据存储管理系统及方法

技术领域

本发明涉及图像存储管理技术领域，具体为一种基于虚拟现实的图像数据存储管理系统及方法。

背景技术

随着物联网技术的普及，应用物联网的无人机巡检技术得到广泛应用，巡检无人机按照提前预置的巡检路线，在指定巡检节点时会通过内置的摄像头拍摄巡检节点内相应巡检设备的巡检图像，并通过无线网络传输给终端进行存储并分析，实现对巡检节点状态的识别及管控。

由于巡检无人机是在空中采集图像，且巡检无人机的飞行状态容易受到环境的影响，环境干扰会使得巡检无人机的拍摄状态出现偏差（拍摄位置及拍摄角度），进而使得拍摄画面存在较大差异；为了确保存储的巡检图像具有参考价值及避免存储空间的浪费，通常情况下会先对巡检图像进行筛选，再存储筛选后的巡检图像；现有技术对采集的画面进行筛选时，通常是将采集的巡检图像与数据库中预置的正常状态下的巡检图像进行比较，该方式存在较大的缺陷，由于同一物体不同的拍摄角度会导致实际拍摄的画面结果存在较大的差异，而为确保图像筛选的速度，通常对数据库中预置的巡检图像个数进行限制，同时，现有技术没有结合巡检节点的空间模型进行综合分析（没有运用虚拟现实技术实现对巡检画面对比对象的锁定），使得进而就导致现有技术中实际筛选结果的精度较低，存储管理结果存在较大的偏差。

发明内容

本发明的目的在于提供一种基于虚拟现实的图像数据存储管理系统及方法，以解决上述背景技术中提出的问题。

为了解决上述技术问题，本发明提供如下技术方案：一种基于虚拟现实的图像数据存储管理方法，所述方法包括以下步骤：

S1、获取巡检无人机的巡检节点，获取相应巡检无人机在相应巡检节点位置拍摄的各个巡检图像数据及相应巡检无人机拍摄相应巡检图像时对应的拍摄状态信息；

S2、通过历史数据中激光扫描仪对巡检节点的扫描结果，构建巡检节点的三维虚拟模型；根据巡检无人机的拍摄状态信息锁定构建的巡检节点的三维虚拟模型中的映射锚点，生成相应拍摄状态信息对应巡检图像数据的关联巡检参照图像；提取巡检图像数据与相应的关联巡检参照图像之间的映射差异；

S3、获取各个巡检节点对应巡检图像的映射差异，并结合历史数据中每个巡检节点对应的异常巡检图像，锁定每个巡检节点对应的异常图像，并对每个巡检节点对应的巡检图像进行存储管理；

S4、识别巡检无人机巡检的各个巡检节点内最近一次存储的巡检图像结果，对后续巡检无人机巡检各个巡检节点时分别对巡检图像的采集密度进行动态调整，并反馈给管理员，辅助管理员调整巡检无人机在巡检各个巡检节点时分别采集的巡检图像个数。

进一步的，所述S1中所述巡检节点对应一个巡检区域内的一个巡检设备；

所述巡检无人机在巡检过程中对每个巡检节点对应的巡检设备拍摄的巡检图像个数为一个以上；

所述拍摄状态信息是通过巡检无人机上的传感器监测到的，所述拍摄状态信息包括拍摄相应巡检图像时巡检无人机的镜头指向（通过空间角度传感器监测得到）及巡检无人机中摄像头的空间位置（通过空间位置传感器监测得到）。

本发明确定巡检无人机的拍摄状态信息是为了便于后续步骤中结合虚拟显示技术，准确获取巡检节点对应的三维虚拟模型中巡检无人机的摄像头对应映射锚点的位置及指向。

进一步的，所述S2中构建的巡检节点的三维虚拟模型中包括相应巡检节点内巡检设备在正常状态下的三维立体模型；

所述生成相应拍摄状态信息对应巡检图像数据的关联巡检参照图像的方法包括以下步骤：

S201、获取任意一个巡检图像对应的拍摄状态信息，将所得拍摄状态信息中的巡检无人机摄像头的空间位置在相应巡检节点对应的三维虚拟模型中的映射点，作为拍摄状态信息对应的映射锚点；将拍摄状态信息中巡检无人机的镜头指向作为相应映射锚点的锚点指向；

S202、选取相应巡检节点对应的三维虚拟模型中巡检设备，在映射锚点位置且与锚点指向相同时对三维虚拟模型中对巡检设备的预测观测画面，记为相应拍摄状态信息对应巡检图像数据的关联巡检参照图像，每个所述巡检图像数据对应一个拍摄状态信息，每个所述巡检图像数据对应。

本发明生成相应拍摄状态信息对应巡检图像数据的关联巡检参照图像的过程中，在确定正常状态下巡检节点对应的三维虚拟模型及巡检无人机中摄像头对应的映射锚点，能够准确预测出该映射锚点视角下，三维虚拟模型中观测到的巡检设备图像，作为该视角下正常状态下的巡检设备的预测观测图像，进而与相应的巡检图像进行比较；若相应的巡检图像正常，则两者的图像内容应基本相同，该方式能够准确查找出巡检图像中的异常区域，为后续步骤中获取两者的映射差异提供了数据支撑。

进一步的，所述S2中提取巡检图像数据与相应的关联巡检参照图像之间的映射差异的方法包括以下步骤：

S211、获取每个巡检图像数据与相应的关联巡检参照图像；任选一个巡检图像数据记为A，将A相应的关联巡检参照图像记为AC；

S212、提取A中的巡检设备所处的像素区域，记为A1；提取AC中巡检设备所处的像素区域，记为AC1；提取A中的巡检设备所处的像素区域时，通过将A内各个像素点的灰度值分别与A相应巡检设备对应的第一阈值进行比较，所述第一阈值表示数据库中相应巡检设备在预制图像中各像素点的平均灰度值，将A中对应灰度值大于A相应巡检设备对应的第一阈值的所有像素点进行标记，并将A中标记的像素点所围最大区域记为A1；

S213、将A1的中心点与AC1的中心点重合，以重合点为参照点旋转A1，直至旋转后的A1与AC1的重合面积最大为止；并获取重合面积内A1中的像素点与AC1中重合的像素点分别对应的灰度值差值的绝对值，记为A1与AC1重合区域中相应像素点之间的映射偏差；并将A1中对应映射偏差大于映射偏差阈值的像素点进行二次标记，所述映射偏差阈值数据库中预置的常数；

S214、根据A1中二次标记的像素值对构建A1中的各个异常像素关联链，每个异常像素关联链存在一个或多个链节点，同一异常像素关联链中相邻链节点分别对应二次标记的像素点在A1中的位置相邻，不同异常像素关联链内中的链节点均不相同；

S215、得到A与AC之间的映射差异，记为{F

若A1中不存在异常像素关联链，则F

当RLj

当RLj

Q

进一步的，所述S3中锁定每个巡检节点对应的异常图像时，获取{F

判断Q

本发明历史数据中每个异常巡检图像对应一个异常类型，不同异常巡检图像对应的异常类型可能相同，也可能不同；

当所得异常类型种类有且只有一种时，则将所得异常类型与A进行绑定，并将A进行标记且标记后的巡检图像不为相应巡检节点的异常图像；

当所得异常类型种类大于等于两种时，则判定A为相应巡检节点的一个异常图像；

所述S3中对每个巡检节点对应的巡检图像进行存储管理时，获取每个巡检节点中的异常图像及标记的巡检图像；提取相应巡检节点对应的巡检图像中，对应的图像区域与异常图像对应的映射差异特征像素集合所围图像区域存在交集的所有巡检图像，作为异常图像的存储关联图像；

统计每个巡检节点中各个标记的巡检图像、各个异常图像及每个异常图像对应的存储关联图像，并构建相应巡检节点对应的存储图像集；

若对应的存储图像集不为空集，则相同巡检节点对应的存储图像集内的元素为相应巡检节点对应需存储的巡检图像结果；

若对应的存储图像集为空集，则将相应巡检节点对应的各个巡检图像中，巡检设备所处的像素区域的面积除以相应巡检图像总像素区域的面积（巡检图像总像素区域表示相应巡检图像中所有像素组成的区域）的最大商相应的巡检图像为相应巡检节点对应需存储的巡检图像结果。

本发明对存储图像进行管理时，针对标记图像时，只获取一个图像，是因为根据历史数据能够找到类似的异常类型，直接可以辅助用户进行判断；而针对异常图像时，需要获取异常图像的存储关联图像，是考虑到该巡检图像中存在异常状态，相应巡检设备出现异常的概率较高，而根据历史数据无法准确识别相应的异常类型，进而需要多存储含有异常区域的巡检图像，便于用户对该异常状态进行分析；同时，也为后续巡检过程中调整各个巡检节点的图像采集密度提供了数据支撑。

进一步的，所述S4中对后续巡检无人机巡检各个巡检节点时分别对巡检图像的采集密度进行动态调整的方法包括以下步骤：

S41、获取巡检无人机巡检的各个巡检节点内最近一次存储的巡检图像结果；

S42、得到后续巡检无人机巡检第k个巡检节点时对巡检图像采集密度的动态调整系数，记为Pk，

其中，Hk表示最近单位时间内第k个巡检节点对应的巡检图像中存在映射差异的占比；Tk表示历史数据内第k个巡检节点对应的巡检图像中，属于不同巡检次数且存在映射差异的不同巡检图像对应拍摄时间的最小时间间隔；Mk表示第k个巡检节点内最近一次存储的巡检图像结果中巡检图像的个数；

Hg表示最近单位时间内第g个巡检节点对应的巡检图像中存在映射差异的占比；Tg表示历史数据内第g个巡检节点对应的巡检图像中，属于不同巡检次数且存在映射差异的不同巡检图像对应拍摄时间的最小时间间隔；Mg表示第g个巡检节点内最近一次存储的巡检图像结果中巡检图像的个数；g1表示巡检无人机巡检的巡检节点总个数；

S43、得到后续巡检无人机巡检第k个巡检节点时对巡检图像的采集密度的动态调整结果，记为βk，

所述βk=roundup{Pk·D}，其中，roundup{}表示向上进位取整函数，D表示数据库中预置的巡检无人机巡检所有巡检节点过程中拍摄巡检图像的总个数。本发明中的图像采集密度表示相应巡检节点在巡检过程中拍摄的巡检图像个数。

一种基于虚拟现实的图像数据存储管理系统，所述系统包括以下模块：

巡检数据采集模块，所述巡检数据采集模块获取巡检无人机的巡检节点，获取相应巡检无人机在相应巡检节点位置拍摄的各个巡检图像数据及相应巡检无人机拍摄相应巡检图像时对应的拍摄状态信息；

虚拟空间构建映射模块，所述虚拟空间构建映射模块通过历史数据中激光扫描仪对巡检节点的扫描结果，构建巡检节点的三维虚拟模型；根据巡检无人机的拍摄状态信息锁定构建的巡检节点的三维虚拟模型中的映射锚点，生成相应拍摄状态信息对应巡检图像数据的关联巡检参照图像；提取巡检图像数据与相应的关联巡检参照图像之间的映射差异；

图像锁定及存储管理模块，所述图像锁定及存储管理模块获取各个巡检节点对应巡检图像的映射差异，并结合历史数据中每个巡检节点对应的异常巡检图像，锁定每个巡检节点对应的异常图像，并对每个巡检节点对应的巡检图像进行存储管理；

辅助调整管理模块，所述辅助调整管理模块识别巡检无人机巡检的各个巡检节点内最近一次存储的巡检图像结果，对后续巡检无人机巡检各个巡检节点时分别对巡检图像的采集密度进行动态调整，并反馈给管理员，辅助管理员调整巡检无人机在巡检各个巡检节点时分别采集的巡检图像个数。

进一步的，所述虚拟空间构建映射模块包括虚拟现实构建单元、锚点映射分析单元及映射差异分析单元，所述虚拟现实构建单元通过历史数据中激光扫描仪对巡检节点的扫描结果，构建巡检节点的三维虚拟模型；

所述锚点映射分析单元根据巡检无人机的拍摄状态信息锁定构建的巡检节点的三维虚拟模型中的映射锚点，生成相应拍摄状态信息对应巡检图像数据的关联巡检参照图像；

所述映射差异分析单元提取巡检图像数据与相应的关联巡检参照图像之间的映射差异。

进一步的，所述图像锁定及存储管理模块包括异常图像锁定单元及图像存储管理单元，

所述异常图像锁定单元获取各个巡检节点对应巡检图像的映射差异，并结合历史数据中每个巡检节点对应的异常巡检图像，锁定每个巡检节点对应的异常图像；

所述图像存储管理单元对每个巡检节点对应的巡检图像进行存储管理。

与现有技术相比，本发明所达到的有益效果是：本发明考虑到巡检无人机在巡检拍摄过程中飞行状态受到环境影响后对拍摄后面的干扰情况，进而通过构建三维虚拟模型及采集拍摄图像时的拍摄状态，确定巡检无人机在三维虚拟模型中的映射锚点，进而预测巡检图像的关联巡检参照图像，确保对巡检图像分析结果及图像存储结果的准确性；同时实现对后续巡检过程中各个巡检节点内的巡检图像采集密度进行动态调整，辅助用户动态调整巡检无人机在各个巡检节点拍摄的巡检图像数量，确保对巡检图像采集的有效管控。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1是本发明一种基于虚拟现实的图像数据存储管理方法的流程示意图；

图2是本发明一种基于虚拟现实的图像数据存储管理系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，本发明提供技术方案：一种基于虚拟现实的图像数据存储管理方法，所述方法包括以下步骤：

S1、获取巡检无人机的巡检节点，获取相应巡检无人机在相应巡检节点位置拍摄的各个巡检图像数据及相应巡检无人机拍摄相应巡检图像时对应的拍摄状态信息；

所述S1中所述巡检节点对应一个巡检区域内的一个巡检设备；

所述巡检无人机在巡检过程中对每个巡检节点对应的巡检设备拍摄的巡检图像个数为一个以上；

所述拍摄状态信息是通过巡检无人机上的传感器监测到的，所述拍摄状态信息包括拍摄相应巡检图像时巡检无人机的镜头指向（通过空间角度传感器监测得到）及巡检无人机中摄像头的空间位置（通过空间位置传感器监测得到）。

S2、通过历史数据中激光扫描仪对巡检节点的扫描结果，构建巡检节点的三维虚拟模型；根据巡检无人机的拍摄状态信息锁定构建的巡检节点的三维虚拟模型中的映射锚点，生成相应拍摄状态信息对应巡检图像数据的关联巡检参照图像；提取巡检图像数据与相应的关联巡检参照图像之间的映射差异；

所述S2中构建的巡检节点的三维虚拟模型中包括相应巡检节点内巡检设备在正常状态下的三维立体模型；

所述生成相应拍摄状态信息对应巡检图像数据的关联巡检参照图像的方法包括以下步骤：

S201、获取任意一个巡检图像对应的拍摄状态信息，将所得拍摄状态信息中的巡检无人机摄像头的空间位置在相应巡检节点对应的三维虚拟模型中的映射点，作为拍摄状态信息对应的映射锚点；将拍摄状态信息中巡检无人机的镜头指向作为相应映射锚点的锚点指向；

S202、选取相应巡检节点对应的三维虚拟模型中巡检设备，在映射锚点位置且与锚点指向相同时对三维虚拟模型中对巡检设备的预测观测画面，记为相应拍摄状态信息对应巡检图像数据的关联巡检参照图像，每个所述巡检图像数据对应一个拍摄状态信息，每个所述巡检图像数据对应。

所述S2中提取巡检图像数据与相应的关联巡检参照图像之间的映射差异的方法包括以下步骤：

S211、获取每个巡检图像数据与相应的关联巡检参照图像；任选一个巡检图像数据记为A，将A相应的关联巡检参照图像记为AC；

S212、提取A中的巡检设备所处的像素区域，记为A1；提取AC中巡检设备所处的像素区域，记为AC1；提取A中的巡检设备所处的像素区域时，通过将A内各个像素点的灰度值分别与A相应巡检设备对应的第一阈值进行比较，所述第一阈值表示数据库中相应巡检设备在预制图像中各像素点的平均灰度值，将A中对应灰度值大于A相应巡检设备对应的第一阈值的所有像素点进行标记，并将A中标记的像素点所围最大区域记为A1；

S213、将A1的中心点与AC1的中心点重合，以重合点为参照点旋转A1，直至旋转后的A1与AC1的重合面积最大为止；并获取重合面积内A1中的像素点与AC1中重合的像素点分别对应的灰度值差值的绝对值，记为A1与AC1重合区域中相应像素点之间的映射偏差；并将A1中对应映射偏差大于映射偏差阈值的像素点进行二次标记，所述映射偏差阈值数据库中预置的常数；

S214、根据A1中二次标记的像素值对构建A1中的各个异常像素关联链，每个异常像素关联链存在一个或多个链节点，同一异常像素关联链中相邻链节点分别对应二次标记的像素点在A1中的位置相邻，不同异常像素关联链内中的链节点均不相同；

S215、得到A与AC之间的映射差异，记为{F

若A1中不存在异常像素关联链，则F

当RLj

当RLj

Q

S3、获取各个巡检节点对应巡检图像的映射差异，并结合历史数据中每个巡检节点对应的异常巡检图像，锁定每个巡检节点对应的异常图像，并对每个巡检节点对应的巡检图像进行存储管理；

所述S3中锁定每个巡检节点对应的异常图像时，获取{F

判断Q

本实施例中的历史数据内每个异常巡检图像对应一个异常类型，不同异常巡检图像对应的异常类型可能相同，也可能不同；

例如：历史数据中巡检节点甲存在三个异常巡检图像，分别记为g1、g2及g3；

若g1对应的异常类型为e1，若g2对应的异常类型为e2，若g3对应的异常类型为e1，则此时g1与g3属于不同的巡检图像，但是两者对应的异常类型相同，均为e1；

此时g1与g2属于不同的巡检图像，两者对应的异常类型也不相同；

当所得异常类型种类有且只有一种时，则将所得异常类型与A进行绑定，并将A进行标记且标记后的巡检图像不为相应巡检节点的异常图像；

当所得异常类型种类大于等于两种时，则判定A为相应巡检节点的一个异常图像；

所述S3中对每个巡检节点对应的巡检图像进行存储管理时，获取每个巡检节点中的异常图像及标记的巡检图像；提取相应巡检节点对应的巡检图像中，对应的图像区域与异常图像对应的映射差异特征像素集合所围图像区域存在交集的所有巡检图像，作为异常图像的存储关联图像；

统计每个巡检节点中各个标记的巡检图像、各个异常图像及每个异常图像对应的存储关联图像，并构建相应巡检节点对应的存储图像集；

若对应的存储图像集不为空集，则相同巡检节点对应的存储图像集内的元素为相应巡检节点对应需存储的巡检图像结果；

若对应的存储图像集为空集，则将相应巡检节点对应的各个巡检图像中，巡检设备所处的像素区域的面积除以相应巡检图像总像素区域的面积（巡检图像总像素区域表示相应巡检图像中所有像素组成的区域）的最大商相应的巡检图像为相应巡检节点对应需存储的巡检图像结果。

S4、识别巡检无人机巡检的各个巡检节点内最近一次存储的巡检图像结果，对后续巡检无人机巡检各个巡检节点时分别对巡检图像的采集密度进行动态调整，并反馈给管理员，辅助管理员调整巡检无人机在巡检各个巡检节点时分别采集的巡检图像个数。

所述S4中对后续巡检无人机巡检各个巡检节点时分别对巡检图像的采集密度进行动态调整的方法包括以下步骤：

S41、获取巡检无人机巡检的各个巡检节点内最近一次存储的巡检图像结果；

S42、得到后续巡检无人机巡检第k个巡检节点时对巡检图像采集密度的动态调整系数，记为Pk，

Hg表示最近单位时间内第g个巡检节点对应的巡检图像中存在映射差异的占比；Tg表示历史数据内第g个巡检节点对应的巡检图像中，属于不同巡检次数且存在映射差异的不同巡检图像对应拍摄时间的最小时间间隔；Mg表示第g个巡检节点内最近一次存储的巡检图像结果中巡检图像的个数；g1表示巡检无人机巡检的巡检节点总个数；

S43、得到后续巡检无人机巡检第k个巡检节点时对巡检图像的采集密度的动态调整结果，记为βk，所述βk=roundup{Pk·D}，其中，roundup{}表示向上进位取整函数，D表示数据库中预置的巡检无人机巡检所有巡检节点过程中拍摄巡检图像的总个数。

本实施例中向上进位取整函数roundup{}是用于对Pk·D的结果进行调整，使得最终得到的βk为一个整数（在实际场景中，拍摄照片的个数也只能是整数，在出现小数的情况下，则无法有效执行）；

例如：若Pk·D等于8.3时，则roundup{8.3}=9，则对应巡检节点在后续拍摄的巡检图像个数为9个；在实际场景中，一般巡检无人机在每次巡检结束后均会调整巡检无人机对巡检节点的巡检图像采集密度。

如图2所示，一种基于虚拟现实的图像数据存储管理系统，所述系统包括以下模块：

巡检数据采集模块，所述巡检数据采集模块获取巡检无人机的巡检节点，获取相应巡检无人机在相应巡检节点位置拍摄的各个巡检图像数据及相应巡检无人机拍摄相应巡检图像时对应的拍摄状态信息；

虚拟空间构建映射模块，所述虚拟空间构建映射模块通过历史数据中激光扫描仪对巡检节点的扫描结果，构建巡检节点的三维虚拟模型；根据巡检无人机的拍摄状态信息锁定构建的巡检节点的三维虚拟模型中的映射锚点，生成相应拍摄状态信息对应巡检图像数据的关联巡检参照图像；提取巡检图像数据与相应的关联巡检参照图像之间的映射差异；

图像锁定及存储管理模块，所述图像锁定及存储管理模块获取各个巡检节点对应巡检图像的映射差异，并结合历史数据中每个巡检节点对应的异常巡检图像，锁定每个巡检节点对应的异常图像，并对每个巡检节点对应的巡检图像进行存储管理；

辅助调整管理模块，所述辅助调整管理模块识别巡检无人机巡检的各个巡检节点内最近一次存储的巡检图像结果，对后续巡检无人机巡检各个巡检节点时分别对巡检图像的采集密度进行动态调整，并反馈给管理员，辅助管理员调整巡检无人机在巡检各个巡检节点时分别采集的巡检图像个数。

所述虚拟空间构建映射模块包括虚拟现实构建单元、锚点映射分析单元及映射差异分析单元，所述虚拟现实构建单元通过历史数据中激光扫描仪对巡检节点的扫描结果，构建巡检节点的三维虚拟模型；

所述锚点映射分析单元根据巡检无人机的拍摄状态信息锁定构建的巡检节点的三维虚拟模型中的映射锚点，生成相应拍摄状态信息对应巡检图像数据的关联巡检参照图像；

所述映射差异分析单元提取巡检图像数据与相应的关联巡检参照图像之间的映射差异。

所述图像锁定及存储管理模块包括异常图像锁定单元及图像存储管理单元，所述异常图像锁定单元获取各个巡检节点对应巡检图像的映射差异，并结合历史数据中每个巡检节点对应的异常巡检图像，锁定每个巡检节点对应的异常图像；

所述图像存储管理单元对每个巡检节点对应的巡检图像进行存储管理。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。

最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。