一种AR增强辅助修复控制平台、方法、介质和设备

技术领域

本发明涉及文物修复领域，具体涉及一种AR增强辅助修复控制平台、方法、介质和设备。

背景技术

目前的化石修复过程中需要用到多种修复工具和流程，目前完全依赖修复师个人实操经验判断不同围岩和化石暴露关系下修复工具和操作的更换和调整。此外，随着化石存量、博物馆展陈和标本交流需求的指数级增长，化石修复技术的传承依赖一对一示范式教学已无法满足日益增长的修复师需求。这对于刚接触化石修复的古生物学学生而言较为难以判断，容易在学习修复技术初期对化石造成破坏。

发明内容

有鉴于此，本发明实施例的目的在于提供一种AR增强辅助修复控制平台、方法、介质和设备，以对修复师提供修复提导信息，避免修复过程造成化石或文物损坏。

为达上述目的，第一方面，本发明实施例提供了一种AR增强辅助修复控制平台，其包括：

显微镜，其包括目镜和物镜；

图像采集设备，用于在待修复物体的修复过程中，实时采集待修复物体的视频图像；

图像识别设备，用于根据所述待修复物体的视频图像，确定所述待修复物体的标识信息；根据修复工具在所述待修复物体的视频图像中的当前位置，确定当前修复位置；以及根据所述待修复物体的标识信息和所述当前修复位置中的至少一个，确定修复指导信息；

AR视频显示设备，搭载于所述显微镜的所述目镜上，用于在所述待修复物体的视频图像上叠加显示包含所述修复指导信息的AR视频。

在一些可能的实施方式中，所述图像采集设备包括如下中的至少一个：

单独设置的第一图像采集设备，用于执行第一空间尺度上的图像采集，所述第一空间尺度上的图像包括整体工作区域的图像；

集成在显微镜上的第二图像采集设备，用于执行第二空间尺度上的图像采集，所述第二空间尺度小于所述第一空间尺度。

在一些可能的实施方式中，所述待修复物体包括化石或文物，所述图像识别设备，具体用于根据采集的化石骨骼视频图像识别所述化石所属的生物物种；根据修复工具在所述化石骨骼视频图像中的当前位置，确定当前修复位置；以及根据所述化石所属的生物物种和所述当前修复位置中的至少一个，确定修复指导信息，所述修复指导信息包括如下中的任意多个：修复工具的种类、修复工具的型号、修复工具的工作参数。

在一些可能的实施方式中，所述图像识别设备，具体用于：根据采集的化石骨骼视频图像与数据库中预存的生物物种的化石标准图像进行比较，匹配确定当前的化石所属的生物物种；根据采集的化石骨骼视频图像的轮廓形态，确定所述化石的多个目标区域，所述多个目标区域包括：头部、四肢、躯干、尾部中的任意多个；在所述采集的化石骨骼视频图像上通过AR方式可视化展示对应于所述多个目标区域的多个区域标识线；每个区域标识线对应于上述头部、四肢、躯干、尾部中的任意一个；检测修复工具在所述化石骨骼视频图像中的当前位置；当检测到所述修复工具处于任意的目标区域内部时，在所述化石骨骼视频图像上可视化展示所述修复工具当前处于的目标区域对应的修复指导信息；所述修复指导信息包括修复工具中的针头规格和/或修复力度。

在一些可能的实施方式中，所述图像识别设备，具体用于：

当确定所述修复工具处于头部区域时，在所述化石骨骼视频图像上可视化展示所述修复工具当前处于的头部区域对应的第一修复指导信息，其包括：指示选用第一直径规格的针头和第一修复力度；

当确定所述修复工具处于四肢区域或者躯干区域时，在所述化石骨骼视频图像上可视化展示所述修复工具当前处于的四肢区域或者躯干区域对应的第二修复指导信息，其包括：指示选用第二直径规格的针头和第二修复力度；所述第二直径规格大于所述第一直径规格，所述第二修复力度大于所述第一修复力度；

当确定所述修复工具处于尾部区域时，在所述化石骨骼视频图像上可视化展示所述修复工具当前处于的尾部区域对应的修复指导信息，其包括：指示选用第三直径规格的针头和第三修复力度；所述第三直径规格小于所述第一直径规格，所述第三修复力度小于所述第二修复力度且大于所述第一修复力度。

在一些可能的实施方式中，所述修复工具包括修复笔，所述平台还包括修复控制设备，用于根据所述修复指导信息生成第一修复控制指令，将所述第一修复控制指令发送到所述修复笔，所述第一修复控制指令用于调整所述修复笔的修复力度和/或控制所述修复笔切换针头。

在一些可能的实施方式中，所述修复笔上配置有硬度传感器，所述修复控制设备，还用于从所述硬度传感器获取当前的硬度值，当根据所述当前的硬度值确定所述修复笔当前所处位置是对应于围岩时，控制所述修复笔停止修复操作。

在一些可能的实施方式中，所述修复工具包括胶枪，所述图像识别设备，还用于获取所述待修复物体的视频图像中的缝隙数据；所述修复控制设备，还用于根据所述待修复物体的视频图像中的缝隙数据，生成第二修复控制指令，将所述第二修复控制指令发送到所述胶枪，所述第二修复控制指令用于确定所述胶枪中胶的种类和/或出胶速度。

在一些可能的实施方式中，所述显微镜上配置有第一坐标传感器，用于把所述显微镜当前观测到的视域的位置的三维坐标传送到所述图像识别设备中；

所述修复工具上配置有第二坐标传感器，用于将所述修复工具在待修复物体上的实时三维坐标传送到所述图像识别设备中。

在一些可能的实施方式中，所述AR增强辅助修复控制平台还包括：

降温系统，其包括降温设备和温度传感器，分别与所述修复控制设备电连接；

除湿系统，其包括除湿设备和湿度传感器，分别与所述修复控制设备电连接；

所述温度传感器和/或所述湿度传感器设置在修复工作区域或修复现场环境中；

所述修复控制设备，还用于在修复过程中当所述温度传感器检测的温度值高于预设的温度阈值时，自动启动所述降温设备进行降温处理；和/或，在修复过程中当所述湿度传感器检测到的湿度值高于预设的湿度阈值时，启动所述除湿设备进行除湿处理。

在一些可能的实施方式中，所述的平台还包括：模型预测设备，用于根据所述待修复物体的外露部分的视频图像，预测所述待修复物体埋藏于地下的剩余部分的形状特征和走向特征中的至少一个；和/或，

激光扫描设备，搭载于所述显微镜的所述物镜上，用于对待修复物体进行三维建模处理，获得待修复物体的三维模型。

在一些可能的实施方式中，所述模型预测设备，具体用于：根据化石的出露的部分骨骼视频图像，确定出露的部分骨骼的类型；根据所述出露的部分骨骼的类型和预设的解剖学规则，预测所述出露的部分骨骼的可能延伸范围；在所述可能延伸范围内确定骨骼延伸方向；在所述化石的出露的部分骨骼视频图像中可视化呈现所述可能延伸范围和在所述延伸范围内的骨骼延伸方向，以指示使所修复工具在所述可能延伸范围内沿着所述骨骼延伸方向执行修复操作。

在一些可能的实施方式中，所述模型预测设备，具体用于：根据所述出露的部分骨骼的类型，确定修复工具的种类、型号、修复力度中的至少一个；并且在所述化石的出露的部分骨骼视频图像中以AR方式可视化呈现修复工具的种类、型号、修复力度中的至少一个。

在一些可能的实施方式中，所述图像识别设备，具体用于：

根据化石的第一颜色与围岩的第二颜色之间的颜色差异度，区分出化石与围岩；

当修复工具置于所述化石或者所述围岩上方时，确定被所述修复工具遮挡的所述化石或所述围岩对应的颜色区域；

根据所述颜色区域确定所述修复工具在所述待修复物体的视频图像中的当前位置。

在一些可能的实施方式中，所述图像识别设备，具体用于：

根据化石或围岩分别的颜色特征、化石或围岩分别的形态特征和化石相对于围岩是否凸起中的至少一个，判断确定出围岩和化石；

当修复工具置于所述化石或者所述围岩上方时，确定被所述修复工具遮挡的所述化石或所述围岩对应的特征区域，所述特征区域包括具有颜色特征的区域和/或具有形态特征的区域；

根据所述特征区域确定所述修复工具在所述待修复物体的视频图像中的当前位置。

第二方面，提供一种AR增强辅助修复控制方法，其包括：

获取待修复物体的视频图像；

根据所述待修复物体的视频图像，确定待修复物体的标识信息；

根据修复工具在所述待修复物体的视频图像中的当前位置，确定当前修复位置；

根据所述待修复物体的标识信息和所述当前修复位置中的至少一个，确定修复指导信息；

将所述修复指导信息发送到AR视频显示设备。

第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面所述的AR增强辅助修复控制方法。

第四方面，提供一种计算机设备，其包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如第一方面所述的AR增强辅助修复控制方法。

上述技术方案具有如下有益效果：

本发明实施例根据所述待修复物体的视频图像，确定所述待修复物体的标识信息；根据修复工具在所述待修复物体的视频图像中的当前位置，确定当前修复位置；以及根据所述待修复物体的标识信息和所述当前修复位置中的至少一个，确定修复指导信息；从而基于修复的实际情况做出判断，提示修复师选择正确的修复工具或者修复步骤，有利于提高化石文物修复的准确性和成功率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1A是本发明实施例的AR增强辅助修复控制平台的整体结构示意图一；

图1B是本发明实施例的AR增强辅助修复控制平台的整体结构示意图二；

图1C是本发明实施例的AR增强辅助修复控制平台的整体结构示意图三；

图2是现有技术中的传统目镜显示效果图；

图3是本发明实施例的叠加过AR视频以后的显示效果图一；

图4是本发明实施例的叠加过AR视频以后的显示效果图二；

图5是本发明实施例作为一个举例的鱼龙化石的修复视频图像；

图6是本发明实施例作为一个举例的修复过程呈现的AR指导图像；

图7是本发明实施例的一种AR增强辅助修复控制方法的流程图；

图8是本发明实施例的一种计算机可读存储介质的功能框图；

图9是本发明实施例的一种计算机设备的功能框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

传统的通过体视显微镜进行化石修复时，对化石位置的判断、修复工具型号的选择、进行某一步修复过程，均需要依靠化石修复技师的判断。而不论是为了达到更好的修复效果还是避免对化石造成破坏，都要求修复师具有修复的经验。但这对于初学者而言往往不现实，在实践学习过程中也往往只能通过长时间摸索，无法时刻得到即时的指导，学习效率低下，时间成本高，修复效果收益低。为解决该技术问题，本发明实施例通过AR显示技术，在化石或文物修复用体视显微镜上增加AR视频显示设备，在通过目镜观察化石或文物的同时，在视域范围内叠加一层全息影像，实时显示动态AR视频和文字说明，提示修复师选用恰当的修复工具，以及指示其应当进行何种修复操作。此外，本发明实施例根据对修复实况的判断，可以对连接至此平台的修复工具(例如但不限于气动修复笔、胶枪等)发出指令，辅助其切换工作模式或工作参数。该平台具有观察、记录、测量和数据处理的功能。通过平台中的图像识别功能和AR视觉增强功能，结合修复工具(例如胶枪和修复笔)，有利于指导执行整个的化石或文物的修复工作。

增强现实(Augmented Reality，AR)技术是一种将虚拟信息与真实世界巧妙融合的技术，广泛运用了多媒体、三维建模、实时跟踪及注册、智能交互、传感等多种技术手段，将计算机生成的文字、图像、三维模型、音乐、视频等虚拟信息模拟仿真后，应用到真实世界中，两种信息互为补充，从而实现对真实世界的“增强”。

图1A是本发明实施例的AR增强辅助修复控制平台的整体结构示意图。如图1A所示，其包括：

显微镜110，其包括目镜和物镜；

图像采集设备120，用于在待修复物体的修复过程中，实时采集待修复物体的视频图像；

图像识别设备130，用于根据待修复物体的视频图像，确定待修复物体的标识信息；根据修复工具在待修复物体的视频图像中的当前位置，确定当前修复位置；以及根据待修复物体的标识信息和当前修复位置中的至少一个，确定修复指导信息；

AR视频显示设备140，搭载于显微镜110的目镜上，用于在待修复物体的视频图像上叠加显示包含修复指导信息的AR视频。

在一些实施例中，图像采集设备120可以包括如下两种中的至少一种：

第一图像采集设备，用于执行第一空间尺度(大空间尺度)上的图像采集，例如采集整体工作区域的图像，这个设备是单独设置的；

第二图像采集设备，用于执行第二空间尺度(目标空间)上的图像采集，这个设备是集成在显微镜上的，例如集成在物镜上。目标空间是指小空间尺度，其小于上述大空间尺度。

在一些实施例中，AR视频包括提示框和上面叠加的文字提示信息。本发明实施例采集原始的底层视频或底图，即实际的化石或文物视域作为视频输入或图像输入，然后在其上面再叠加上AR的一些提示信息。

在一些实施例中，待修复物体包括化石或文物；图像识别设备，具体用于根据采集的化石骨骼视频图像识别化石所属的生物物种；根据修复工具在化石骨骼视频图像中的当前位置，确定当前修复位置；以及根据化石所属的生物物种和当前修复位置中的至少一个，确定修复指导信息，修复指导信息包括如下中的任意多个：修复工具的种类、修复工具的型号、修复工具的工作参数。本发明实施例的技术方案通过对化石在围岩中的出露情况进行实时监测，基于修复的实际情况做出判断，提示修复师选择正确的修复工具和/或修复步骤，以提高修复的准确性和成功率。在一个举例中，基于修复指导信息生成工具选择信号，用于指示修复师选择相应的工具，例如选择使用吸尘工具，或者选择使用其他工具去凿开围岩以执行修复操作。

化石或者文物在发现之后，要进行发掘，这就有一个修复的过程，也可能从发掘开始就是一个修复的过程。在修复时，首先要观察化石当前是什么样的情况，需要用什么样的工具进行处理，采用什么样的方法去对它进行处理，然后可以对其进行三维建模处理。后端的处理的修复工具可以包括胶枪、修复笔等。现有技术中的工具有很多种，包括针式的工具，刀式的工具，毛刷工具，但都是分散的。本发明实施例将这些工具整理集合成两个工具：修复笔和胶枪。修复笔采用敲击、凿或者打孔的方式进行修复。修复笔可以根据平台传过来不同的信息，去选择不同粗细的针或者不同形状的针。平台还可以进一步控制针的控制频率、力度、针的打击方向。原来可能需要各自独立的通风功能，吹气功能，除尘功能或者毛刷功能，而在本发明实施例的胶枪将上述多个功能进行集成，不需要单独配置额外的吹气或者除尘设备。

图1B是本发明实施例的AR增强辅助修复控制平台的整体结构示意图二。如图1B所示，在一些实施例中，修复工具包括修复笔，平台还包括修复控制设备150，用于根据修复指导信息生成第一修复控制指令，将第一修复控制指令发送到修复笔，第一修复控制指令用于调整修复笔的修复力度和/或控制修复笔切换针头。

在一些实施例中，修复笔上配置有硬度传感器，修复控制设备150还用于从硬度传感器获取当前的硬度值，当根据当前的硬度值确定修复笔当前所处位置是对应于围岩时，控制修复笔停止修复操作。具体地，修复笔中的修复针上配置有硬度传感器，其能感知相应的开凿部分的硬度变化或者当前的硬度，开凿部分例如是岩石或者文物物品。在化石或者文物修复过程中，不同的材质硬度通常不一样。例如在修复的过程中，当开凿到周边的围岩时，修复工具上的传感器检测到的硬度值较高，当碰到化石以后，化石的硬度一般会低于围岩，这些会采集到硬度变化，当采集到硬度变化时修复工具会及时停止操作。例如修复工具向平台反馈当前检测到的硬值度，根据平台的控制指令停止修复操作，或者修复工具自行主动地停止修复操作，并且将采集到的硬度值和当前所处的停止修复操作的状态反馈到平台。

在一些实施例中，修复工具包括胶枪，图像识别设备130还用于获取待修复物体的视频图像中的缝隙数据；修复控制设备，还用于根据待修复物体的视频图像中的缝隙数据，生成第二修复控制指令，将第二修复控制指令发送到胶枪，第二修复控制指令用于确定胶枪中胶的种类和/或出胶速度。具体地，本实施例中有多种不同的胶，例如有双组份的胶和至少一种环氧树脂。环氧树脂的浓度也不同，组分也不同，成分也不同，这涉及到中间的有些修复，有一些胶用于做粘接，有些胶用于做填充，有些胶用于做覆盖。不同的修复工艺需要的流量或者出胶速度不相同。胶枪的修复方法例如包括：喷、涂、直接填充。在本实施例中可以选择不同的胶的种类，以及回收多余的胶。假设根据当前图像显示化石已经变成两部分了，中间具很宽的缝隙，根据缝隙数据，指示修复师采用胶枪的粘结功能，先粘结修复，粘结的时候采用双组份的胶，根据裂缝大小确定出胶速度。胶枪从平台上获取裂缝数据，当裂缝较大时，提高出胶速度，当裂缝较小时，降低出胶速度，以避免对化石或文物造成破坏。

图2是现有技术中的传统目镜显示效果图；图3是本发明实施例的叠加过AR视频以后的显示效果图一；图4是本发明实施例的叠加过AR视频以后的显示效果图二。化石有埋在围岩的部分，有骨骼比较粗的部分，有骨骼比较细和关节比较多的这些部分。

在图3所示的示例1中，对应于出露较浅的情况，当修复笔、显微镜的镜头和扫描仪对到肋骨或脊椎这一部分时，平台识别出来这个部分是修复到肋骨或者脊椎所处的位置，那么平台会做出两个响应，第一个响应是在显微镜110和/或AR视频显示设备140的屏幕上给修复师显示提示信息，例如提示化石处于什么样的埋藏状态，在图3中的文字提示信息包括：出露较浅；第二个响应是根据文字提示信息提示修复师使用相应种类的修针，例如在出露较浅时，指示使用2号修针。并且可以进一步地根据该文字提示信息生成控制指令，把这个控制指令发送至气动修复笔，让气动修复笔根据该控制指令自动进行力度调整，和/或切换针头。进一步地，修复指导信息还包括：在实时采集的化石或文物的视频图像上显示的提示框，该文字提示信息对应于该提示框限定范围内部的化石或文物。可选地，该文字提示信息可以进一步转化为相应的语音提示信息进行输出。

在图4所示的示例2中，当显微镜的镜头和修复笔移动到指骨区域时，同样执行三维扫描和修复处理，然后由计算机进行判断，确定当前修复到化石或文物的什么位置，在屏幕上显示文字提示信息：指骨，骨块较多，使用手针。进一步地，还可以生成另外一条控制指令，并且将其发送至修复笔。上述控制指令包括：修复笔的针头切换指令和力度切换指令。进一步地，修复指导信息还包括：在实时采集的化石或文物的视频图像上显示的提示框，该文字提示信息对应于该提示框限定范围内部的化石或文物。

由于用户使用修复笔在修复时，是将修复笔置于显微镜的镜头底下，用户或者平台通过镜头能够识别当前修复笔所处的位置，当平台发现修复笔已经处于在化石比较细的位置上时，例如修复到指节处时，会自动调整修复笔的力度，和切换不同粗细程度的针头。如果都用最细的针去进行化石修复时，虽然可能提高修复质量，但是会降低工作效率。针对类似于围岩部分这种较大的部分，不需要进行精细修复，只要把围岩部分凿开即可。在这种情况下，本发明实施例针对围岩部分采用一些比较粗或者是力度比较大的针，从而能够提高工作效率。通过采用不同的修复针，可以兼顾提高修复质量和修复效率。针对一些特殊的位置，对针的要求不相同。这些针具有不同的型号或类型，分别用于不同的修复对象，这些修复针可以集成在修复笔上。

在一些实施例中，显微镜上配置有第一坐标传感器，用于把显微镜当前观测到的视域的位置的三维坐标传送到图像识别设备中；修复工具上配置有第二坐标传感器，用于将修复工具在待修复物体上的实时三维坐标传送到图像识别设备中。具体地，显微镜的载物台是具有上下左右调整的功能，实际上是建立了一个三维的坐标系。通过三维的坐标系，即显微镜上x轴、y轴和z轴三维坐标的参数，同时叠加到三维建模上面去，就把完整的带坐标的三维立体的模型全部扫描出来。

具体地，本实施例中传感器的种类有多种，例如：显微镜中设置有坐标传感器，用于把当前观测到的位置，或者显微镜当前所对视域的位置的坐标传输到平台中。修复笔和胶枪上设置有坐标传感器，用于将修复笔和胶枪在化石标本或文物标本上的实时位置传送到平台中。其中，这两个位置是匹配的，零点是相同的。这样就具备了视觉三维建模和修复工具之间的空间相对位置。另外，在修复笔的笔尖设置有硬度传感器。

再参阅图1B，在一些实施例中，该平台还可以包括：模型预测设备160，用于根据待修复物体的外露部分的视频图像，预测待修复物体埋藏于地下的剩余部分的形状特征和走向特征中的至少一个。作为一个举例，图像识别设备130，用于根据采集的化石骨骼图像识别该化石所属的生物物种；模型预测设备160，用于根据采集的化石骨骼图像输出与化石骨骼相关联的预测结果。所述与化石骨骼相关联的预测结果包括：预测的脊椎的走向和/或预测的肋骨的根数。图像识别设备130，具体可以用于从采集的图像背景中辨别出来化石骨骼；模型预测设备160，用于在辨别出来化石骨骼以后，对化石的骨骼走向进行预测。

在一些实施例中，该平台还可以包括：激光扫描设备170，搭载于显微镜110的物镜上，用于对待修复物体进行三维建模处理，获得待修复物体的三维模型。具体地，由于观察到的化石或文物是立体的物体，在立体的视域中，三维模型是具有三维信息的，其包括XYZ三个轴的信息，修复笔进行修复的时候也是有三维信息的，其不是在一个平面上去修复，而是在一个立体空间中执行修复操作。在现有技术中，对化石进行数字化建模的工作，目前仍需要等到化石完全修复后再进行，但操作时同样需要用采集设备对化石进行从头到尾的顺序扫描，有额外的时间成本。为解决这个技术问题，本发明实施例在显微镜的物镜部分搭载激光扫描设备，其用于在修复化石或文物的过程中，将完成修复的部分进行图像采集，录入数据库，实现在修复化石或文物的同时对其进行数字化信息收集和三维建模。

在本实施例中，首先是用观察平台去发现化石，它是属于在前端的。显微镜上集成一些功能模块，其中包括集成有激光扫描设备，用于执行三维建模和三维扫描的功能。这样当采用该显微镜观察化石时，直接就能把当前的化石三维模型扫描出来，扫描出来的三维模型具有如下有益技术效果：

首先，获得化石的三维模型，能够形成化石或文物发掘过程中的一个记录；其次，这个三维模型是建立在图像采集的基础上，获得初步的三维模型，就可以对化石或者文物进行预测。当文物或者化石从地下挖出来的时候，是先挖出来一小部分，下一步要预测化石骨骼或者文物物品的形状和/或走向，这样有利于在后续无损地把化石或者文物挖掘出来。所以本发明实施例中配置有三维建模的功能模块。

在一些实施例中，通过视觉采集端采集到图像，通过三维激光扫描进行基于三维坐标的数字建模；然后通过修复笔上的传感器，或者三维空间里的一些传感器获得一些数值，其包括：例如当前的湿度，当前的温度，当前拍摄到的骨骼的形状，骨骼的出露程度，以及围岩的种类。其中，有一些围岩是可以通过视觉去判断确定的，有一些不能通过视觉判断确定，则可以根据修复笔与待修复物体接触时的硬度值进行判断。通过上述输入信息，平台自动分析确定当前处于何种修复状态或修复实况，以及与当前修复状态相对应的修复操作。例如：当前已经修复到骨骼的细微部，需要进行一些很精细的修复操作；或者，当前距离骨骼细微部很远，需要进行一些效率很高的修复操作。

图1C是本发明实施例的AR增强辅助修复控制平台的整体结构示意图三。如图1C所示，在一些实施例中，AR增强辅助修复控制平台还包括：降温设备180和/或除湿设备190；以及，设置在修复工作区域或修复现场环境中的温度传感器和/或湿度传感器，分别与修复控制设备150电连接。本申请考虑到当前温度、湿度涉及到化石或文物的保护，在修复过程中当温度传感器检测到过高的温度时，即高于预设的温度阈值时，平台中的修复控制设备150会自动启动降温设备180；当湿度传感器检测到过高的湿度时，即高于预设的湿度阈值时，修复控制设备150会启动除湿设备190。从而保持合理的温度和湿度，保护化石或文物的修复过程。

平台负责图像数据的采集，三维数据建模，进行预测，提供修复建议，并且将修复建议反馈到视域中。本发明实施例在显微镜的视域中叠加一层视觉的信息，当修复师通过显微镜或者AR眼镜去观测时，就可以直接把视频信息叠加在目镜上，以达到视觉增强目的。

以化石为例，图像识别该化石标本以后，要首先确认这是一个什么骨骼，什么物种，这个物种的化石是什么样的，它的脊椎是什么样的，四肢是什么样的。在本实施例中，修复师在视域中刚开始修复的时候，化石一般大部分都是掩埋的，只有一点点的出露，平台根据图像识别设备确定的出露判断这个物体是什么，例如是脊椎骨，尾骨，还是腿骨，然后再通过模型预测设备预测下面骨骼的走向，建议修复师沿着相应方向去修复，或者采用建议的力度或者是建议的操作方法去修复，上述修复指导信息在视觉以可视的方式进行反馈，例如在显微镜的目镜上或AR眼镜上呈现上述修复指导信息。

关于修复工具上的反馈，当修复师使用修针的时候，平台会向修复师输出指导信息，其包括如下至少一种：指示修复师选择采用相应粗细程度的工具；指示修复师采用某种形状的工具；指示修复师在修复时采用的修复力度或者敲击频率。

在针进行修复操作、填充胶或者涂抹胶的时候，还有另外一个反馈功能。例如，当图像识别模块确定缝隙明显快要填完时，修复控制设备控制减少胶枪的出胶量；当图像识别模块确定骨骼已经修复到很精细的位置时，修复控制设备控制减少针的力度，这是互相反馈和配合的过程。

以下举例对本平台的工作过程进行详细说明：

图5是本发明作为一个举例的鱼龙化石的修复视频图像。如图5所示，在修复过程中，有些化石被围岩包裹或覆盖较少，可以识别出大体轮廓。平台(系统)可以根据这个轮廓判断出哪里是头，哪里是四肢，哪里是躯干，哪里是尾。判断的标准是基于形态。头部一般相对立体，结构复杂，则需要选用较细的针头和较轻的力度，以便进行细致的修理工作。四肢和躯干骨骼相对大，骨骼形态也近似，因此可以选用稍粗一些的针头和大一点的力度以提高修复效率。尾部化石几乎都是重复性的骨骼，尺寸会向尾部末端逐渐减小，但结构又比较纤细，因此需要用更细针头，可用大一点的力度进行修复，以提高工作效率。

在去除掉大部分围岩后，化石基本完全暴露了，仅残留少量极薄的围岩“贴”在化石表面。由于化石的成分与围岩存在差异，颜色上有区别，因此系统可以更加准确地判断出修复笔所在位置，具体是在化石的哪一个部位(头、四肢、躯干、尾等)，进而给出具体的指导信息和设置指令。

在本实施例中，可以仅通过颜色，或者还通过颜色、形态和相对于围岩是否凸起，判断出围岩和化石。当修复笔置于围岩或化石上部时，会对其下的围岩和化石造成遮挡。系统可以据此判断修复笔的笔尖遮挡在了那个颜色区域或者形状区域，进而判断修复笔的位置。

另外，在修复过程中，在化石被围岩覆盖较多时可以识别覆盖区域的轮廓，以及不能完全确认分区的较弱的骨骼起伏。

在图5中鱼龙化石的修复过程图像中，椭圆形圈内是鱼龙化石的头部，修复笔置于此区域内，AR修复平台可判断出修复笔正在头骨区，进而根据这一判断结果在屏幕中显示修复建议，并指导或者触发修复笔对其针头规格和修复力度做出相应调整。

图6是本发明实施例作为一个举例的修复过程呈现的AR指导图像。如图6所示，在修复过程中，系统判断要如何执行修复操作，并可视化呈现修复指导信息，例如在修复图像上叠加可视化呈现AR修复指导信息。在第一椭圆形圈61部分(例如可视化呈现为红圈)中，第一椭圆形圈61内下部已经出露了部分骨骼，由系统可识别为胫骨与腓骨。基于解剖学知识或规则，预测这两块骨骼可能的延伸范围在第二椭圆形圈62a、62b(例如可视化呈现为黄圈)部分，则一方面在屏幕中进行可视化的显示，指导沿第二椭圆形圈62a、62b的长轴方向继续修复；另一方面调节修复笔的工作参数。此外，由于这两块骨骼后面还有其他骨骼，如直线63(例如可视化呈现为绿线)所示，则当修复至该直线63并出露新骨骼区域时，系统会重新进行判断，并做出对应的反馈；例如再把上述提到的各种判断再执行一次，包括确定修复程度、出露程度、修复笔位置中的至少一个，然后再调节修复笔的型号和/或力度等。

以下举例说明本发明实施例中化石修复工具型号/规格与修复场景的对应关系：

修复化石的力度与针头型号相关联，本实施例可以给不同型号气针供给不同的气压，对气压进行精确的调控。

me-9100电动气针，是修复化石力度最强的一款电动气针，针头直径约1mm，主要用于修复覆盖于化石上面的较厚的灰岩。

jack6电动气针，针头直径约0.5mm，在将最上部较厚的灰岩盖层揭开后，用于将接近化石部分的灰岩薄层揭开，让化石完全出露。

jack1电动气针，针头直径约0.2mm，其力度最弱，主要用于修复贴在化石表面的泥质方解石覆盖物以及骨骼脆弱的部分，例如牙齿。

手针，针头直径约0.05mm，由手动控制，用于修复贴在化石表面的松软的泥质成分。

本发明实施例的有益技术效果包括：

本发明实施例进行AR识别和判断，对视域内的化石位置进行聚焦，在目镜或外接的AR眼镜中显示化石暴露信息，并进行修复提示。

本发明实施例提供实时数字化系统，在将化石完整修复出来的第一时间即对其进行数字化和三维建模，在修复完成后即实现化石整体的数字化工作。

本发明实施例通过显微镜和AR设备的配合，能够向修复师展示视域中的文字提醒或者图片视觉提醒。

本发明实施例增加设置了AR功能，通过图像识别可以指导修复师执行化石修复工作，或者提供修复指南。

图7是本发明实施例的一种AR增强辅助修复控制方法的流程图。如图7所示，其包括如下步骤：

S210：获取待修复物体的视频图像；

S220：根据所述待修复物体的视频图像，确定待修复物体的标识信息；

S230：根据修复工具在所述待修复物体的视频图像中的当前位置，确定当前修复位置；

S240：根据所述待修复物体的标识信息和所述当前修复位置中的至少一个，确定修复指导信息；

S250：将所述修复指导信息发送到AR视频显示设备。

在一些实施例中，所述待修复物体包括化石或文物，步骤S230具体可以包括：

根据采集的化石骨骼视频图像识别所述化石所属的生物物种；

根据修复工具在所述化石骨骼视频图像中的当前位置，确定当前修复位置；

以及根据所述化石所属的生物物种和所述当前修复位置中的至少一个，确定修复指导信息，所述修复指导信息包括如下中的任意多个：修复工具的种类、修复工具的型号、修复工具的工作参数。

在一些实施例中，步骤S230具体可以包括如下子步骤：

根据采集的化石骨骼视频图像与数据库中预存的生物物种的化石标准图像进行比较，匹配确定当前的化石所属的生物物种；

根据采集的化石骨骼视频图像的轮廓形态，确定所述化石的多个目标区域，所述多个目标区域包括：头部、四肢、躯干、尾部中的任意多个；

在所述采集的化石骨骼视频图像上通过AR方式可视化展示对应于所述多个目标区域的多个区域标识线，每个区域标识线对应于所述头部、四肢、躯干、尾部中的任意一个；

检测修复工具在所述化石骨骼视频图像中的当前位置；

当检测到所述修复工具处于任意的目标区域内部时，在所述化石骨骼视频图像上可视化展示所述修复工具当前处于的目标区域对应的修复指导信息，所述修复指导信息包括修复工具中的针头规格和/或修复力度。

在一些实施例中，步骤S210具体可以包括：

通过单独设置的第一图像采集设备执行第一空间尺度上的图像采集，所述第一空间尺度上的图像包括整体工作区域的图像；

通过集成在显微镜上的第二图像采集设备执行第二空间尺度上的图像采集，所述第二空间尺度小于所述第一空间尺度。

在一些实施例中，图像识别设备与修复控制设备可集成为一个设备，所述修复工具包括修复笔，上述方法还包括如下步骤：

根据所述修复指导信息生成第一修复控制指令，将所述第一修复控制指令发送到所述修复笔，所述第一修复控制指令用于调整所述修复笔的修复力度和/或控制所述修复笔切换针头。

在一些实施例中，所述修复笔上配置有硬度传感器，所述方法还包括如下步骤：

从所述硬度传感器获取当前的硬度值，当根据所述当前的硬度值确定所述修复笔当前所处位置是对应于围岩时，控制所述修复笔停止修复操作。

在一些实施例中，所述修复工具包括胶枪，所述方法还包括如下步骤：

获取所述待修复物体的视频图像中的缝隙数据；

根据所述待修复物体的视频图像中的缝隙数据，生成第二修复控制指令，将所述第二修复控制指令发送到所述胶枪，所述第二修复控制指令用于确定所述胶枪中胶的种类和/或出胶速度。

在一些实施例中，所述显微镜上配置有第一坐标传感器，用于把所述显微镜当前观测到的视域的位置的三维坐标传送到所述图像识别设备中；所述修复工具上配置有第二坐标传感器，用于将所述修复工具在待修复物体上的实时三维坐标传送到所述图像识别设备中。所述方法还包括如下步骤：

从所述第一坐标传感器获取所述显微镜当前观测到的视域的位置的三维坐标；以及，

从所述第二坐标传感器获取所述修复工具在待修复物体上的实时三维坐标。

在一些实施例中，平台中还包括独立的模型预测设备，或者模型预测设备、图像识别设备和修复控制设备整合集成在一起，构成整体的修复控制设备。相应地，所述方法还包括如下步骤：

根据所述待修复物体的外露部分的视频图像，预测所述待修复物体埋藏于地下的剩余部分的形状特征和走向特征中的至少一个。

在一些实施例中，所述的根据所述待修复物体的外露部分的视频图像，预测所述待修复物体埋藏于地下的剩余部分的形状特征和走向特征中的至少一个，具体可以包括如下步骤：

根据化石的出露的部分骨骼视频图像，确定出露的部分骨骼的类型；具体地，本步骤的主要判断依据可以包括形状、大小、长宽比例、相对位置关系；

根据所述出露的部分骨骼的类型和预设的解剖学规则，预测所述出露的部分骨骼的可能延伸范围；

在所述可能延伸范围内确定骨骼延伸方向；

在所述化石的出露的部分骨骼视频图像中可视化呈现所述可能延伸范围和在所述延伸范围内的骨骼延伸方向，以指示使所修复工具在所述可能延伸范围内沿着所述骨骼延伸方向执行修复操作。

具体地，上述步骤可以基于解剖学数据库。在系统中提前录入已知的不同类型化石各部分的特征，系统在修复过程中会根据识别到的图像与解剖学数据库中的记录对比，先判断这是什么位置的骨骼，然后基于解剖学数据库中骨骼的形态指出或预测骨骼可能的形状，并指示修复方向。

在一些实施例中，上述步骤进一步包括：根据所述出露的部分骨骼的类型，确定修复工具的种类、型号、修复力度中的至少一个；并且在所述化石的出露的部分骨骼视频图像中以AR方式可视化呈现修复工具的种类、型号、修复力度中的至少一个。

在一些实施例中，平台还包括降温系统，其包括降温设备和温度传感器，分别与所述修复控制设备电连接；除湿系统，其包括除湿设备和湿度传感器，分别与所述修复控制设备电连接；所述温度传感器和/或所述湿度传感器设置在修复工作区域或修复现场环境中；所述方法还包括如下步骤：

在修复过程中当所述温度传感器检测的温度值高于预设的温度阈值时，自动启动所述降温设备进行降温处理；和/或，在修复过程中当所述湿度传感器检测到的湿度值高于预设的湿度阈值时，启动所述除湿设备进行除湿处理。

在一些实施例中，所述方法还包括：

根据化石的第一颜色与围岩的第二颜色之间的颜色差异度，区分出化石与围岩；

当修复工具置于所述化石或者所述围岩上方时，确定被所述修复工具遮挡的所述化石或所述围岩对应的颜色区域；

根据所述颜色区域确定所述修复工具在所述待修复物体的视频图像中的当前位置。

在一些实施例中，所述方法还包括：

根据化石或围岩分别的颜色特征、化石或围岩分别的形态特征和化石相对于围岩是否凸起中的至少一个，判断确定出围岩和化石；

当修复工具置于所述化石或者所述围岩上方时，确定被所述修复工具遮挡的所述化石或所述围岩对应的特征区域，所述特征区域包括具有颜色特征的区域和/或具有形态特征的区域；

根据所述特征区域确定所述修复工具在所述待修复物体的视频图像中的当前位置。

图8是本发明实施例的一种计算机可读存储介质的功能框图。如图8所示，本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质内存储有计算机程序，计算机程序被处理器执行时实现上述AR增强辅助修复控制方法的各步骤。例如，计算机程序被处理器执行时实现如下步骤：

获取待修复物体的视频图像；

根据所述待修复物体的视频图像，确定待修复物体的标识信息；

根据修复工具在所述待修复物体的视频图像中的当前位置，确定当前修复位置；

根据所述待修复物体的标识信息和所述当前修复位置中的至少一个，确定修复指导信息；

将所述修复指导信息发送到AR视频显示设备。

所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。当然，还有其他方式的可读存储介质，例如量子存储器、石墨烯存储器等等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。

图9是本发明实施例的一种计算机设备的功能框图。如图9所示，该计算机设备1000包括：一个或多个处理器1001、存储介质1002和通信总线1003，存储介质1002存储有处理器1001可执行的机器可读指令，当电子设备100运行时，处理器1001与存储介质1002之间通过通信总线1003通信，处理器1001执行机器可读指令，以执行或实现如前述任一实施方式的所述方法的各步骤。

处理器1001可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital SignalProcessing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

存储介质1002可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器303可包括硬盘驱动器(Hard Disk Drive，HDD)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(Universal Serial Bus，USB)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器可包括可移除或不可移除(或固定)的介质。在特定实施例中，存储器是非易失性固态存储器。在特定实施例中，存储器包括只读存储器(ROM)。在合适的情况下，该ROM可以是掩模编程的ROM、可编程ROM(PROM)、可擦除PROM(EPROM)、电可擦除PROM(EEPROM)、电可改写ROM(EAROM)或闪存或者两个或更多个以上这些的组合。

通信总线1003包括硬件、软件或两者，用于将上述部件彼此耦接在一起。举例来说，总线可包括加速图形端口(AGP)或其他图形总线、增强工业标准架构(EISA)总线、前端总线(FSB)、超传输(HT)互连、工业标准架构(ISA)总线、无限带宽互连、低引脚数(LPC)总线、存储器总线、微信道架构(MCA)总线、外围组件互连(PCI)总线、PCI-Express(PCI-X)总线、串行高级技术附件(SATA)总线、视频电子标准协会局部(VLB)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线可包括一个或多个总线。尽管本发明实施例描述和示出了特定的总线，但本发明考虑任何合适的总线或互连。

上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围内。在一些情况下，在权利要求书中记载的动作或步骤可以按照不同于实施例中的顺序来执行并且仍然可以实现期望的结果。另外，在附图中描绘的过程不一定要求示出的特定顺序或者连续顺序才能实现期望的结果。在某些实施方式中，多任务处理和并行处理也是可以的或者可能是有利的。

虽然本申请提供了如实施例或流程图的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的装置或客户端产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行(例如并行处理器或者多线程处理的环境)。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

本发明中应用了具体实施例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。