基于增强现实的化工生产环境的巡检方法和装置

技术领域

本公开涉及化工巡检技术领域，尤其涉及一种基于增强现实的化工生产环境的巡检方法和装置。

背景技术

在化工原料实际生产过程中由于化工作业的生产工艺流程较长，生产厂区面积大，由于很多厂区设备高度高，体积大，厂房空间挤压受限，人员难以查看到设备的状态、获取设备上的数据，各项参数如果不能及时巡检到并保证正常范围，会造成巨大损失，甚至危害人员安全。且在人员通过危险区域作业时，需要对安全状态进行检测，以确保人员作业时的安全，部署摄像头的局限性较大、灵活性较差，人员状态不能全部实时监控到，存在着一定程度的风险。

发明内容

本公开提供了一种基于增强现实的化工生产环境的巡检方法和装置，以解决或缓解现有技术中的一项或更多项技术问题。

第一方面，本公开提供了一种基于增强现实的化工生产环境的巡检方法，包括：

以增强现实的方式显示第一级巡检任务，该第一级巡检任务中包括化工生产环境中的一个或多个巡检区域；

在一个巡检区域的覆盖范围内，以增强现实的方式显示该巡检区域对应的第二级巡检任务，该第二级巡检任务中包括需要巡检的一个或多个巡检目标；

采集该第二级巡检任务中的巡检目标的状态信息；

根据该巡检目标的状态信息，确定该巡检目标是否正常。

第二方面，本公开提供了一种基于增强现实的化工生产环境的巡检设备，包括：

显示模块，用于以增强现实的方式显示第一级巡检任务，该第一级巡检任务中包括化工生产环境中的一个或多个巡检区域；在一个巡检区域的覆盖范围内，以增强现实的方式显示该巡检区域对应的第二级巡检任务，该第二级巡检任务中包括需要巡检的一个或多个巡检目标；

采集模块，用于采集该第二级巡检任务中的巡检目标的状态信息；

确定模块，用于根据该巡检目标的状态信息，确定该巡检目标是否正常。

第三方面，提供了一种电子设备，包括：

至少一个处理器；以及

与该至少一个处理器通信连接的存储器；其中，

该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开实施例中任一的方法。

第四方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，该计算机指令用于使该计算机执行根据本公开实施例中任一的方法。

第五方面，提供了一种计算机程序产品，包括计算机程序，该计算机程序在被处理器执行时实现根据本公开实施例中任一的方法。

本公开实施例，可以使用增强现实的方式对化工生产环境进行多级巡检，提高巡检速度和巡检效率。

应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。

附图说明

在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本公开提供的一些实施方式，而不应将其视为是对本公开范围的限制。

图1是根据本公开一实施例的基于增强现实的化工生产环境的巡检方法的示意性流程图；

图2是第一级巡检任务的巡检区域的示意图；

图3和图4是第二级巡检区域的巡检目标的示意图；

图5是根据本公开另一实施例的基于增强现实的化工生产环境的巡检方法的示意性流程图；

图6是根据本公开另一实施例的基于增强现实的化工生产环境的巡检方法的示意性流程图；

图7是根据本公开另一实施例的基于增强现实的化工生产环境的巡检方法的示意性流程图；

图8是根据本公开另一实施例的基于增强现实的化工生产环境的巡检方法的示意性流程图；

图9是基于增强现实的化工生产环境的巡检流程图；

图10是根据本公开一实施例的基于增强现实的化工生产环境的巡检装置的示意性框图；

图11是根据本公开另一实施例的基于增强现实的化工生产环境的巡检装置的示意性框图；

图12为根据本公开一实施例的电子设备的结构框图。

具体实施方式

下面将参考附图对本公开作进一步地详细描述。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路等未作详细描述，以便于凸显本公开的主旨。

图1是根据本公开一实施例的基于增强现实的化工生产环境的巡检方法的示意性流程图。该方法包括以下内容的至少部分内容。

S110、以增强现实的方式显示第一级巡检任务，该第一级巡检任务中包括化工生产环境中的一个或多个巡检区域；

S120、在一个巡检区域的覆盖范围内，以增强现实的方式显示该巡检区域对应的第二级巡检任务，该第二级巡检任务中包括需要巡检的一个或多个巡检目标；

S130、采集该第二级巡检任务中的巡检目标的状态信息；

S140、根据该巡检目标的状态信息，确定该巡检目标是否正常。

在本公开实施例中，增强现实(Augmented Reality，AR)技术可以通过计算设备对现实环境的实时情况进行感知和计算，该计算设备可以将文字、图片、视频等二维或三维的内容叠加在现实世界中。通过AR技术配合增强现实设备如手表、眼镜、项链等设备可以实现与用户的交互。AR设备可以将需要显示的内容在AR设备的显示装置例如镜片上显示，也可以将需要显示的内容通过光学投影装置例如小型的投影仪和棱镜等直接投影至视网膜中显示。

在本公开实施例中，化工生产环境可以包括化工生产的厂房、车间、生产设备、仪器、仪表、实验室等要素。为了保证化工生产环境中各个生产环节的安全性，需要化工生产的各种要素进行巡检。由于保证化工生产环境所占区域比较大、需要巡检的目标比较多，一个巡检人员很难快速完成巡检，因此可以将一个化工生产环境内需要巡检的内容划分为多级巡检任务。这样，可以由多个巡检人员配合完成多级巡检任务，提高巡检速度。例如，将化工生产环境中需要巡检的内容划分为第一级巡检任务和第二级巡检任务。第一级巡检任务中可以包括化工生产环境中的一个或多个巡检区域。AR设备可以显示这些巡检区域的名称、照片、或虚拟模型等，以供巡检人员选择。一个巡检区域包括的厂房、车间、实验室等所在的区域。如图2所示，AR设备可以显示厂房、车间等巡检区域的名称。第二级巡检任务中可以包括一个巡检区域内需要巡检的一个或多个巡检目标。例如，需要巡检的仪器、仪表、管道、传感器等。AR设备可以显示一个巡检区域的全部或部分巡检目标的名称、照片或虚拟模型等。例如，如图3所示，AR设备可以显示管道、仪器、仪表、地面、墙体等巡检目标的名称。在AR设备也可以在采集的巡检现场图像上叠加显示拍摄视角内的巡检目标的标签、名称或虚拟模型等。例如，如图4所示，AR设备可以将管道、反应釜、仪表、地面、墙体等巡检目标的标签或名称叠加显示在现场图像上。

在本公开实施例中，在AR设备可以以AR的方式显示第一级巡检任务。例如显示巡检任务列表或巡检任务清单辅助巡检人员选择一个或多个第一级巡检任务。如果选择多个巡检任务，还可以选择巡检顺序。佩戴该AR设备的巡检人员在向第一级巡检任务的一个巡检区域行进的过程中，该AR设备在采集的道路等图像上可以叠加显示的巡检区域的指引信息例如导向箭头或导向路线等。巡检人员根据这些指引信息，可以到达该巡检区域的覆盖范围内。一种情况下，在AR设备可以在当前采集的现场道路等图像中叠加显示从当前所在的位置到巡检区域的导向箭头或导向路线。另一种情况下，如果巡检人员距离巡检区域较远，可以类似于地图导航的形式，通过AR设备显示从当前所在的位置到该巡检区域的导向箭头或导向路线。一个巡检区域的覆盖范围可以包括该巡检区域的本身例如厂房，还可以包括该巡检区域外围的一部分扩展区域例如厂房外围10米的区域。如果巡检人员到达第一级巡检任务的一个巡检区域的覆盖范围内，该AR设备可以触发显示该巡检区域对应的第二级巡检任务。如果第二级巡检任务包括多个巡检目标，该AR设备可以按照一定的巡检顺序显示当前需要巡检的目标。如图4所示，在聚酯厂房内的巡检目标可以包括反应釜、管道、仪表、地面、墙体等。AR设备可以显示摄像头视角内的所有巡检目标，也可以显示距离AR设备较近的部分巡检目标。根据巡检目标的巡检的指标可以判断这个目标是否正常。例如，温度传感器需要巡检的指标包括温度范围是否正常、管道是否有“跑冒滴漏”现象、阀门的开度是否合格等。

在本公开实施例中，巡检人员可以根据AR设备显示的指引信息到达巡检目标附近。巡检人员可以人工巡检后通过手动输入、语音输入等方式在AR设备中输入第二级巡检任务中的巡检目标的状态信息。AR设备也可以通过内置的图像采集设备例如摄像头采集巡检目标的状态信息。例如，巡检目标的状态信息可以包括化工生产环境中反应釜、管道的跑液、冒液、滴液、漏液或跑气、冒气、漏气（以下统称“跑冒滴漏”）等异常情况。再如，巡检目标的状态信息可以包括车间传感器、仪器仪表的读数错误、工作状态失灵、损坏等异常情况。再如，巡检目标的状态信息可以包括地面的杂物堵塞、工程材料堆放、墙体脱落、外部设备破损、脱落、生锈、腐蚀等异常情况。再如，巡检目标的状态信息可以包括化工生产环境中厂房失火、漏水、反应原材料泄露、人员求救等紧急情况。

在本申请实施例中当巡检人员通过AR设备采集到巡检目标的状态信息后可以通过AR设备或后台服务器确定巡检目标是否正常。一种方式中，AR设备可以从服务器获取巡检目标的正常状态信息，与当前采集的该目标的状态信息对比，确定巡检目标是否正常。另一种方式中，AR设备可以将当前采集的巡检目标的状态信息发送至服务器，由服务器与该巡检目标的正常状态信息对比，确定巡检目标是否正常后再返回AR设备。在AR设备中显示巡检目标是否正常的巡检结果。例如，当前巡检反应釜的温度传感器上显示的反应釜内部温度为200℃，并且，服务器中记录的当前反应釜正常温度范围是180℃到220℃，可以判定该反应釜内部温度正常。AR设备可以显示该反应釜内部温度正常，还可以显示该反应釜的当前温度和正常温度范围。

根据本公开实施例，使用AR的方式对化工生产环境进行多级巡检，提高巡检速度和巡检效率。例如，使用AR设备根据巡检人员的巡检目标生成巡检路径并使用AR的方式指引巡检人员进行巡检，可以使巡检人员快速准确的到达巡检位置，提升巡检效率。再如，通过AR设备采集相关仪器仪表等巡检目标现场的状态信息，与目标的正常数据相对比，能够帮助巡检人员省去了人工对比数据的繁琐，提高对比结果的准确性，提升巡检效率。

图5是根据本公开另一实施例的基于增强现实的化工生产环境的巡检方法的示意性流程图。该方法可以包括上述巡检方法的一个或多个特征。在一种实施方式中，该方法还包括：

S410、响应于巡检区域选择命令，获取所选择的巡检区域的巡检顺序和/或巡检路线；

S420、根据巡检区域的巡检顺序和/或巡检路线，以增强现实的方式显示所选择的巡检区域的指示图像。

在本公开实施例中，在巡检人员启动AR设备后，AR设备可以以AR的方式显示第一级的任务列表或任务清单。该第一级的任务列表或任务清单中可以包括一个或多个第一级巡检任务。巡检人员通过触摸或语音等方式选择第一级巡检任务后，AR设备可以产生该第一级巡检任务的巡检区域选择命令。例如，巡检人员的AR头盔或AR眼镜上选择的第一级巡检任务包括巡检车间1和车间2，可以响应于对车间1和车间2的选择命令，获取车间1和车间2对应的巡检顺序，根据巡检顺序生成巡检路线。其中，巡检顺序为先巡检车间1再巡检车间2，巡检路线包括从当前位置先到车间1的路线以及从车间1到车间2的路线。在AR设备中可以根据巡检区域选择命令，获取巡检顺序和/或巡检路线，并以AR的方式显示路线的指示图像。巡检区域的指示图像中可以显示巡检区域的标签图像、到达巡检区域的路线图像、导向箭头、提示信息等。例如，提示信息可以包括“请沿着箭头向前行走”、“距离车间1还有100米”等。

根据本公开实施例，AR设备以增强现实的方式，根据所选择的巡检区域的巡检顺序和/或巡检路线显示指示图像，可以指引巡检人员快速到达所选择的巡检区域，能够提升巡检效率。

在一种实施方式中，该方法还包括：

S430、根据一个或多个巡检目标的巡检顺序和/或巡检路线，以增强现实的方式显示该一个或多个巡检目标的指示图像。

在本公开实施例中，第二级巡检任务中可以包括一个或多个巡检目标。巡检顺序和/或巡检路线可以是预先设置或自定义的。AR设备的拍摄范围内如果包括某个巡检目标，可以显示该巡检目标的指示图像。例如，AR设备的拍摄范围内包括温度传感器、压力传感器和反应釜，可以以AR方式显示温度传感器、压力传感器和反应釜的类别和/或场景的指示图像。巡检目标的指示图像中可以显示巡检目标的标签图像、到达巡检目标的路线图像、导向箭头、提示信息等。例如，标签图像可以包括巡检目标的名称，路线图像可以包括从当前位置到当前巡检目标的路线，导向箭头可以指示从当前位置需要行进的方向，提示信息可以包括“请沿着箭头向前行走”、“压力传感器在您左侧30米”等。

根据本公开实施例，AR设备通过AR的方式显示巡检目标的指示图像，以指引巡检人员前往该目标巡检，可以减少巡检时间，防止提升了巡检效率。

图6是根据本公开另一实施例的基于增强现实的化工生产环境的巡检方法的示意性流程图。该方法可以包括上述巡检方法的一个或多个特征。在一种实施方式中，该方法还包括：

S510、以增强现实的方式显示第二级巡检任务的多个子任务，一个子任务中包括该第二级巡检任务中的部分巡检目标；

S520、响应于子任务选择命令，获取所选择的子任务中的一个或多个巡检目标。

在本公开实施例中，在巡检人员到达某一个巡检区域的覆盖范围内，AR设备可以触发第二级巡检任务。该巡检人员可以巡检该巡检区域内所有的巡检目标，也可以巡检该巡检区域内的部分巡检目标。因此，可以将一个第二级巡检任务分为多个子任务，一个子任务中包括该第二级巡检任务中的部分巡检目标。例如，如果第二级巡检任务包括10个巡检目标，第一子任务包括3个巡检目标，第二个子任务包括4个巡检目标，第三个子任务包括3个巡检目标。不同的子任务中的巡检目标可以完全不同，也可以部分重叠。

AR设备可以以AR的方式显示第二级巡检任务的子任务列表或子任务清单。该子任务列表或子任务清单中可以包括第二级巡检任务一个或多个子任务。巡检人员通过触摸或语音等方式选择一个子任务后，AR设备可以产生子任务选择命令。在AR设备中可以根据子任务选择命令，获取子任务中的一个或多个巡检目标，并以AR的方式显示巡检目标的指示图像。巡检目标的指示图像中可以显示巡检目标的标签图像、到达巡检目标的路线图像、导向箭头、显示提示信息等。例如，提示信息可以包括“箭头指向为温度传感器”、“下一个巡检的目标为管道”等。

在本公开实施例中，如果巡检人员需要巡检多个子任务，可以根据子任务的优先级生成子任务巡检路线。AR设备可以指引巡检人员按照子任务巡检路线可以先到达优先级最高的子任务的巡检目标附近。

根据本公开实施例，使用AR设备可以指示巡检人员对第二级巡检任务的子任务中的巡检目标进行巡检，便于多人协作完成第二级巡检任务，提高巡检效率。此外，可以生成子任务中巡检目标的指示图像和指引路线，减少重复巡检，提升巡检效率，还可以减少漏检。

图7是根据本公开另一实施例的基于增强现实的化工生产环境的巡检方法的示意性流程图。该方法可以包括上述巡检方法的一个或多个特征。在一种实施方式中，步骤S140根据该巡检目标的状态信息，确定该巡检目标是否正常，包括：

S610、将该巡检目标的状态信息输入第一识别模型，得到第一识别结果。

在一种实施方式中，该方法还包括：

S620、在该第一识别结果为正常的情况下，以增强现实的方式显示需要巡检的下一个巡检目标的指示图像。

在本公开实施例中，AR设备将收集的某个巡检目标的状态信息例如巡检目标的图像输入至预先训练的第一识别模型，由第一识别模型输出第一识别结果。当该第一识别模型输出第一识别结果为正常时，表示该巡检目标处于正常状态，可以巡检下一个巡检目标。AR设备可以继续显示下一个巡检目标的指示图像，通过指示图像指引巡检人员到达下一个巡检目标的附近，对下一个巡检目标进行巡检。该第一识别模型可以置入在AR设备中，也可以置入在服务器中，AR设备可以将采集的图像发送至服务器中调用第一识别模型进行识别。

在一种实施方式中，该方法还包括：

S630、在该第一识别结果存在异常的情况下，将该巡检目标的状态信息发送至服务器，该服务器中设置有第二识别模型，该第二识别模型用于对该巡检目标的状态信息进行识别得到第二识别结果；

S640、接收该服务器反馈的第二识别结果；

S650、根据该第一识别结果和该第二识别结果，得到该巡检目标的状态信息的最终识别结果。

在本公开实施例中，当该第一识别模型输出第一识别结果为异常时，表示该巡检目标可能处于异常状态。为了进一步确定该巡检目标是否处于异常状态，AR设备可以将该巡检目标的状态信息返回至服务器，由服务器输入至第二识别模型中进行二次识别得到第二识别结果。服务器可以将第二识别结果发送至AR设备，由AR设备比较两次识别结果，得到最终识别结果。AR设备也可以将第一识别结果发送到服务器，在服务器比较两次识别结果，得到最终识别结果。例如，如果某个巡检目标的两次识别结果都是异常，可以判定该巡检目标的最终识别结果是异常的。如果第一次识别结果为异常，但第二次识别结果为正常，可以判定该巡检目标的最终识别结果是正常的，或者提醒两次识别结果不一致，请求人工介入。

根据本公开实施例，使用多个识别模型例如第一识别模型和第二识别模型，可以减少错检，提高了巡检结果的准确率。

在一种实施方式中，该第一识别模型可以为基于化工生产环境中的巡检目标样本训练得到的图像识别模型，第二识别模型可以为计算机视觉（Computer Vision，CV）大模型。

在本公开实施例中，第一识别模型的训练样本可以包括在化工生产环境的各种巡检目标的训练图像和标注数据。标注数据可以包括多种，例如，管道图像中标注是否漏水、地面图像中标注是否有污渍、设备图像中标注是否损坏、仪表图像中标注读数、各反应釜保温层是否破损、热煤炉燃烧火焰是否正常、工程材料图像（如桥架、管道、线缆等）。将训练样本输入初始的第一识别模型后，利用该模型输出的识别结果和标注数据计算损失函数，根据损失函数调整模型参数，直至损失函数收敛，得到训练好的第一识别模型。CV大模型的训练样本可以更多更丰富，不仅可以包括化工生产环境中训练样本，还可以包括相关场景的训练样本。CV大模型可以利用数字图像处理、模式识别、机器学习等方法，对图像或视频进行处理，实现对象检测、识别、跟踪、姿态估计、三维重建等功能。

图8是根据本公开另一实施例的基于增强现实的化工生产环境的巡检方法的示意性流程图。该方法可以包括上述巡检方法的一个或多个特征。在一种实施方式中，该方法还包括：

S710、在对一个第二级巡检任务中的一个子任务巡检完成的情况下，通过侧行链路向执行该第二级巡检任务中的其他子任务的其他设备发送请求信息，该请求信息用于请求对该第二级巡检任务中未巡检的目标重新分配；

S720、获取该未巡检的目标对应的新任务，该新任务包括为该增强现实设备重新分配的新巡检目标；

S730、根据该新巡检目标的巡检顺序和/或巡检路线，以增强现实的方式显示该新巡检目标的指示图像。

在本公开实施例中，多个巡检人员可以分别巡检同一个第二级巡检任务的不同子任务。如果某个巡检人员已经通过第一AR设备将一个子任务巡检完成，可以通过侧行通信的方式向执行该第二级巡检任务的其他巡检人员的第二AR设备发送请求信息。该请求信息可以请求将一个或多个第二AR设备中未巡检的目标进行重新分配。收到该请求信息后，第二AR设备可以将未巡检的目标重新分配后发给第一AR设备，也可以将未巡检的目标发送给服务器。服务器收到同一个第二级巡检任务的多个AR设备上报的未巡检的目标后，可以统一重新分配。然后，再将新的子任务分发给第一AR设备和一个或多个第二AR设备。新的子任务中可以包括新巡检目标。当然，第二AR设备收到请求信息后，也可以拒绝重新分配，或者根据剩余的未巡检的目标的数量决定是否重新分配。如果剩余的未巡检的目标多，则可以重新分配，否则可以不重新分配。

在本申请实施例中，第一AR设备收到一个或多个新巡检目标后，可以重新生成巡检顺序和/或巡检路线，并依次显示新巡检目标的指示图像，指引巡检人员对新巡检目标进行巡检。

根据本公开实施例，通过侧行方式在不同AR设备间调度子任务中的未巡检的目标，提高AR设备的利用率，提升巡检效率。

在一种实施方式中，该方法还包括：在巡检发现异常状态的情况下，通过侧行链路向其他设备发送求助信息；该异常状态包括设备异常、人员异常、环境异常的至少之一。

在本公开实施例中，设备异常可以包括AR设备自身异常、巡检目标包括的设备异常。例如，巡检目标为反应釜，如果检测到反应釜自身异常、反应釜上的仪器、仪表、传感器异常、反应釜的管道异常、反应釜真空度异常、反应釜缺少原材料等，都属于设备异常。人员异常可以包括佩戴该AR设备的巡检人员的身体状态异常、同级任务下其他巡检人员的身体状态异常、园区工作人员的身体状态异常等。环境异常可以包括化工生产环境中失火、漏水、反应原材料泄露、地面堆放杂物、墙体脱落等异常情况。一个AR设备检测到上述任意一种或多种异常情况后，可以通过侧行通信的方式向其他AR设备发送求助信息，其他AR设备可以是同级任务下的其他AR设备，也可以是侧行通信范围内可以连接到的AR设备。

在本公开实施例中，AR设备可以在巡检出异常状态下参与调度任务。例如，AR设备巡检到堆放反应原材料的区域时发现原材料将低于安全库存时，可以发送异常信息给仓库的管理设备，以安排人员进行材料调度。再如，AR设备在卷绕车间发现卷绕丝锭的物料例如纸管、丝车不足，可以发送调度请求至车间的值班人员的监控设备，提醒人员补充物料。

在本公开实施例中，AR设备中可以设置安全防护功能例如生命体征传感器、安全头盔、有毒有害气体传感器。AR设备中还可以设置测温功能例如红外测温模块。AR设备中还可以设置分析功能例如物理性质分析模块、光学分析模块以适应不同的场景需要。

根据本公开实施例，当AR设备检测到异常情况时通过侧行通信的方式及时发送求助信息，可以减少事故，提升化工生产和巡检人员的安全性。

在一种实施方式中，该方法还包括：

保存该第一级巡检任务和/或该第二级巡检任务中的权限信息；

向鉴权范围内的鉴权设备发送权限信息，由该鉴权设备对该权限信息进行鉴权得到鉴权结果。

在本公开实施例中，在化工生产过程时，有些区域可能涉及高温、高压、腐蚀等危险情况，有些区域可能需要保密，需要对进出人员严格发放巡检权限。在巡检任务开始时，AR设备可以根据任务列表或任务清单，获取某些区域的权限信息。如果AR设备仅保存了一个权限信息，则可以在巡检人员到达鉴权范围内将该权限信息发送至鉴权设备进行鉴权。如果AR设备保存了多个权限信息，可以根据每个权限信息所适用的鉴权范围，在到达某个权限信息的鉴权范围内，向该鉴权范围内的鉴权设备发送该权限信息。具体向鉴权设备发送的权限信息可以是巡检人员选择的，也可以是AR设备自动调取的。鉴权范围可以处于与鉴权设备较近的位置，例如距离鉴权设备1米之内的范围。鉴权设备可以安装在门上、生产设备上等。

当鉴权设备接收到该AR设备发送的权限信息时，对权限信息进行识别得到鉴权结果。例如，如果生产设备上的鉴权设备对权限信息的鉴权结果为通过，开启该生产设备的使用权限；否则，可以发出警报提示鉴权失败，也可以发送反馈信息至该AR设备提示鉴权失败原因，还可以向服务器发送鉴权失败的结果，以记录或及时发现异常闯入等情况。

根据本公开实施例，对巡检人员提前发放权限信息，可以减少因为鉴权耽误的巡检时间，进一步提升巡检效率。

在一种实施方式中，该方法还包括：

在收到紧急巡检任务的情况下，根据紧急巡检任务中的巡检目标调整该增强现实设备的巡检目标的优先级。

在本公开实施例中，AR设备收到紧急巡检任务后，可以根据该紧急巡检任务中的巡检目标调整自身的任务列表、任务清单、子任务列表或子任务清单。例如，如果任务优先级分为A、B、C级，AR设备接收到的紧急巡检任务优先级为A级时，可以暂停当前巡检的任务或子任务，优先巡检该紧急巡检任务。又如，AR设备接收到的紧急巡检任务优先级为B级时，可先完成当前巡检任务，再对该紧急巡检任务进行巡检。再如，AR设备接收到的紧急巡检任务优先级为C级时，可以先完成第二级巡检任务的一个子任务再对该紧急任务进行巡检。

根据本公开实施例，AR设备可以按照优先级处理紧急巡检任务，在发生异常情况时能够快速有效地找到问题，减少损失。

在一种实施方式中，该紧急巡检任务是基于实验室对化工产品进行检测的异常结果生成的。

在一种实施方式中，该方法还包括：使用实验室的增强现实设备对化工产品进行检测，将检测结果上传服务器；该服务器用于在检测结果异常的情况下对该化工产品涉及的巡检目标进行溯源，并向该化工产品涉及的巡检目标关联的一个或多个增强现实设备发送紧急巡检任务。

在本公开实施例中，可以使用AR设备对某一批次生产出的化工产品进行抽样质量检测。例如，使用AR设备拍摄化工产品例如丝锭样品图像，并对丝锭样品图像进行图像识别（AR设备自己设备或发送到服务器识别），以判断该丝锭样品是否正常。当检测结果为正常时，继续进行下一批次化工产品的质量检测。当检测结果为异常时，对该批次生产的化工产品进行溯源，并生成紧急巡检任务发送至正在相关区域巡检的AR设备。

根据本公开实施例，通过AR设备对化工产品进行抽样检测，根据异常情况生成紧急巡检任务并发送给其他AR设备，有助于快速找到问题源头，能够有效减少损失。

在一种实施方式中，第一级巡检任务包括的巡检区域可以为以下至少之一：聚酯厂房、切片厂房、丝锭生产厂房。丝锭生产厂房还可以进一步划分为纺丝车间、卷绕车间、加弹车间等。第一级巡检任务的巡检区域可以包括一个或多个厂房，也可以包括一个或多个车间。本公开实施例的方案中通过这些厂房、车间可以生产的丝的主要类型可以包括预取向丝（Partially Oriented Yarns，POY）、全牵伸丝（Fully Drawn Yarns，FDY）、拉伸变形丝（Draw Textured Yarns，DTY）（或称为低弹丝）等的一种或多种。例如，丝的类型具体可以包括涤纶预取向丝（Polyester Partially Oriented Yarns）、涤纶全牵伸丝（PolyesterFully Drawn Yarns）、涤纶牵伸丝（Polyester Drawn Yarns）、涤纶低弹丝（PolyesterDraw Textured Yarns）等。在一些示例中，第一级巡检任务的巡检区域也可以包括酯化车间、切片车间、短纤车间、FDY车间、POY车间、DTY车间等的一个或多个。

在一种实施方式中，第二级巡检任务包括的巡检目标可以包括以下至少之一：化工生产设备、仪器、仪表、管道、地面。不同类型的巡检区域的化工生产设备可能不同，例如聚酯车间的化工生产设备主要包括反应釜，纺丝车间的化工生产设备主要包括纺丝箱体，卷绕车间的化工生产设备主要包括卷绕机，加弹车间的化工生产设备主要包括加弹机。

在本公开实施例中，一个第一级巡检任务可以包括一个或多个巡检区域。一个第二级巡检任务可以包括一个巡检区域内的所有巡检目标。一种情况下，如果将一个巡检区域划分为多个子区域，则一个子区域可以对应一个子任务。另一种情况下，可以将一个巡检区域内的所有巡检目标划分为多组，一组巡检目标对应一个子任务。

例如，聚酯（polyethylene terephthalate，PET）厂房的巡检目标可以包括：进料设备、催化剂添加设备、浆料配置设备、螺杆泵、第一酯化反应釜、第二酯化反应釜、第一预缩聚反应釜、第二预缩聚反应釜、第一齿轮泵、终缩聚反应釜、第二齿轮泵、地面、墙体等。可以将这些巡检目标划分为多个子任务。例如，第一子任务的巡检目标包括进料设备、催化剂添加设备、浆料配置设备、螺杆泵、第一酯化反应釜、第二酯化反应釜，以及这些设备之间的管道、所在位置的地面、墙体等。第二子任务的巡检目标包括第一预缩聚反应釜、第二预缩聚反应釜、第一齿轮泵、终缩聚反应釜、第二齿轮泵，以及这些设备之间的管道、所在位置的地面、墙体等。

再如，丝锭生产厂房的巡检目标可以包括：熔体输送管道、增压泵、冷却器、纺丝箱体、计量泵、纺丝车间供电线路、卷绕机、落筒机、外检设备、包装设备、地面、墙体等。可以将这些巡检目标划分为多个子任务。例如，第一子任务的巡检目标包括熔体输送管道、增压泵、冷却器、纺丝箱体、计量泵、纺丝车间供电线路、纺丝箱体所在位置的地面、墙体等。第二子任务的巡检目标包括卷绕机、落筒机、外检设备、包装设备、卷绕机所在位置的地面、墙体等。

在本公开实施例中，AR设备还可以指引巡检人员的巡检步骤。例如，在巡检人员在聚酯厂房巡检多条管道时，可以指示巡检人员按照特定的顺序进行巡检。如先从下而上巡检管道1，再从管道1和管道2的接口自左到右巡检管道2，最后从管道2和管道3的接口自上而下巡检管道3。此时AR设备可以按照上述顺序依次生成导向箭头或导向路线的指示图像，指引巡检人员巡检。

在本公开实施例中，在一些人员难以巡检的位置例如大型反应釜的外壳边缘、很多管道盘布的设备间，巡检人员可以使用AR设备的摄像头采集图像信息。如果采集的图像不够清晰，AR设备可以提示巡检人员调整图像采集方式例如切换角度、打开灯光、调整焦距等，然后重新采集。AR设备还可以支持语音输入命令，例如巡检人员在无法触摸输入命令时，可以说“拍照记录”、“打开灯光”、“开启摄像”等语音指令，AR设备接收到语音指令后自动执行相应功能。

在本公开实施例中，巡检人员使用AR设备对某一巡检区域例如聚酯厂房巡检完成后，可以通过触摸或语音等形式输入该厂房的化工生产设备、仪器、仪表、管道、地面等状态参数。AR设备可以根据输入的参数生成巡检存档表，也可以将输入的参数发送至服务器生成巡检存档表。例如，一种巡检存档表的示例可以参见表1。

表1 聚酯车间巡检表

一种基于增强现实的化工生产环境的巡检流程示例如图9所示，该巡检流程示例可以包括：

S1：AR设备显示第一级巡检任务列表或巡检任务清单。

S2：巡检人员选择第一级巡检任务。

S3：AR设备根据选择的第一级巡检任务生成对应的第一级巡检路线，并指引巡检人员到达第一级巡检任务所包括的巡检区域。

S4：AR设备显示该巡检区域对应的第二级巡检任务的巡检任务列表或巡检任务清单。巡检人员选择第二级巡检任务中的子任务。

S5：AR设备生成该子任务中的一个巡检目标对应的第二级巡检路线，并指引巡检人员到达该巡检目标所在位置。

S6：巡检人员对当前巡检目标进行巡检（使用AR设备进行巡检或人工巡检）。巡检完成后，AR设备可以判断当前的子任务的巡检目标是否全部巡检完成。如果否，执行S7；如果是，则执行S8。

S7：AR设备显示该子任务中的下一个巡检目标，生成该下一巡检目标对应的第二级巡检路线，并指引人员到达该下一个巡检目标所在位置，返回执行S6。

S8：AR设备与同级任务的其他AR设备进行侧行通信，共享任务情况。如果有新的子任务或新的巡检目标则执行S5；如果没有新的子任务或新的巡检目标，则结束巡检。

图10是根据本公开一实施例的基于增强现实的化工生产环境的巡检装置的示意性框图。该巡检设备的控制装置可以包括：

显示模块901，用于以增强现实的方式显示第一级巡检任务，该第一级巡检任务中包括化工生产环境中的一个或多个巡检区域；在一个巡检区域的覆盖范围内，以增强现实的方式显示该巡检区域对应的第二级巡检任务，该第二级巡检任务中包括需要巡检的一个或多个巡检目标；

采集模块902，用于采集该第二级巡检任务中的巡检目标的状态信息；

确定模块903，用于根据该巡检目标的状态信息，确定该巡检目标是否正常。

图11是根据本公开另一实施例的基于增强现实的化工生产环境的巡检装置的示意性框图。该装置可以包括上述巡检装置的一个或多个特征。在一种实施方式中，该巡检设备还包括：

区域选择模块904，用于响应于巡检区域选择命令，获取所选择的巡检区域的巡检顺序和/或巡检路线；

该显示模块901还用于根据巡检区域的巡检顺序和/或巡检路线，以增强现实的方式显示所选择的巡检区域的指示图像。

在一种实施方式中，该显示模块901还用于根据一个或多个巡检目标的巡检顺序和/或巡检路线，以增强现实的方式显示该一个或多个巡检目标的指示图像。

在一种实施方式中，该巡检设备还包括：

该显示模块901还用于以增强现实的方式显示第二级巡检任务的多个子任务，一个子任务中包括该第二级巡检任务中的部分巡检目标；

子任务选择模块905，用于响应于子任务选择命令，获取所选择的子任务中的一个或多个巡检目标。

在一种实施方式中，该确定模块903还包括：

输入子模块1001，用于将该巡检目标的状态信息输入第一识别模型，得到第一识别结果；

在一种实施方式中，该确定模块903还包括：

显示子模块1002，用于在该第一识别结果为正常的情况下，以增强现实的方式显示需要巡检的下一个巡检目标的指示图像。

在一种实施方式中，该确定模块903还包括：

发送子模块1003，用于在该第一识别结果存在异常的情况下，将该巡检目标的状态信息发送至服务器，该服务器中设置有第二识别模型，该第二识别模型用于对该巡检目标的状态信息进行识别得到第二识别结果；

接收子模块1004，用于接收该服务器反馈的第二识别结果；

获取子模块1005，用于根据该第一识别结果和该第二识别结果，得到该巡检目标的状态信息的最终识别结果。

在一种实施方式中，该第一识别模型为基于该化工生产环境中的巡检目标样本训练得到的模型，该第二识别模型为计算机视觉大模型。

在一种实施方式中，该巡检设备还包括：

第一侧行通信模块906，用于在对一个第二级巡检任务中的一个子任务巡检完成的情况下，通过侧行链路向执行该第二级巡检任务中的其他子任务的其他设备发送请求信息，该请求信息用于请求对该第二级巡检任务中未巡检的目标重新分配；

获取模块907，用于获取该未巡检的目标对应的新任务，该新任务包括为该增强现实设备重新分配的新巡检目标；

该显示模块901还用于根据该新巡检目标的巡检顺序和/或巡检路线，以增强现实的方式显示该新巡检目标的指示图像。

在一种实施方式中，该巡检设备还包括：

第二侧行通信模块908，还用于在巡检发现异常状态的情况下，通过侧行链路向其他设备发送求助信息；该异常状态包括设备异常、人员异常、环境异常的至少之一。

在一种实施方式中，该巡检设备还包括：

保存模块909，用于保存该第一级巡检任务和/或该第二级巡检任务中的权限信息；

发送模块910，用于向鉴权范围内的鉴权设备发送权限信息，由该鉴权设备对该权限信息进行鉴权得到鉴权结果。

在一种实施方式中，该巡检设备还包括：

调整模块911，用于在收到紧急巡检任务的情况下，根据紧急巡检任务中的巡检目标调整该增强现实设备的巡检目标的优先级。

在一种实施方式中，该紧急巡检任务是基于实验室对化工产品进行检测的异常结果生成的，该巡检设备还包括：

上传模块912，用于使用实验室的增强现实设备对化工产品进行检测，将检测结果上传服务器；该服务器用于在检测结果异常的情况下对该化工产品涉及的巡检目标进行溯源，并向该化工产品涉及的巡检目标关联的一个或多个增强现实设备发送紧急巡检任务。

在一种实施方式中，该巡检区域包括以下至少之一：聚酯厂房、切片厂房、丝锭生产厂房。

在一种实施方式中，该巡检目标包括以下至少之一：化工生产设备、仪器、仪表、管道、地面。

本公开实施例的装置的各模块、子模块的具体功能和示例的描述，可以参见上述方法实施例中对应步骤的相关描述，在此不再赘述。

图12为根据本公开一实施例的电子设备的结构框图。如图12所示，该电子设备包括：存储器1110和处理器1120，存储器1110内存储有可在处理器1120上运行的计算机程序。存储器1110和处理器1120的数量可以为一个或多个。存储器1110可以存储一个或多个计算机程序，当该一个或多个计算机程序被该电子设备执行时，使得该电子设备执行上述方法实施例提供的方法。该电子设备还可以包括：通信接口1130，用于与外界设备进行通信，进行数据交互传输。

如果存储器1110、处理器1120和通信接口1130独立实现，则存储器1110、处理器1120和通信接口1130可以通过总线相互连接并完成相互间的通信。该总线可以是工业标准体系结构(Industry Standard Architecture，ISA)总线、外部设备互连(PeripheralComponent Interconnect，PCI)总线或扩展工业标准体系结构(Extended IndustryStandard Architecture，EISA)总线等。该总线可以分为地址总线、数据总线、控制总线等。为便于表示，图12中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

可选的，在具体实现上，如果存储器1110、处理器1120及通信接口1130集成在一块芯片上，则存储器1110、处理器1120及通信接口1130可以通过内部接口完成相互间的通信。

应理解的是，上述处理器可以是中央处理器(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者是任何常规的处理器等。值得说明的是，处理器可以是支持进阶精简指令集机器(Advanced RISC Machines，ARM)架构的处理器。

进一步地，可选的，上述存储器可以包括只读存储器和随机存取存储器，还可以包括非易失性随机存取存储器。该存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以包括只读存储器(Read-OnlyMemory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以包括随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用。例如，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic Random Access Memory ，DRAM) 、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Date SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(EnhancedSDRAM，ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct RAMBUS RAM，DR RAM)。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意结合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机指令时，全部或部分地产生按照本公开实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络或其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如：同轴电缆、光纤、数据用户线(Digital Subscriber Line，DSL))或无线(例如：红外、蓝牙、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质，或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如：软盘、硬盘、磁带)、光介质(例如：数字通用光盘(Digital Versatile Disc，DVD))或半导体介质(例如：固态硬盘(Solid State Disk，SSD))等。值得注意的是，本公开提到的计算机可读存储介质可以为非易失性存储介质，换句话说，可以是非瞬时性存储介质。

本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。

在本公开实施例的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包括于本公开的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

在本公开实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B。本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。

在本公开实施例的描述中，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本公开实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。

以上所述仅为本公开的示例性实施例，并不用以限制本公开，凡在本公开的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本公开的保护范围之内。