基于特征点匹配的设备巡检方法、处理器及装置

技术领域

本申请涉及工业巡检领域，具体地，涉及一种基于特征点匹配的设备巡检方法、处理器及装置。

背景技术

在目前的工业环境中，机械设备需要按照固定周期进行巡检保养，以保证设备运转正常，降低磨损。由于设备巡检步骤较为复杂，对服务工程师现场巡检难以准确掌握现场的真实服务质量。目前主要通过服务工程师自评方式来对巡检完成度进行评估。

在服务工程师巡检过程中，难以准确掌握真实的巡检行为和服务质量，目前采用工程师自评的方式判断是否完成巡检。但这种方式完全依赖于工程师的自觉，无法定位工程师巡检行为，缺乏客观标准，难以准确掌握巡检现场环境。

发明内容

本申请的目的是提供一种可以利用工业巡检图片确定巡检图片中是否包含待巡检设备从而确定是否对设备进行的巡检的基于特征点匹配的设备巡检方法、处理器及装置。

为了实现上述目的，本申请提供一种基于特征点匹配的设备巡检方法，方法包括：

获取巡检过程中的巡检图片；

从参考帧集合中选取与巡检图片相似的图片，以构成候选参考帧集合；

确定与候选参考帧集合对应的地图点集；

确定巡检图片的巡检特征点，并将巡检特征点与地图点集进行匹配得到匹配点对，以确定地图点集中与巡检特征点匹配的目标地图点；

在确定地图点集中匹配的目标地图点的占比达到第一比例值的情况下，确定地图点集对应的候选参考帧为目标参考帧；

将目标参考帧对应的目标零部件确定为巡检图片包括的目标零部件。

在本申请的一个实施例中，从参考帧集合中选取与巡检图片相似的图片，以构成候选参考帧集合包括：将巡检图片输入视觉词袋模型，以使视觉词袋模型根据巡检图片从参考帧集合中选取与巡检图片相似的候选参考帧集合，其中，候选参考帧集合中包括多张候选参考帧。

在本申请的一个实施例中，确定巡检图片的巡检特征点，并将巡检特征点与地图点集进行匹配得到匹配点对，以确定地图点集中与巡检特征点匹配的目标地图点包括：确定巡检图片的巡检特征点，确定每张候选参考帧的第一参考特征点；将巡检特征点与每张候选参考帧的第一参考特征点进行匹配，以确定巡检图片与每张候选参考帧的第一匹配特征点对；根据第一匹配特征点对确定巡检图片的位姿；根据位姿将每张候选参考帧对应的地图点重投影至巡检图片，以确定巡检图片的内点数；在确定存在候选帧的地图点中内点数的占比达到第二比例值的情况下，确定候选参考帧对应的地图点为与巡检特征点匹配的目标地图点。

在本申请的一个实施例中，将巡检特征点与每张候选参考帧的第一参考特征点进行匹配，以确定巡检图片与每张候选参考帧的第一匹配特征点对包括：将巡检特征点与第一参考特征点输入视觉词袋模型的叶子节点；视觉词袋模型将同一个叶子节点中的巡检特征点与第一参考特征点依次进行比较，以确定巡检特征点与第一参考特征点之间的第一特征距离；将第一特征距离最小的特征点对确定为第一匹配特征点对。

在本申请的一个实施例中，根据位姿将每张候选帧对应的地图点重投影至巡检图片，确定巡检图片的内点数包括：根据位姿将每张候选参考帧对应的地图点重投影至巡检图片，以得到投影点；确定地图点对应的像素点，以得到投影点与地图点对应的像素点的误差距离；对位姿进行调整，以调节误差距离；在误差距离小于预设阈值的情况下，确定位姿为最终位姿；根据最终位姿将每张候选参考帧对应的地图点重投影至巡检图片，以确定巡检图片的内点数。

在本申请的一个实施例中，在获取巡检过程中的巡检图片之前，还包括：采集巡检过程所在的环境图片；提取环境图片的特征点，并通过视觉词袋模型生成与环境对应的词袋向量，并通过词袋向量对图片的特征点进行表征。

在本申请的一个实施例中，在获取巡检过程中的巡检图片之前，还包括：采集各个待识别零部件的零部件图片；并确定零部件图片的特征点中匹配的特征点对，以确定零部件图片对应的位姿以及地图点；调整零部件图片对应的位姿，以确定零部件图片的最优地图点；根据零部件图片的特征点与零部件图片的最优地图点确定零部件的参考帧以及零部件的地图点集。

在本申请的一个实施例中，采集各个待识别零部件的零部件图片，并确定零部件图片的特征点中匹配的特征点对，以确定零部件图片对应的位姿以及地图点包括：对零部件图片进行特征提取，得到零部件图片的特征点；针对任意两张相邻的零部件图片，对相邻的零部件图片的特征点进行匹配以确定第二匹配特征点对。

在本申请的一个实施例中，对相邻的零部件图片的特征点进行匹配以确定第二匹配特征点对包括：确定两张相邻的零部件图片中，分别属于不同的零部件图片中的任意两个特征点之间的第二特征距离；将第二特征距离最近的两个特征点组成的特征点对确定为第二匹配特征点对。

在本申请的一个实施例中，确定零部件图片对应的位姿以及地图点包括：根据第二匹配特征点对确定每张零部件图片的旋转矩阵和平移矩阵；根据旋转矩阵和平移矩阵确定每张零部件图片对应的位姿以及地图点。

在本申请的一个实施例中，调整零部件图片对应的位姿，以确定零部件图片的最优地图点包括：将地图点重投影至零部件图片中，以得到投影点；确定地图点对应的像素点，以得到投影点与地图点对应的像素点的误差距离；对位姿进行调整，以调节误差距离；在确定调整后的误差距离小于预设阈值的情况下，确定位姿为最优位姿以及确定地图点为最优地图点。

本申请第二方面提供了一种处理器，被配置成执行上述任意一项的基于特征点匹配的设备巡检方法。

本申请第三方面提供了一种基于特征点匹配的设备巡检装置，包括上述的处理器。

在上述技术方案中，通过实时获取巡检过程的巡检图片，对巡检图片进行特征点的采集与匹配，使得从准备好的参考帧集合中选取与巡检图片匹配的参考帧，并根据匹配的参考帧确定巡检图片中的包括的目标零部件，从而通过巡检图片确定巡检的零部件，以此保证巡检的完整性。

本申请实施例的其它特征和优点将在随后的具体实施方式部分予以详细说明。

附图说明

附图是用来提供对本发明的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本发明，但并不构成对本发明的限制。在附图中：

图1示意性示出了根据本申请一实施例的基于特征点匹配的设备巡检方法的流程示意图；

图2示意性示出了根据本申请实施例的计算机设备的内部结构图。

具体实施方式

以下结合附图对本申请的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本申请，并不用于限制本申请。

需要说明，若本申请实施例中有涉及方向性指示(诸如上、下、左、右、前、后……)，则该方向性指示仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。

另外，若本申请实施例中有涉及“第一”、“第二”等的描述，则该“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。另外，各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本申请要求的保护范围之内。

如图1示意性示出了根据本申请实施例的基于特征点匹配的设备巡检方法的流程示意图。如图1所示，在本申请一实施例中，提供了一种基于特征点匹配的设备巡检方法，包括以下步骤：

步骤101，获取巡检过程中的巡检图片。

步骤102，从参考帧集合中选取与巡检图片相似的图片，以构成候选参考帧集合。

处理器首先可以获取工业巡检过程中的巡检图片，工业巡检可以是指对工业现场环境进行巡逻检查，例如可以检查部件是否有问题，比如，工程机械的发动机是否处于正常工作状态。巡检图片可以通过工程师带上装有摄像头的安全帽对工业现场进行拍摄从而获得。例如，工程师可以通过装有摄像头的安全帽进行巡检以得到拍摄完成的工业巡检视频，并将工业巡检视频上传至处理器，再通过处理器对工业巡检视频进行处理从而获得巡检图片。

处理器在获得巡检图片后，可以将巡检图片与处理器存储的参考帧集合进行对比，从而从参考帧集合中选出与巡检图片相似的图片，并将选取出的相似图片构成候选参考帧集合。

在一个实施例中，从参考帧集合中选取与巡检图片相似的图片，以构成候选参考帧集合包括：将巡检图片输入视觉词袋模型，以使视觉词袋模型根据巡检图片从参考帧集合中选取与巡检图片相似的候选参考帧集合，其中，候选参考帧集合中包括多张候选参考帧。

视觉词袋模型可以根据参考帧集合中的图片的特征点确定参考帧集合中的此图片的各个视觉单词出现的频次，并形成此图片的视觉单词直方图来表示此图片。同理，处理器在获得工业巡检的巡检图片后，可以将巡检图片输入视觉词袋模型中，形成此巡检图片的视觉单词直方图来表示当前巡检图片，并利用两者的视觉单词直方图来计算参考帧集合中的图片与巡检图片的距离，其中距离可以是L1范数，L2范数等，利用计算的图片之间的距离并依据一定规则确定候选参考帧集合，其中，候选参考帧集合可以包括多张候选参考帧。

步骤103，确定与候选参考帧集合对应的地图点集。

步骤104，确定巡检图片的巡检特征点，并将巡检特征点与地图点集进行匹配得到匹配点对，以确定地图点集中与巡检特征点匹配的目标地图点。

处理器从参考帧集合中选取出候选参考帧集合后，可以确定候选参考帧集合对应的地图点集，处理器可以确定每一张候选参考帧的地图点。处理器可以对巡检图片的巡检特征点进行确定，并将确定的巡检图片的巡检特征点与候选参考帧集合对应的地图点集进行匹配，从而获得匹配点对。根据获得的匹配点对，确定候选参考帧对应的地图点集中与巡检特征点匹配的目标地图点。

在一个实施例中，确定巡检图片的巡检特征点，并将巡检特征点与地图点集进行匹配得到匹配点对，以确定地图点集中与巡检特征点匹配的目标地图点包括：确定巡检图片的巡检特征点，确定每张候选参考帧的第一参考特征点；将巡检特征点与每张候选参考帧的第一参考特征点进行匹配，以确定巡检图片与每张候选参考帧的第一匹配特征点对；根据第一匹配特征点对确定巡检图片的位姿；根据位姿将每张候选参考帧对应的地图点重投影至巡检图片，以确定巡检图片的内点数；在确定存在候选帧的地图点中内点数的占比达到第二比例值的情况下，确定候选参考帧对应的地图点为与巡检特征点匹配的目标地图点。

处理器可以确定巡检图片的巡检特征点，并且确定每张候选参考帧的第一参考特征点。处理器获得需要进行对比的图片的特征点后，可以将巡检图片的巡检特征点与每一张候选参考帧的第一参考特征点进行匹配，从而确定巡检图片与每张候选参考帧之间的第一匹配点对。处理器可以根据每一张候选参考帧与巡检图片之间的第一匹配点对确定巡检图片的位姿。处理器可以根据获得的巡检图片的位姿将每张候选参考帧对应的地图点重投影至巡检图片中，以确定巡检图片中与每张候选参考帧对应的内点数，并确定内点数的占比，当确定存在有候选参考帧的地图点重投影至巡检图片中时，获得的内点数的占比达到第二比例值的情况下，确定进行重投影的该候选参考帧对应的地图点为与巡检图片的巡检特征点匹配的目标地图点。

在一个实施例中，将巡检特征点与每张候选参考帧的第一参考特征点进行匹配，以确定巡检图片与每张候选参考帧的第一匹配特征点对包括：将巡检特征点与第一参考特征点输入视觉词袋模型的叶子节点；视觉词袋模型将同一个叶子节点中的巡检特征点与第一参考特征点依次进行比较，以确定巡检特征点与第一参考特征点之间的第一特征距离；将第一特征距离最小的特征点对确定为第一匹配特征点对。

处理器可以将巡检图片的巡检特征点与每张候选参考帧的第一参考特征点输入视觉词袋模型的叶子节点，视觉词袋模型在接收到巡检特征点与第一参考特征点后，将同一个叶子节点中的巡检图片的巡检特征点与候选参考帧的第一参考特征点进行比较，从而确定巡检特征点与第一参考特征点之间的第一特征距离。其中，第一特征距离可以是巡检特征点与第一参考特征点之间的汉明距离，处理器可以将第一特征距离也就是汉明距离最小的巡检特征点与第一参考特征点确定为匹配的第一匹配特征点对。

在一个实施例中，根据位姿将每张候选帧对应的地图点重投影至巡检图片，确定巡检图片的内点数包括：根据位姿将每张候选参考帧对应的地图点重投影至巡检图片，以得到投影点；确定地图点对应的像素点，以得到投影点与地图点对应的像素点的误差距离；对位姿进行调整；在误差距离小于预设阈值的情况下，确定位姿为最终位姿；根据最终位姿将每张候选帧对应的地图点重投影至巡检图片，以确定巡检图片的内点数。

处理器根据确定的巡检特征点与第一参考特征点的第一匹配特征点对，可以确定巡检图片的位姿，根据确定的巡检图片的位姿，处理器可以将每张候选参考帧对应的地图点重投影至巡检图片，以得到地图点在巡检图片上的投影点，同时确定与候选参考帧对应的像素点。将投影点与像素点进行比较从而确定投影点与像素点之间的误差距离。处理器可以对位姿进行调整，从而对误差距离进行调整，当投影点与像素点之间的误差距离小于处理器设置的预设阈值的情况下，处理器可以将此时的位姿确定为与每张候选参考帧对应的最终位姿。并将误差距离小于处理器设置的预设阈值的投影点确定为内点，并根据确定的最终位姿将每张候选参考帧对应的地图点再一次重投影至巡检图片，以此确定巡检图片的内点数。

在一个实施例中，确定巡检图片的巡检特征点，确定每张候选参考帧的第一参考特征点；将巡检特征点与第一参考特征点输入视觉词袋模型的叶子节点；视觉词袋模型将同一个叶子节点中的巡检特征点与第一参考特征点依次进行比较，以确定巡检特征点与第一参考特征点之间的第一特征距离；将第一特征距离最小的特征点对确定为第一匹配特征点对；根据第一匹配特征点对确定巡检图片的位姿；根据位姿将每张候选参考帧对应的地图点重投影至巡检图片，以得到投影点；确定地图点对应的像素点，以得到投影点与地图点对应的像素点的误差距离；对位姿进行调整，以调节误差距离；在误差距离小于预设阈值的情况下，确定位姿为最终位姿；根据最终位姿将每张候选参考帧对应的地图点重投影至巡检图片，以确定巡检图片的内点数；在确定存在候选帧的地图点中内点数的占比达到第二比例值的情况下，确定候选参考帧对应的地图点为与巡检特征点匹配的目标地图点。

处理器可以确定巡检图片的巡检特征点，并且确定每张候选参考帧的第一参考特征点。处理器获得需要进行对比的图片的特征点后，可以将巡检图片的巡检特征点与每一张候选参考帧的第一参考特征点进行匹配，处理器可以将巡检图片的巡检特征点与每张候选参考帧的第一参考特征点输入视觉词袋模型的叶子节点，视觉词袋模型在接收到巡检特征点与第一参考特征点后，将同一个叶子节点中的巡检图片的巡检特征点与候选参考帧的第一参考特征点进行比较，从而确定巡检特征点与第一参考特征点之间的第一特征距离，其中，第一特征距离可以是巡检特征点与第一参考特征点之间的汉明距离，处理器可以将第一特征距离也就是汉明距离最小的巡检特征点与第一参考特征点确定为匹配的第一匹配特征点对。处理器可以根据每一张候选参考帧与巡检图片之间的第一匹配点对确定巡检图片的位姿。确定巡检图片的位姿后，处理器可以根据确定的巡检图片的位姿将每张候选参考帧对应的地图点重投影至巡检图片，以得到地图点在巡检图片上的投影点，同时确定与候选参考帧对应的像素点。将投影点与像素点进行比较从而确定投影点与像素点之间的误差距离。处理器可以对位姿进行调整，从而对误差距离进行调整，当投影点与像素点之间的误差距离小于处理器设置的预设阈值的情况下，处理器可以将此时的位姿确定为与每张候选参考帧对应的最终位姿。并根据确定的最终位姿将每张候选参考帧对应的地图点再一次重投影至巡检图片，以此确定巡检图片的内点数，并确定内点数的占比，当确定存在有候选参考帧的地图点重投影至巡检图片中时，获得的内点数的占比达到第二比例值的情况下，确定进行重投影的该候选参考帧对应的地图点为与巡检图片的巡检特征点匹配的目标地图点。

步骤105，在确定地图点集中匹配的目标地图点的占比达到第一比例值的情况下，确定地图点集对应的候选参考帧为目标参考帧。

步骤106，将目标参考帧对应的目标零部件确定为巡检图片包括的目标零部件。

处理器确定了为与巡检图片的巡检特征点匹配的目标地图点后，处理器可以确定目标地图点在地图点集的占比，当目标地图点在地图点集的占比达到处理器设置的第一比例值的情况下，处理器可以确定拥有第一比例值目标地图点的地图点集对应的候选参考帧为目标参考帧。处理器可以根据确定的目标参考帧确定与目标参考帧对应的目标零部件，并将目标参考帧对应的零部件确定为巡检图片包括的目标零部件。

在一个实施例中，在获取巡检过程中的巡检图片之前，还包括：采集巡检过程所在的环境图片；提取环境图片的特征点，并通过视觉词袋模型生成与环境对应的词袋向量，并通过词袋向量对图片的特征点进行表征。

在进行巡检过程前，处理器还需要完成准备工作。处理器可以采集巡检过程所在的环境图片，提取环境图片的特征点，并将环境图片特征点通过视觉词袋模型生成与环境对应的词袋向量。通过确定的词袋向量确定聚类中心，并通过聚类中心对每张图通过特征进行表征，以确定图片的特征点。

在一个实施例中，在获取巡检过程中的巡检图片之前，还包括：采集各个待识别零部件的零部件图片；并确定零部件图片的特征点中匹配的特征点对，以确定零部件图片对应的位姿以及地图点；调整零部件图片对应的位姿，以确定零部件图片的最优地图点；根据零部件图片的特征点与零部件图片的最优地图点确定零部件的参考帧以及零部件的地图点集。

处理器可以采集工业巡检中待巡检的各个零部件的图片，并针对获取的各个零部件图片的特征点进行确定，并对特征点对进行匹配以确定匹配的特征点对，从而根据匹配的特征点对确定零部件图片对应的位姿以及地图点。调整零部件图片对应的位姿，从而确定零部件图片的最优地图点。根据处理器获得的零部件图片的特征点与确定的零部件的最优地图点确定零部件的参考帧以及零部件的地图点集。

在一个实施例中，采集各个待识别零部件的零部件图片，并确定零部件图片的特征点中匹配的特征点对，以确定零部件图片对应的位姿以及地图点包括：对零部件图片进行特征提取，得到零部件图片的特征点；针对任意两张相邻的零部件图片，对相邻的零部件图片的特征点进行匹配以确定第二匹配特征点对。

处理器在采集了各个待识别的零部件的零部件图片后，需要对零部件图片的特征点以及匹配的特征点对进行确定，并根据匹配的特征点对确定零部件图片对应的位姿以及地图点。处理器首先可以针对零部件图片进行特征提取，从而确定每张零部件图片的特征点。针对同一个零部件的任意两张相邻的零部件图片，对于相邻的零部件图片的特征点进行匹配，从而确定第二匹配特征点对。

在一个实施例中，对相邻的零部件图片的特征点进行匹配以确定第二匹配特征点对包括：确定两张相邻的零部件图片中，分别属于不同的零部件图片中的任意两个特征点之间的第二特征距离；将第二特征距离最近的两个特征点组成的特征点对确定为第二匹配特征点对。

处理器通过对零部件图片的特征点进行提取后，确定针对相同零部件的两张相邻零部件图片中特征点之间的第二特征距离。例如，确定针对零部件A的两张相邻的零部件图片A1与A2，同时确定零部件图片A1与零部件图片A2上的特征点，将零部件图片A1上的特征点与零部件图片A2上的特征点进行匹配，从而确定任意两个特征点之间的第二特征距离，其中，这两个特征点分别来自零部件图片A1与零部件图片A2。确定了分别属于不同的零部件图片中的任意两个特征点之间的第二特征距离后，处理器可以选取特征距离最近的两个特征点，并将第二特征距离最近的两个特征点组成的特征点对确定为第二匹配特征点对。

在一个实施例中，确定零部件图片对应的位姿以及地图点包括：根据第二匹配特征点对确定每张零部件图片的旋转矩阵和平移矩阵；根据旋转矩阵和平移矩阵确定每张零部件图片对应的位姿以及地图点。

处理器在确定了两张相邻的零部件图片的第二特征距离并确定了第二匹配特征点后，可以根据第二匹配特征点确定每张零部件图片的旋转矩阵和平移矩阵。根据旋转矩阵和平移矩阵确定每张零部件图片对应的位姿和地图点。

在一个实施例中，调整零部件图片对应的位姿，以确定零部件图片的最优地图点包括：将地图点重投影至零部件图片中，以得到投影点；确定地图点对应的像素点，以得到投影点与地图点对应的像素点的误差距离；对位姿进行调整，以调节误差距离；在确定调整后的误差距离小于预设阈值的情况下，确定位姿以及确定地图点为最优地图点。

处理器在根据第二匹配特征点对确定了每张零部件图片对应的位姿以及地图点以后，根据位姿将地图点重投影至零部件图片中，从而得到投影点，确定与地图点对应的像素点，将像素点与投影点进行对比，确定投影点与像素点之间的误差距离，并对位姿进行调整，从而对投影点与像素点之间的误差距离进行调整。将误差距离调整到小于处理器设置的预设阈值时，处理器可以确定调整后的位姿并将调整后的位姿确定为最优位姿，并将调整后得到的地图点确定为最优地图点。

在一个实施例中，在获取巡检过程中的巡检图片之前，还包括：采集巡检过程所在的环境图片；提取环境图片的特征点，并通过视觉词袋模型生成与环境对应的词袋向量，并通过词袋向量对图片的特征点进行表征。采集各个待识别零部件的零部件图片；对零部件图片进行特征提取，得到零部件图片的特征点；针对任意两张相邻的零部件图片，确定两张相邻的零部件图片中，分别属于不同的零部件图片中的任意两个特征点之间的第二特征距离；将第二特征距离最近的两个特征点组成的特征点对确定为第二匹配特征点对；根据第二匹配特征点对确定每张零部件图片的旋转矩阵和平移矩阵；根据旋转矩阵和平移矩阵确定每张零部件图片对应的位姿以及地图点；将地图点重投影至零部件图片中，以得到投影点；确定地图点对应的像素点，以得到投影点与地图点对应的像素点的误差距离；对位姿进行调整，以调节误差距离；在确定调整后的误差距离小于预设阈值的情况下，确定位姿为最优位姿以及确定地图点为最优地图点。根据零部件图片的特征点与零部件图片的最优地图点确定零部件的参考帧以及零部件的地图点集。

在进行巡检过程前，处理器还需要完成准备工作。处理器可以采集巡检过程所在的环境图片，提取环境图片的特征点，并将环境图片特征点通过视觉词袋模型生成与环境对应的词袋向量。通过确定的词袋向量确定聚类中心，并通过聚类中心对每张图通过特征向量进行表征。处理器可以采集工业巡检中待巡检的各个零部件的图片，并针对获取的各个零部件图片的特征点进行确定，针对同一个零部件的任意两张相邻的零部件图片，将相邻的零部件图片的特征点进行匹配，处理器可以确定两张相邻图片的特征点之间的第二特征距离，并将第二特征距离最近的两个特征点组成的特征点对确定为第二匹配特征点对。处理器在确定了两张相邻的零部件图片的第二特征距离并确定了第二匹配特征点后，可以根据第二匹配特征点确定每张零部件图片的旋转矩阵和平移矩阵。根据旋转矩阵和平移矩阵确定每张零部件图片对应的位姿和地图点。处理器在根据第二匹配特征点对确定了每张零部件图片对应的位姿以及地图点以后，根据位姿将地图点重投影至零部件图片中，从而得到投影点，确定与地图点对应的像素点，将像素点与投影点进行对比，确定投影点与像素点之间的误差距离，并对位姿进行调整，从而对投影点与像素点之间的误差距离进行调整。将误差距离调整到小于处理器设置的预设阈值时，处理器可以确定调整后的位姿并将调整后的位姿确定为最优位姿，并将调整后得到的地图点确定为最优地图点。处理器可以根据零部件图片的特征点以及确定的零部件图片的最优地图点确定零部件的参考帧以及零部件的地图点集。通过确定的零部件的参考帧可以得到参考帧集合，作为巡检阶段的参考基础。

在一个实施例中，提供了一种处理器，被配置成执行根据上述的基于特征点匹配的设备巡检方法。

在上述技术方案中，先通过采集待巡检的环境图片以及待巡检的零部件图片，根据采集的零部件图片建立零部件的参考帧以及地图点集，并确定视觉词典模型以确定图片的特征点。在完成准备阶段后，通过实时获取巡检过程的巡检图片，对巡检图片进行特征点的采集与匹配，使得从准备好的参考帧集合中选取与巡检图片匹配的参考帧，并根据匹配的参考帧确定巡检图片中的包括的目标零部件，从而通过巡检图片确定巡检的零部件，以此保证巡检的完整性。

在一个实施例中，提供了一种基于特征点匹配的设备巡检装置，包括上述的处理器。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来实现基于特征点匹配的设备巡检方法。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

在一个实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图2所示。该计算机设备包括通过系统总线连接的处理器A01、网络接口A02、存储器(图中未示出)和数据库(图中未示出)。其中，该计算机设备的处理器A01用于提供计算和控制能力。该计算机设备的存储器包括内存储器A03和非易失性存储介质A04。该非易失性存储介质A04存储有操作系统B01、计算机程序B02和数据库(图中未示出)。该内存储器A03为非易失性存储介质A04中的操作系统B01和计算机程序B02的运行提供环境。该计算机设备的数据库用于存储图像采集设备采集的待巡检的现场图像和零部件图像的数据。该计算机设备的网络接口A02用于与外部的终端通过网络连接通信。该计算机程序B02被处理器A01执行时以实现一种基于特征点匹配的设备巡检方法。

图1为一个实施例中基于特征点匹配的设备巡检方法的流程示意图。应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

本发明实施例提供了一种设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：获取巡检过程中的巡检图片；从参考帧集合中选取与巡检图片相似的图片，以构成候选参考帧集合；确定与候选参考帧集合对应的地图点集；确定巡检图片的巡检特征点，并将巡检特征点与地图点集进行匹配得到匹配点对，以确定地图点集中与巡检特征点匹配的目标地图点；在确定地图点集中匹配的目标地图点的占比达到第一比例值的情况下，确定地图点集对应的候选参考帧为目标参考帧；将目标参考帧对应的目标零部件确定为巡检图片包括的目标零部件。

在一个实施例中，从参考帧集合中选取与巡检图片相似的图片，以构成候选参考帧集合包括：将巡检图片输入视觉词袋模型，以使视觉词袋模型根据巡检图片从参考帧集合中选取与巡检图片相似的候选参考帧集合，其中，候选参考帧集合中包括多张候选参考帧。

在一个实施例中，确定巡检图片的巡检特征点，并将巡检特征点与地图点集进行匹配得到匹配点对，以确定地图点集中与巡检特征点匹配的目标地图点包括：确定巡检图片的巡检特征点，确定每张候选参考帧的第一参考特征点；将巡检特征点与每张候选参考帧的第一参考特征点进行匹配，以确定巡检图片与每张候选参考帧的第一匹配特征点对；根据第一匹配特征点对确定巡检图片的位姿；根据位姿将每张候选参考帧对应的地图点重投影至巡检图片，以确定巡检图片的内点数；在确定存在候选帧的地图点中内点数的占比达到第二比例值的情况下，确定候选参考帧对应的地图点为与巡检特征点匹配的目标地图点。

在一个实施例中，将巡检特征点与每张候选参考帧的第一参考特征点进行匹配，以确定巡检图片与每张候选参考帧的第一匹配特征点对包括：将巡检特征点与第一参考特征点输入视觉词袋模型的叶子节点；视觉词袋模型将同一个叶子节点中的巡检特征点与第一参考特征点依次进行比较，以确定巡检特征点与第一参考特征点之间的第一特征距离；将第一特征距离最小的特征点对确定为第一匹配特征点对。

在一个实施例中，根据位姿将每张候选帧对应的地图点重投影至巡检图片，确定巡检图片的内点数包括：根据位姿将每张候选参考帧对应的地图点重投影至巡检图片，以得到投影点；确定地图点对应的像素点，以得到投影点与地图点对应的像素点的误差距离；对位姿进行调整，以调节误差距离；在误差距离小于预设阈值的情况下，确定位姿为最终位姿；根据最终位姿将每张候选参考帧对应的地图点重投影至巡检图片，以确定巡检图片的内点数。

在一个实施例中，在获取巡检过程中的巡检图片之前，还包括：采集巡检过程所在的环境图片；提取环境图片的特征点，并通过视觉词袋模型生成与环境对应的词袋向量，并通过词袋向量对图片的特征点进行表征。

在一个实施例中，在获取巡检过程中的巡检图片之前，还包括：采集各个待识别零部件的零部件图片；并确定零部件图片的特征点中匹配的特征点对，以确定零部件图片对应的位姿以及地图点；调整零部件图片对应的位姿，以确定零部件图片的最优地图点；根据零部件图片的特征点与零部件图片的最优地图点确定零部件的参考帧以及零部件的地图点集。

在一个实施例中，采集各个待识别零部件的零部件图片，并确定零部件图片的特征点中匹配的特征点对，以确定零部件图片对应的位姿以及地图点包括：对零部件图片进行特征提取，得到零部件图片的特征点；针对任意两张相邻的零部件图片，对相邻的零部件图片的特征点进行匹配以确定第二匹配特征点对。

在一个实施例中，对相邻的零部件图片的特征点进行匹配以确定第二匹配特征点对包括：确定两张相邻的零部件图片中，分别属于不同的零部件图片中的任意两个特征点之间的第二特征距离；将第二特征距离最近的两个特征点组成的特征点对确定为第二匹配特征点对。

在一个实施例中，确定零部件图片对应的位姿以及地图点包括：根据第二匹配特征点对确定每张零部件图片的旋转矩阵和平移矩阵；根据旋转矩阵和平移矩阵确定每张零部件图片对应的位姿以及地图点。

在一个实施例中，调整零部件图片对应的位姿，以确定零部件图片的最优地图点包括：将地图点重投影至零部件图片中，以得到投影点；确定地图点对应的像素点，以得到投影点与地图点对应的像素点的误差距离；对位姿进行调整，以调节误差距离；在确定调整后的误差距离小于预设阈值的情况下，确定位姿为最优位姿以及确定地图点为最优地图点。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。