一种螺栓松动检测方法、装置、设备及存储介质

技术领域

本发明实施例涉及缺陷检测技术，尤其涉及一种螺栓松动检测方法、装置、设备及存储介质。

背景技术

螺栓连接节点是最常用的钢结构构件连接方式之一，螺栓在服役过程中由于温度波动、反复荷载和振动等多因素影响会造成螺栓连接松动从而威胁到整个结构的安全性和稳定性，因此对螺栓的松动检测具有重要意义。

传统螺栓连接的松动通过接触式传感器的方法来监测的，例如基于声学的方法、压电主动传感方法和基于阻抗的方法，此方法需要高精度仪器并结合内置算法来补偿环境变化影响，无论从经济角度还是部署角度都难以普及。近年来，基于计算机视觉的结构健康检测方法受到了学术界和工业界的广泛关注，现有的钢结构螺栓松动检测方法主要包括：通过基于机器学习分类器对所检测到的螺栓进行分类，并将因螺栓旋转引起的螺纹暴露的模式判别为螺栓松动，或者通过图像处理的方式直接在原始图像检测螺栓边缘直线，再通过比较角度的差异判断松动。

检测螺纹判断螺栓松动的方法无法有效检测出螺栓的小角度松动，且螺纹暴露模式图像样本难以获取，训练样本不够充分；现有的通过判断螺栓边缘直线角度的变化检测松动的方法无法自动进行图像畸变校正，且直接在原始图像使用图像处理的方式检测螺栓边缘直线准确率低、鲁棒性差。

发明内容

本发明提供一种螺栓松动检测方法、装置、设备及存储介质，以实现提高检测模型精度，排除待测图像背景干扰，提高检测结果准确度的效果。

第一方面，本发明实施例提供了一种螺栓松动检测方法，包括：

获取待检测螺栓对应的待检测图像；

采用第一预设模型识别所述待检测图像中的螺栓连接节点板作为第一感兴趣区域图像；

基于第二预设模型识别所述第一感兴趣区域图中的螺栓，得到螺栓位置信息；

基于所述螺栓位置信息和参考图像，采用透视变换对所述第一感兴趣区域图像进行校正得到校正图像；

基于所述第二预设模型识别所述校正图像中的螺栓区域作为第二感兴趣区域图像；

基于第三预设模型获取所述第二感兴趣区域图像中的螺栓检测角度；

基于预设参考图像中的螺栓预设角度与所述螺栓检测角度，确认所述待检测螺栓的螺栓松动检测结果。

可选的，所述采用第一预设模型识别所述待检测图像中的螺栓连接节点板作为感兴趣区域图像包括：

采用第一预设模型识别所述待检测图像中的螺栓连接节点板；

获取所述螺栓连接节点板的位置信息，所述螺栓连接节点板的位置信息为具有坐标信息的检测区域框；

将所述检测区域框按预设百分比扩大范围后截取的图像作为第一感兴趣区域图像。

可选的，所述基于所述螺栓位置信息和参考图像，采用透视变换对所述第一感兴趣区域图像进行校正得到校正图像包括：

基于预设螺栓的位置信息获取检测参考点，获取所述参考图像中的基准参考点；

根据所述基准参考点和所述检测参考点计算透视变换矩阵；

根据所述透视变换矩阵对所述第一感兴趣区域图像进行校正得到校正图像。

可选的，所述基于所述第二预设模型识别所述校正图像中的螺栓作为第二感兴趣区域图像包括：

采用第二预设模型识别所述校正图像中的螺栓；

获取所述螺栓的位置信息，所述螺栓的位置信息为具有坐标信息的检测区域框；

将所述检测区域框按预设百分比扩大范围后截取的图像作为第二感兴趣区域图像。

可选的，所述基于第三预设模型获取所述校第二感兴趣区域图像中的螺栓检测角度，包括：

基于第三预设模型对所述第二感兴趣区域图像进行图像分割，得到每一个螺栓对应的分割图像；

基于每个螺栓的分割图像检测每个螺栓的边缘信息；

基于所述边缘信息提取边缘直线；

基于所述边缘直线和建立的坐标系获取每一个螺栓检测框图像中的螺栓检测角度。

可选的，所述基于预设参考图像中的螺栓预设角度与所述螺栓检测角度，确认所述待检测螺栓的螺栓松动检测结果，包括：

计算所述螺栓检测角度与所述螺栓预设角度差值的绝对值；

判断所述差值的绝对值与第一阈值的大小关系；

若所述差值的绝对值小于等于所述第一阈值，则判断该螺栓未松动；

若所述差值的绝对值大于所述第一阈值，则判断该螺栓发生松动，并在所述校正图像对应位置进行标记，得到螺栓松动检测结果图。

可选的，基于第二预设模型提取标准图像的基准参考点，基于第三预设模型提取标准图像的螺栓预设角度，保存并形成参考图像信息。

可选的，所述第一预设模型、所述第二预设模型和所述第三预设模型均为深度学习模型，其中第一预设模型和第二预设模型为目标检测模型，第三预设模型为图像分割模型。

第二方面，本发明实施例还提供了一种螺栓松动检测装置，包括：

图像获取模块，用于获取待检测螺栓对应的待检测图像；

图像提取模块，用于采用第一预设模型识别所述待检测图像中的螺栓连接节点板作为第一感兴趣区域图像；

第一位置获取模块，用于基于第二预设模型识别所述第一感兴趣区域图中的螺栓，得到螺栓位置信息；

图像校正模块，用于基于所述螺栓位置信息和参考图像，采用透视变换对所述第一感兴趣区域图像进行校正得到校正图像；

螺栓区域提取模块，用于基于所述第二预设模型识别所述校正图像中的螺栓区域作为第二感兴趣区域图像；

螺栓角度获取模块，用于基于第三预设模型获取所述在第二感兴趣区域图像中的螺栓检测角度；

螺栓松动判断模块，用于基于预设参考图像中的螺栓预设角度与所述螺栓检测角度，确认所述待检测螺栓的螺栓松动检测结果。

第三方面，本发明实施例还提供了一种螺栓松动检测设备，所述设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面中任一所述的螺栓松动检测方法。

第二方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如第一方面中任一所述的螺栓松动检测方法。

本发明实施例通过第一预设模型识别螺栓连接节点板作为第一感兴趣区域，采用第二预设模型检测螺栓位置信息，并基于螺栓位置信息确定透视变换参考点，再对感兴趣区域图像进行校正，过第二预设模型识别螺栓连接节点板作为第二感兴趣区域，基于第三预设模型识别第二感兴趣区域图像中的螺栓检测角度，通过与预设参考图像中的螺栓预设角度进行比对，从而确认待检测螺栓是否松动；解决螺栓存在小角度松动时无法准确识别问题，以及采集螺栓连接图像时包含背景信息，从而降低检测结果准确度的问题，实现排除待测图像背景干扰，提高螺栓检测精度；基于第三预设模型高鲁棒性地提取螺栓边缘信息，进而通过检测角度与预设角度的匹配准确判断螺栓是否存在松动的效果。

附图说明

图1A为本发明实施例一提供的一种螺栓松动检测方法的流程示意图；

图1B为本发明实施例一提供的一种螺栓松动检测方法中得到的螺栓位置信息的示意图；

图1C为本发明实施例一提供的一种螺栓松动检测方法中得到的另一个螺栓位置信息的示意图；

图1D为本发明实施例一提供的一种螺栓松动检测方法中得到的参考图像的示意图；

图1E为本发明实施例一提供的一种螺栓松动检测方法中得到的校正图像的示意图；

图2A为本发明实施例一提供的另一种螺栓松动检测方法的流程示意图；

图2B为本发明实施例一提供的另一种螺栓松动检测方法中得到的一种检测参考点图像的示意图；

图2C为本发明实施例一提供的另一种螺栓松动检测方法中得到的另一种检测参考点图像的示意图；

图2D为本发明实施例一提供的另一种螺栓松动检测方法中得到的螺栓分割图像的示意图；

图2E为本发明实施例一提供的另一种螺栓松动检测方法中得到的螺栓分割图像灰度图的示意图；

图2F为本发明实施例一提供的另一种螺栓松动检测方法中得到的螺栓边缘直线图像的示意图；

图2G为本发明实施例二提供的一种螺栓松动检测方法中的螺栓角度检测方法示意图的示意图；

图3为本发明实施例二提供的一种螺栓松动检测装置的结构示意图；

图4为本发明实施例三提供的一种螺栓松动检测设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

本实施例可适用于检测螺栓是否存在松动的情况，该方法可以由一种螺栓松动检测装置来执行，如图1A所示，具体包括如下步骤：

步骤110、获取待检测螺栓对应的待检测图像。

对需要进行检测的螺栓图像进行采集生成待检测图像，图像采集方式包括：人工采集、无人机巡检采集、检测机器人采集等多种方式；其中采集的图像范围完整包含螺栓连接板所在区域。

步骤120、采用第一预设模型识别待检测图像中的螺栓连接节点板作为第一感兴趣区域图像。

在进行螺栓松动检测前，需要进行深度学习模型的训练，第一预设模型为感兴趣区域图像识别模型，是基于深度学习方法训练得到的目标检测模型，目标检测模型可以为faster-RCNN、SSD、YOLO等系列中的一种。第一预设模型的训练包括：首先采集包含螺栓节点板的预设区域图像；对采集的图像中的螺栓连接节点进行数据标注，并形成训练集和验证集；其次，在模型训练的过程中使用在线数据增强的方式，所采用的数据增强的方式包括但不限于以下几种：尺度变化、透视变换、随机旋转和翻转、直方图均衡化、加高斯噪声、HSV空间颜色变换、转灰度等，其中，采用DropBlock的正则化方法对卷积神经网络模型特征图进行随机区块式的遮挡，提高模型泛化能力；最后，当验证集验证结果满足结束条件时结束训练，保存检测模型参数。

将采集到的待检测图像输入第一预设模型进行识别，识别待测图像中的螺栓连接节点板作为第一感兴趣区域图像，其中，螺栓连接节点板包含了所有的螺栓，第一感兴趣区域图像范围略大于螺栓连接节点板对应的范围。

将第一感兴趣区域图像作为后续的识别图像，可以排除非螺栓连接节点板的背景图像影响，突出前景目标特征，从而提高螺栓识别的精确度。

步骤130、基于第二预设模型识别第一感兴趣区域图像中的螺栓，得到螺栓位置信息。

采集到的待测图像不一定为标准图像视角，为了准确的进行螺栓松动检测，必须将待测图像的视角转换成标准参考图像的视角，即对待测图像进行校正。

第二预设模型为螺栓目标检测模型，是基于深度学习方法训练得到的目标检测模型，目标检测模型可以为faster-RCNN、SSD、YOLO等系列中的一种。第三预设模型的训练包括：首先对采集到标准的螺栓图像中的螺栓进行数据标注，并形成训练集和验证集，由于螺栓的颜色特征非必要特征，因此先将原始图像进行灰度化；其次，在模型训练的过程中使用在线数据增强的方式，所采用的数据增强方式包括但不限于尺度变化、随机旋转和翻转、gamma变换、高斯噪声、直方图均衡化等，同时采用Mosaic方法随机将四张变换后的图像拼接成一张数据，这样图像背景信息更丰富，有利于训练效果的提升，其中，在卷积神经网络模型加入Dropout正则化方法提高模型泛化能力；最后，当验证集验证结果满足结束条件时结束训练，保存检测模型参数。

如图1B所示，将第一感兴趣区域图像10输入第二预设模型进行识别，第一感兴趣区域图像10中完整包含螺栓连接节点板10a，对第一感兴趣区域图像10中的螺栓11进行目标检测，并获取检测到的螺栓11对应的螺栓检测框12，为了保证检测区域框12内包含每个完整的螺栓11，每个检测框12向外扩展5％得到螺栓位置信息。

步骤140、基于螺栓位置信息和参考图像，采用透视变换对第一感兴趣区域图像进行校正得到校正图像。

以螺栓位置信息(如图1C所示，螺栓位置信息示意图20中完整包含螺栓连接节点板20a)中特殊位置的螺栓检测框(如图1C中21、22、23和24)的中心点和参考图像(如图1D所示，参考图像30中完整包含螺栓连接节点板30a)中的标准螺栓位置信息中对应的螺栓检测框的中心点(如图1D中31、32、33和34)为参考点，采用透视变换的方法将第一感兴趣区域图像进行校正得到校正图像(如图1E所示，校正图像40中完整包含螺栓连接节点板40a)；其中，由于待检测图像与标准图像存在尺度、角度、位置等不确定偏差，因此，如图1C所示的基于待检测图像获取的螺栓位置信息示意图也存在尺度、角度、位置等不确定偏差。

步骤150、基于第二预设模型识别校正图像中的螺栓区域作为第二感兴趣区域图像。

在进行螺栓松动检测前，再次使用第二预设模型检测校正图像中的螺栓区域作为第二感兴趣区域图像，第二感兴趣图像用于后续螺栓松动检测。

步骤160、基于第三预设模型获取第二感兴趣区域图像中的螺栓检测角度。

在进行螺栓松动检测前，需要进行深度学习模型的训练，第三预设模型为螺栓图像分割模型，是基于深度学习方法训练得到的模型，用于对单个螺栓表面图像进行图像分割，模型可以为FCN、U-Net、DeepLab等系列中的一种。

第三预设模型的训练包括：首先对采集到的螺栓图像中的螺栓进行数据标注，并形成训练集和验证集，由于螺栓的颜色特征非必要特征，因此先将原始图像进行灰度化；其中，训练所用的螺栓图像为从采集的图像中截取的包含一个完整螺栓的正方形图像，图像边界与螺栓区域边界最短距离为图像边长的5％-15％，有效包含了螺栓的有效图像，并统一缩放为n*n像素的图像，标签为n*n像素的二值化掩码图像，螺栓区域像素值为255，背景区域像素值为0。其次，在模型训练的过程中使用在线数据增强的方式，所采用的数据增强方式包括但不限于尺度变化、随机旋转和翻转、gamma变换、高斯噪声、直方图均衡化等，同时在卷积神经网络模型加入Dropout正则化方法提高模型泛化能力；最后，当验证集验证结果满足结束条件时结束训练，保存图像分割模型参数。

将第二感兴趣图像中的每一个螺栓检测框的图像经过第三预设模型进行图像分割，得到n*n像素的灰度图像。进一步处理后，求得第二感兴趣图像中每个螺栓相对于当前坐标系的螺栓检测角度，其中，当前坐标系根据第二感兴趣图像中螺栓位置信息建立。

步骤170、基于预设参考图像中的螺栓预设角度与螺栓检测角度，确认待检测螺栓的螺栓松动检测结果。

在螺栓未发生旋转的情况下，图像校正后的第二感兴趣图像中检测到的螺栓检测角度仍然会存在一定的误差，因此需要借助参考图像中的螺栓预设角度进行进一步判断。

参考图像由标准螺栓图像处理得到，标准螺栓图像为螺栓的正面视角，细节清晰且能反映螺栓的特征。参考图像的构建包括：(1)调用第一预设模型，并将读取的标准螺栓图像输入到第一预设模型中，识别螺栓连接节点板的位置信息，截取螺栓连接节点板图像为感兴趣区域图像作为后续识别图像，其中，为了保证检测区域框内包含所有完整的螺栓，检测框向外扩展5％作为感兴趣区域最终结果；(2)调用第二预设模型进行螺栓目标检测，在识别出的感兴趣区域内对螺栓进行目标检测，输出以螺栓检测框表示的螺栓的位置信息，并建立标准图像中的标准坐标系；(3)调用第三预设模型，将每一个螺栓检测框的图像输入到第三预设模型中，对螺栓图像进行图像分割，并基于分割结果获取螺栓的边缘直线角度，在标准坐标系下求得标准螺栓的螺栓预设角度。将获得的基准参考点和螺栓预设角度保存并形成参考图像信息。

将获取的校正图像中的螺栓检测角度与参考图像中的螺栓预设角度进行比较，若校正图像中的螺栓检测角度与参考图像中的螺栓预设角度的差值超过允许误差值，则判断待测螺栓发送了松动；并在对应的螺栓处形成标记，输出螺栓松动结果图，以便工作人员快速对螺栓进行检修。

本发明实施例通过第一预设模型识别螺栓连接节点板作为第一感兴趣区域，再通过第二预设模型识别螺栓，得到螺栓位置信息，基于螺栓位置信息和参考图像对第一感兴趣区域图像进行矫正，再次采用第二预设模型识别矫正图像中的螺栓位置信息得到第二感兴趣区域图像，通过第三预设模型识别螺栓检测角度，通过与预设参考图像中的螺栓预设角度进行比对，从而确认待检测螺栓是否松动，解决螺栓存在小角度松动时无法准确识别的问题；实现排除待测图像背景干扰，提高螺栓检测精度；基于第三预设模型高鲁棒性地提取螺栓边缘信息，进而通过检测角度与预设角度的匹配准确判断螺栓是否存在松动的效果。

在上述实施例的基础上，如图2A所示，可选的，一种螺栓松动检测方法具体包括以下步骤：

步骤201、获取待检测螺栓对应的待检测图像。

步骤202、采用第一预设模型识别待检测图像中的螺栓连接节点板。

步骤203、获取螺栓连接节点板的位置信息，螺栓连接节点板的位置信息为具有坐标信息的检测区域框。

示例性的，检测区域框表示为(x

步骤204、将检测区域框按预设百分比扩大范围后截取的图像作为第一感兴趣区域图像。

为了保证检测区域框内包含所有完整的螺栓，检测框向外扩展5％作为第一感兴趣区域最终结果，截取第一感兴趣区域图像作为后续识别图像。

步骤205、基于第二预设模型识别第一感兴趣区域图像中的螺栓，得到螺栓位置信息。

步骤206、基于预设螺栓的位置信息获取检测参考点，获取参考图像中的基准参考点。

其中，螺栓的位置信息为具有坐标信息的检测区域框。获取检测参考点的方法包括：(1)判断每个螺栓检测框各边向两侧的延长线与其它螺栓检测框相交的情况；(2)若检测矩形框左侧(2条)和上侧(2条)的4条延长直线均无相交情况，如图2B所示，则该螺栓检测框中心点为左上端点a，同理可推测出右上端点b、左下端点c和右下端点d；由于螺栓在螺栓连接节点板上可能出现的不规则排列及螺栓丢失等情况，如图2C所示，各类型端点数量可能会大于1(图2C中的端点b和e为同类型端点)；(3)以图像的左上方顶点为原点，水平右为横轴正方向，竖直向下为纵轴正方向建立坐标系，分别由纵向坐标值最大的左上端点和右上端点、纵向坐标值最小的左下端点和右下端点、横向坐标值最小的左上端点和左下端点、横向坐标值最大的右上端点和右下端点确定4条检测直线，这4条检测直线的交点即为用于透视变换的4个检测参考点(图2C中的a、c、d和f)。参考点定位方法在螺栓规整排列的情况下，可在外层螺栓少量丢失时，仍然能够获得同样的参考点，参考点定位方法适用于大部分螺栓排列方式，如遇到不规则螺栓排列方式可参照上述思路重新设计参考点定位规则。

获取参考图像的基准参考点的方法与上述方法一致，对标准螺栓图像的螺栓位置信息进行处理得到参考图像的四个基准参考点。

步骤207、根据基准参考点和检测参考点计算透视变换矩阵。

4个检测参考点与4个基准参考点对应，根据基准参考点的坐标值和检测参考点的坐标值计算得出透视变换矩阵H。

步骤208、根据透视变换矩阵对第一感兴趣区域图像进行校正得到校正图像。

根据透视变换矩阵H对第一感兴趣区域图像进行透视变换，从而使透视变换后的校正图像与参考图像置于同一视角。

步骤209、采用第二预设模型识别校正图像中的螺栓。

在图像校正后，螺栓的位置信息已经改变，需要重新获取螺栓的位置信息，因此，再次采用第二预设模型对校正图像中的螺栓进行识别。

步骤210、获取螺栓的位置信息，螺栓的位置信息为具有坐标信息的检测区域框。

示例性的，检测区域框表示为(x

步骤211、将检测区域框按预设百分比扩大范围后截取的图像作为第二感兴趣区域图像。

为了保证检测区域框内包含每个完整的螺栓，检测框向外扩展5％作为第二感兴趣区域最终结果，截取第二感兴趣区域图像作为后续识别图像。

步骤212、基于第三预设模型对第二感兴趣区域图像进行图像分割，得到每一个螺栓对应的分割图像。

如图2D所示，调用第三预设模型，将第二感兴趣区域图像输入到第三预设模型中，以螺栓检测框12的中心点为图像分割处理的中心点，为了截取包含完整螺栓11区域的正方形图像，若螺栓检测框12最长边长为L

步骤213、基于每个螺栓的分割图像检测每个螺栓的边缘信息。

使用Canny算子对得到的灰度图像进行边缘检测，其中，Canny算子的高低阈值参数优选设置为150和50，由于基于深度学习的图像分割结果的准确性较高，可清晰辨认螺栓边缘，因此Canny边缘检测在无需调试算子的高低阈值参数的情况下，可准确提取螺栓连接节点板实际的边缘信息。

步骤214、基于边缘信息提取边缘直线。

如图2F所示，基于得到的边缘信息使用Hough变换算法将检测到的边缘点映射到Hough变换空间并存储在累加器中，通过设置合适的阈值从累加器中提取出每个螺栓区域14的边缘直线16。

基于深度学习的螺栓图像分割方法通过训练不同环境下的图像数据并提取图像高维度特征，结合数据扩展、正则化等操作，可在节点板出现阴影、锈蚀、图像质量不佳等干扰的情况下仍然可以稳定地提取准确的螺栓区域并准确地显示真实的边缘特征。

步骤215、基于边缘直线和建立的坐标系获取每一个螺栓检测框图像中的螺栓检测角度。

如图2G所示，直线检测结果来计算螺栓角度：Hough变换直线检测结果的参数空间为距离-角度参数空间(r

步骤216、计算螺栓检测角度与螺栓预设角度差值的绝对值。

螺栓检测角度与螺栓预设角度的差值可能为正，也可能为负，因此，采用螺栓检测角度与螺栓预设角度差值的绝对值作为判断条件。

步骤217、判断差值的绝对值与第一阈值的大小关系。

假设螺栓检测角度与螺栓预设角度差值的绝对值为|Δα|，第一阈值为T

步骤218、若差值的绝对值小于等于第一阈值，则判断该螺栓未松动。

若|Δα|小于等于第一阈值，则差值未超过允许误差值，此时判断该螺栓未松动。

步骤219、若差值的绝对值大于第一阈值，则判断该螺栓发生松动，并在校正图像对应位置进行标记，得到螺栓松动检测结果图。

若|Δα|大于第一阈值，则差值超过允许误差值，此时判断该螺栓发生松动，并在校正图像对应位置进行标记，得到螺栓松动检测结果图。

本发明实施例通过第一预设模型预先提取第一感兴趣区域，突出螺栓连接节点板前景目标特征，排除背景特征，提高后续使用第二预设模型进行螺栓目标检测的准确性；通过第二预设模型预先提取第二感兴趣区域，突出螺栓前景目标特征，排除背景特征，提高后续使用基于第三预设模型进行螺栓图像分割等操作的准确性；螺栓分割的结果可以明显地显示螺栓边缘信息，且排除了其它非螺栓边缘信息，由于分割图像中只包含螺栓的边缘信息，因此可实现后期基于边缘特征的直线检测只能检测到期望的螺栓边缘直线，而原始图像除了包含螺栓边缘信息以外，还包含了许多其它无效边缘信息，因此基于原始图像边缘信息所检测的直线会包含许多非螺栓边缘直线，这些非螺栓边缘直线会对最后检测结果产生干扰，因此本实施例提取的螺栓边缘信息相比直接在原始图像提取螺栓边缘信息的方法有较高的鲁棒性与准确性，基于第三预设模型的输出结果获取的螺栓检测角度与参考图像的螺栓预设角度进行比对，提高了螺栓松动检测的准确度。

实施例二

图3为本发明实施例二提供的一种螺栓松动检测装置的结构示意图，如图3所示，一种螺栓松动检测装置，包括：

图像获取模块310，用于获取待检测螺栓对应的待检测图像。

对需要进行检测的螺栓图像进行采集生成待检测图像，图像采集方式包括：人工采集、无人机巡检采集、检测机器人采集等多种方式；其中采集的图像范围完整包含螺栓连接板所在区域。

图像提取模块320，用于采用第一预设模型识别待检测图像中的螺栓连接节点板作为第一感兴趣区域图像。

在进行螺栓松动检测前，需要进行深度学习模型的训练，第一预设模型为感兴趣区域图像识别模型，是基于深度学习方法训练得到的目标检测模型，目标检测模型可以为faster-RCNN、SSD、YOLO等系列中的一种。

将采集到的待检测图像输入第一预设模型进行识别，识别待测图像中的螺栓连接节点板作为第一感兴趣区域图像，其中，螺栓连接节点板包含了所有的螺栓。

将第一感兴趣区域图像作为后续的识别图像可以排除非螺栓连接节点板的背景图像影响，突出前景目标特征，排除背景特征，从而提高螺栓识别的精确度。

第一位置获取模块330，用于基于第二预设模型识别第一感兴趣区域图中的螺栓，得到螺栓位置信息。

采集到的待测图像不一定为标准图像视角，为了准确的进行螺栓松动检测，必须将待测图像的视角转换成标准参考图像的视角，即对待测图像进行校正。

第二预设模型为螺栓目标检测模型，是基于深度学习方法训练得到的目标检测模型，目标检测模型可以为faster-RCNN、SSD、YOLO等系列中的一种。

将第一感兴趣区域图像输入第二预设模型进行识别，对第一感兴趣区域图像中的螺栓进行目标检测，并获取检测到的螺栓对应的螺栓检测框，为了保证检测区域框内包含每个完整的螺栓，检测框向外扩展5％截取得到螺栓位置信息。

图像校正模块340，用于基于螺栓位置信息和参考图像，采用透视变换对第一感兴趣区域图像进行校正得到校正图像。

以螺栓位置信息中特殊位置的螺栓检测框和参考图像中的标准螺栓位置信息中对应的螺栓检测框为参考点，采用透视变换的方法将第一感兴趣区域图像进行校正得到校正图像。

透视变换不仅可以解决感兴趣区域图像视角问题，还能解决少量区域存在遮挡、模糊和曝光的问题，便于后期有效识别感兴趣区域图像中的螺栓。

螺栓区域提取模块350，用于基于第二预设模型识别校正图像中的螺栓区域作为第二感兴趣区域图像。

在进行螺栓松动检测前，需要获取螺栓的位置信息，在待测图像校正后，校正图像与标准参考图像为同样视角，因此基于第二预设模型可正确圈定校正图像的螺栓，基于第二预设模型识别校正图像中的螺栓区域作为第二感兴趣区域图像，第二感兴趣图像用于后续螺栓松动检测。

螺栓角度获取模块360，用于基于第三预设模型获取在第二感兴趣区域图像中的螺栓检测角度。

在进行螺栓松动检测前，需要进行深度学习模型的训练，第三预设模型为螺栓图像分割模型，是基于深度学习方法训练得到的图像模型，用于对单个螺栓表面图像进行图像分割，模型可以为FCN、U-Net、DeepLab等系列中的一种。

将第二感兴趣图像中的每一个螺栓检测框的图像经过第三预设模型进行图像分割，得到n*n像素的灰度图像。进一步处理后，求得第二感兴趣图像中每个螺栓相对于当前坐标系的螺栓检测角度。

螺栓松动判断模块370，用于基于预设参考图像中的螺栓预设角度与螺栓检测角度，确认待检测螺栓的螺栓松动检测结果。

在图像校正后检测到的螺栓检测角度仍然会存在一定的误差，因此需要借助参考图像中的螺栓预设角度进行进一步判断。

将获取的校正图像中的螺栓检测角度与参考图像中的螺栓预设角度进行比较，若校正图像中的螺栓检测角度与参考图像中的螺栓预设角度的差值超过允许误差值，则判断待测螺栓发送了松动；并在对应的螺栓处形成标记，输出螺栓松动结果图，以便工作人员快速对螺栓进行检修。

本发明实施例通过第一预设模型识别螺栓连接节点板作为第一感兴趣区域，再通过第二预设模型识别螺栓，得到螺栓位置信息，基于螺栓位置信息和参考图像对第一感兴趣区域图像进行矫正，再次采用第二预设模型识别矫正图像中的螺栓位置信息得到第二感兴趣区域图像，通过第三预设模型识别螺栓检测角度，通过与预设参考图像中的螺栓预设角度进行比对，从而确认待检测螺栓是否松动，解决螺栓存在小角度松动时无法准确识别的问题；实现排除待测图像背景干扰，提高螺栓检测精度；基于第三预设模型高鲁棒性地提取螺栓边缘信息，进而通过检测角度与预设角度的匹配准确判断螺栓是否存在松动的效果。

进一步的，螺栓松动检测装置的图像提取模块还包括：

第一图像识别单元，用于采用第一预设模型识别待检测图像中的螺栓连接节点板。

第一位置获取单元，用于获取螺栓连接节点板的位置信息，螺栓连接节点板的位置信息为具有坐标信息的检测区域框；

第一图像提取单元，用于将检测区域框按预设百分比扩大范围后截取的图像作为第一感兴趣区域图像。

进一步的，螺栓松动检测装置的图像校正模块还包括：

参考点获取单元，用于基于预设螺栓的位置信息获取检测参考点，获取参考图像中的基准参考点。

变换矩阵计算单元，用于根据基准参考点和检测参考点计算透视变换矩阵。

透视变化单元，用于根据透视变换矩阵对第一感兴趣区域图像进行校正得到校正图像。

进一步的，螺栓松动检测装置的螺栓区域提取模块还包括：

第二图像识别单元，用于采用第二预设模型识别校正图像中的螺栓。

第二位置获取单元，用于获取螺栓的位置信息，螺栓的位置信息为具有坐标信息的检测区域框。

第二图像提取单元，用于将检测区域框按预设百分比扩大范围后截取的图像作为第二感兴趣区域图像

进一步的，螺栓松动检测装置的螺栓角度获取模块还包括：

螺栓分割单元，用于基于第三预设模型对第二感兴趣区域图像进行图像分割，得到每一个螺栓对应的分割图像。

边缘检测单元，用于基于每个螺栓的分割图像检测每个螺栓的边缘信息。

边缘直线获取单元，用于基于边缘信息提取边缘直线。

检测角度获取单元，用于基于边缘直线和建立的坐标系获取每一个螺栓检测框图像中的螺栓检测角度。

进一步的，螺栓松动检测装置的螺栓松动判断模块还包括：

第一计算单元，用于计算螺栓检测角度与螺栓预设角度差值的绝对值。

第一判断单元，用于判断差值的绝对值与第一阈值的大小关系。

第一结果输出单元，用于若差值的绝对值小于等于第一阈值，则判断该螺栓未松动。

第二结果输出单元，用于若差值的绝对值大于第一阈值，则判断该螺栓发生松动，并在校正图像对应位置进行标记，得到螺栓松动检测结果图。

本发明实施例所提供的螺栓松动检测装置可执行本发明任意实施例所提供的螺栓松动检测方法，具备执行方法相应的功能模块和有益效果。

实施例三

图4为本发明实施例三提供的一种螺栓松动检测设备的结构示意图，如图4所示，该设备包括处理器40、存储器41、输入装置42和输出装置43；设备中处理器40的数量可以是一个或多个，图4中以一个处理器40为例；设备中的处理器40、存储器41、输入装置42和输出装置43可以通过总线或其他方式连接，图4中以通过总线连接为例。

存储器41作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的螺栓松动检测方法对应的程序指令/模块(例如，螺栓松动检测装置中的图像获取模块310、图像提取模块320、第一位置获取模块330、图像校正模块340、螺栓区域提取模块350、螺栓角度获取模块360和螺栓松动判断模块370)。处理器40通过运行存储在存储器41中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的螺栓松动检测方法。

存储器41可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器41可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器41可进一步包括相对于处理器40远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

输入装置42可用于接收输入的数字或字符信息，以及产生与设备的用户设置以及功能控制有关的键信号输入。输出装置43可包括显示屏等显示设备。

实施例四

本发明实施例四还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种螺栓松动检测方法，该方法包括：

一种螺栓松动检测方法，其特征在于，包括：

获取待检测螺栓对应的待检测图像；

采用第一预设模型识别待检测图像中的螺栓连接节点板作为第一感兴趣区域图像；

基于第二预设模型识别第一感兴趣区域图中的螺栓，得到螺栓位置信息；

基于螺栓位置信息和参考图像，采用透视变换对第一感兴趣区域图像进行校正得到校正图像；

基于第二预设模型识别校正图像中的螺栓区域作为第二感兴趣区域图像；

基于第三预设模型获取第二感兴趣区域图像中的螺栓检测角度；

基于预设参考图像中的螺栓预设角度与螺栓检测角度，确认待检测螺栓的螺栓松动检测结果。

当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的螺栓松动检测方法中的相关操作。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

值得注意的是，上述搜索装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。