一种用于环境试验的旋转校正拍照方法、装置及介质

技术领域

本发明涉及环境试验技术领域，特别涉及一种用于环境试验的旋转校正拍照方法、装置及介质。

背景技术

自然环境试验，将待试验样品固定在试验架上，暴露在自然环境下，经过几天、几个月或几年的长期观察对比，获取待试验样品随时间的变化信息。

目前，我国大气自然环境试验主要依靠人工巡视和定期采样，其中，定期采样一般采用人工拍照的方法，需要将工业产品从试验架取出进行单独拍摄。

其不足之处在于：1、人工巡视拍照效率低下，每个样品都需要单独拍摄，可能会出现误拍漏拍的情况；2、人工拍照的质量取决于人工拍照水平，样品在图像中的成像容易产生偏离倾斜等情况，需要后期进一步处理。

发明内容

本发明公开了一种用于环境试验的旋转校正拍照方法、装置及介质，它在长期的环境试验中可实现每个样品的自动拍照，还可针对每个样品的倾斜角度转动拍摄角度，使样品垂直于图像中间位置。

为达到上述目的，一方面，本发明提供一种用于环境试验的旋转校正拍照方法，其特征在于，具体方法为：

1)开始环境试验，若干上件样品完成上件；

2)获取每个待拍摄样品的样品位置信息；

3)带摄像头的机械臂运动至预设位置以预设姿态对所有上件样品拍摄定位照片；

4)根据所述定位照片和所述待拍摄样品的所述样品位置信息，计算所述机械臂拍摄所有待拍摄样品的移动轨迹，以及待每个所述待拍摄样品相对于机械臂末端的拍摄姿态；

5)所述机械臂根据计算得到的所述移动轨迹和所述拍摄姿态，分别对每个所述待拍摄样品完成拍摄，所述机械臂返回初始化位置；

6)判断是否有新的拍摄任务，若有则转向步骤2)。

该实施例的优点在于，在长期的环境试验中，需要拍摄上件样品时，本发明可自动控制机械臂移动至预设位置拍摄定位照片，通过定位照片的分析可确定发生新位移和偏转的上件样品的新具体位置和新偏转角度；再根据每个上件样品的新位置和新偏转角度进行精准拍摄，保证不遗漏的同时还使每个上件样品都以无偏转的姿态位于拍摄照片的中央位置，显著提高了环境试验拍摄效率和质量。

进一步地，步骤2)中获取每个所述待拍摄样品的所述样品位置信息的具体方法为：

为每个所述上件样品编号，将编号信息与所述上件样品的行列数信息对应并生成检索表格；

输入或接收所述待拍摄样品的编号信息，通过所述检索表格获取每个所述待拍摄样品的所述样品位置信息。

具体地，步骤3)中所述预设位置的获取方式为：

以所述机械臂底座中心为原点建立第一坐标系，获取上件样品的上件区域信息，根据所述上件区域信息生成能框住所述上件区域的最小矩形框，在所述第一坐标系中标注所述最小矩形框的第一中心坐标，根据所述机械臂上摄像头的拍摄广角计算能拍摄完整所述最小矩形框的最底高度，以所述最小矩形框的所述第一中心坐标和所述最底高度构成预设位置。

具体地，步骤3)中预设姿态为：

所述预设姿态为拍摄定位照片时，拍摄边界分别与所述最小矩形框边界平行，所述机械臂需要转动的角度。

进一步地，步骤4)中计算机械臂拍摄所有待拍摄样品的移动轨迹，以及待每个待拍摄样品的拍摄姿态的具体方法为：

4-1)将所述定位照片输入单阶段旋转目标检测网络S

4-2)以所述摄像头拍摄所述定位照片时相机的位置为原点，构建第二坐标系；拍摄所述定位照片时，通过双目深度相机获取每个上件样品的深度图，计算每个旋转矩形框在第二坐标系中的第二坐标；

4-3)结合所述摄像头拍摄所述定位照片时的预设位置和第二坐标，计算每个所述旋转矩形框在第一坐标系中的第一坐标信息，以及相对于机械臂末端的姿态信息；

4-4)通过ROS话题发布所述旋转矩形框的第一坐标信息和姿态信息。

该实施例的优点在于，通过单阶段旋转目标检测网络为每个上件样品生成矩形框，可以识别上件样品的类别，还可以统一不同形状的样品的处理方式，便于坐标计算和偏转姿态计算；将上件样品在第二坐标中的坐标转换为在第一坐标的坐标，可准确计算机械臂的位移轨迹；以旋转矩形框的转动角度作为拍摄姿态信息，可使每个上件样品均无倾斜的位于拍摄照片内。

具体地，步骤4-1)的具体方法为：

4-1-1)S

4-1-2)将深度特征图送入特征对齐模块FAM进行特征对齐和锚点生成；

FAM首先使用锚优化网络Anchor Refinement Network微调初始锚点，然后FAM使用对齐卷积层Alignment Convolution对特征图进行旋转不变性操作；

4-1-3)FAM将对齐后的特征图送入方向检测模块ODM进行目标检测，ODM使用主动旋转滤波器ARF编码目标的方向信息，并在分类和回归操作中使用这些信息来检测图像中的工业产品；所述ARF是一种k×k×N的滤波器，在卷积过程中主动旋转N-1次，从而生成具有N个方向通道的特征图；

4-1-4)根据ODM输出的目标检测结果，在原始图像上生成所述上件样品的所述旋转矩形框。

具体地，步骤4-2)的具体方法为：

4-2-1)通过S

4-2-2)旋转矩形框中心像素点坐标结合相机内参(f

其中f

具体地，步骤4-3)的具体方法为：

4-3-1)设相机的外部参数为旋转矩阵R和平移向量T，根据转换公式可推出旋转矩形框的中心像素点在第二坐标系下的坐标为(X

4-3-2)为了使得所述摄像头垂直于试验架拍照，所述机械臂末端相对于第一坐标系的姿态表示如下：

(x

其中β∈(-π,π]，为坐标轴绕y轴的旋转角度，(x

4-3-3)计算旋转矩形框相对于第一坐标系水平位置的旋转角度θ；

4-3-4)旋转矩形框相对于所述机械臂末端的拍摄姿态表示如下：

(x

4-3-5)旋转矩形框相对于第一坐标系的拍摄姿态表示如下：

4-3-6)旋转矩形框相对于第二坐标系坐标(X

4-3-7)根据旋转矩形框相对于第一坐标系坐标，以及旋转矩形框相对于第一坐标系的拍摄姿态，计算机械臂的移动轨迹和机械臂末端的拍摄姿态。

该实施例的优点在于，通过若干试验和公式推导，不但总结出了从照片坐标转换为第二坐标系坐标再转换为第一坐标系坐标的转换公式，可适用于任意试验架和任意上件样品；还总结出了根据旋转矩形框计算拍摄姿态的计算公式，适用于任意偏离角度的上样件品拍摄。

为达到上述目的，另一方面，本发明提供一种用于环境试验的旋转校正拍照装置，包括：信息获取模块、定位照片拍摄模块、轨迹姿态计算模块、样品拍摄模块；

所述信息获取模块，获取每个待拍摄样品的样品位置信息；

所述定位照片拍摄模块，控制带摄像头的机械臂运动至预设位置以预设姿态对所有上件样品拍摄定位照片；

所述轨迹姿态计算模块，根据所述定位照片和所述待拍摄样品的所述样品位置信息，计算所述机械臂拍摄所有待拍摄样品的移动轨迹，以及待每个所述待拍摄样品相对于机械臂末端的拍摄姿态；

所述样品拍摄模块，根据计算得到的所述移动轨迹和所述拍摄姿态，控制机械臂分别对每个所述待拍摄样品完成拍摄。

为达到上述目的，另一方面，本发明提供一种存储介质，所述存储介质存储有若干指令，所述指令适用于处理器进行加载，以上述方法。

本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书和权利要求书来实现和获得。

附图说明

本发明的附图说明如下。

图1为实施例1整体流程示意图。

图2为实施例1步骤4流程示意图。

图3为实施例2结构示意图。

图4为实施例1中旋转矩形框标记效果图。

图5为实施例1中单个样品拍摄效果图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

实施例1：

一种用于环境试验的旋转校正拍照方法，如图1和图2所示，具体方法为：

S1、开始环境试验，若干上件样品完成上件。

该实施例中，上件过程可以是人工上件，也可以是自动化机械臂上件。

S2、获取每个待拍摄样品的样品位置信息。

该实施例中上件完成后，在整个环境试验过程中不主动去调整上件样品的位置和姿态，但在自然振动或事故碰撞下，上件样品可能发生位移或偏移，当然也可以根据需要主动调整上件样品的位置和姿态，在调整完成后，需要对上件样品的编号以及位置信息进行更新。

具体地，为每个上件样品编号，将编号信息与上件样品的行列数信息对应并生成检索表格；输入或接收待拍摄样品的编号信息，通过检索表格获取每个待拍摄样品的样品位置信息。

该实施例中，通过检索表格获取待拍摄样品的样品位置信息为实施方式之一，也可以将位置信息编辑在样品编号中，通过样品编号直接识别样品位置信息。

S3、带摄像头的机械臂运动至预设位置以预设姿态对所有上件样品拍摄定位照片。

该实施例中，每次单独拍摄上件样品之前都需要先拍摄整体定位照片，用于定位每件上件样品的位置及姿态。定位照片最好是可以固定拍摄下整个试验架，但也可以根据需要调整策略，只拍摄包含了所有拍摄样品的区域。

具体地，以机械臂底座中心为原点建立第一坐标系，获取上件样品的上件区域信息，根据上件区域信息生成能框住上件区域的最小矩形框，在第一坐标系中标注最小矩形框的第一中心坐标，根据机械臂上摄像头的拍摄广角计算能拍摄完整最小矩形框的最底高度，以最小矩形框的第一中心坐标和最底高度构成预设位置。

具体地，预设姿态为拍摄定位照片时，拍摄边界分别与最小矩形框边界平行，机械臂需要转动的角度。

S4、根据定位照片和待拍摄样品的样品位置信息，计算机械臂拍摄所有待拍摄样品的移动轨迹，以及待每个待拍摄样品相对于机械臂末端的拍摄姿态。

S41、将定位照片输入单阶段旋转目标检测网络S

S411、S

S412、将深度特征图送入特征对齐模块FAM进行特征对齐和锚点生成；FAM首先使用锚优化网络Anchor Refinement Network微调初始锚点，然后FAM使用对齐卷积层Alignment Convolution对特征图进行旋转不变性操作；

S413、FAM将对齐后的特征图送入方向检测模块ODM进行目标检测，ODM使用主动旋转滤波器ARF编码目标的方向信息，并在分类和回归操作中使用这些信息来检测图像中的工业产品；ARF是一种k×k×N的滤波器，在卷积过程中主动旋转N-1次，从而生成具有N个方向通道的特征图；

S414、根据ODM输出的目标检测结果，在原始图像上生成上件样品的旋转矩形框。

S42、以摄像头拍摄定位照片时相机的位置为原点，构建第二坐标系；拍摄定位照片时，通过双目深度相机获取每个上件样品的深度图，计算每个旋转矩形框在第二坐标系中的第二坐标；

S421、通过S

S422、旋转矩形框中心像素点坐标结合相机内参(f

其中f

S43、结合摄像头拍摄定位照片时的预设位置和第二坐标，计算每个旋转矩形框在第一坐标系中的第一坐标信息，以及相对于机械臂末端的姿态信息；

S431、设相机的外部参数为旋转矩阵R和平移向量T，根据转换公式可推出旋转矩形框的中心像素点在第二坐标系下的坐标为(X

S432、为了使得摄像头垂直于试验架拍照，机械臂末端相对于第一坐标系的姿态表示如下：

(x

其中β∈(-π,π]，为坐标轴绕y轴的旋转角度，(x

S433、计算旋转矩形框相对于第一坐标系水平位置的旋转角度θ；

S434、旋转矩形框相对于机械臂末端的拍摄姿态表示如下：

(x

S435、旋转矩形框相对于第一坐标系的拍摄姿态表示如下：

S436、旋转矩形框相对于第二坐标系坐标(X

S437、根据旋转矩形框相对于第一坐标系坐标，以及旋转矩形框相对于第一坐标系的拍摄姿态，计算机械臂的移动轨迹和机械臂末端的拍摄姿态。

S44、通过ROS话题发布旋转矩形框的第一坐标信息和姿态信息。

该实施例中，如图2所示通过单阶段旋转目标检测网络S2A-Net预测物体类别并用旋转框框出物体位置；采用双目深度相机获取物体深度图，并且根据深度图解算出物体中心点相对于相机坐标系的三维坐标；通过旋转框得到工业产品相对于机械臂底座坐标系的姿态信息，并根据坐标转换获取工业产品相对于机械臂底座的三维坐标；通过ROS话题发布物体的位姿信息；机器人接收到位姿信息后进行轨迹规划并运动到指定位置进行拍照。旋转矩形框拍摄实际效果如图4所示，通过机械臂末端的摄像头实时检测机器人周围环境，实时地将RGB图像输入到S2A-Net网络中进行卷积和池化处理，从而生成深度特征图。将深度特征图送入FAM进行特征对齐和锚点生成，以更好地适应图像中的目标。处理完成后FAM将特征图送入ODM进行目标检测，其使用主动旋转滤波器编码目标的方向信息，并在分类和回归操作中使用这些信息来检测图像中的工业产品。最后，根据ODM输出的目标检测结果在原始图像上生成工业产品的旋转检测框。

待拍摄样品的拍摄效果如图5所示，通过旋转矩形框计算待拍摄样品相对于水平位置的旋转角度，由于试验架的倾斜角度固定、机器人本体垂直正对工业产品试验架、相机固定在机械臂末端，故可以解算出待拍摄样品相对于机械臂底座的姿态。结合三维点(x,y,z)和姿态信息得到待拍摄样品相对于机械臂底座坐标系的位姿。通过ROS话题输出工业产品相对于机械臂底座坐标系的位姿，机械臂控制端接收位姿并进行轨迹规划使机械臂末端到达目标点完成拍照任务。

该实施例通过单阶段旋转目标检测网络S

S5、机械臂根据计算得到的移动轨迹和拍摄姿态，分别对每个待拍摄样品完成拍摄，机械臂返回初始化位置；

S6、判断是否有新的拍摄任务，若有则转向S2。

实施例2：

一种用于环境试验的旋转校正拍照装置，如图3所示，包括：信息获取模块、定位照片拍摄模块、轨迹姿态计算模块、样品拍摄模块；

信息获取模块，获取每个待拍摄样品的样品位置信息；

定位照片拍摄模块，控制带摄像头的机械臂运动至预设位置以预设姿态对所有上件样品拍摄定位照片；

轨迹姿态计算模块，根据定位照片和待拍摄样品的样品位置信息，计算机械臂拍摄所有待拍摄样品的移动轨迹，以及待每个待拍摄样品相对于机械臂末端的拍摄姿态；

样品拍摄模块，根据计算得到的移动轨迹和拍摄姿态，控制机械臂分别对每个待拍摄样品完成拍摄。

该实施例中，信息获取模块可以是传感器组，也可以是数据接收装置配合位置计算；定位照片拍摄模块，可以是设置在机械臂上的控制芯片，也可以是通过无线控制机械臂工作的远端服务器；轨迹姿态计算模块可以设置在机械臂本地，也可以是云端计算平台；样品拍摄模块可以与定位照片拍摄模块兼容设置，也可以独立设置。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员应当理解：依然可以对本发明的具体实施方式进行修改或者等同替换，而未脱离本发明精神和范围的任何修改或者等同替换，其均应涵盖在本发明的权利要求保护范围之内。