一种基于视觉的钢板吊装精确定位方法和系统

技术领域

本发明涉及工厂行车吊装技术领域，尤其涉及一种基于视觉的钢板吊装精确定位方法和系统。

背景技术

钢板原材作为大型设备制造工厂的重要原材料，工厂料场不可避免要进行频繁的吊装作业。货车在停到规定的卸货区域后，行车将进行钢板卸货作业。但是货车装载的钢板尺寸并不一致，由于在装载和运输过程中，致使钢板拜访比较错乱。行车无法依据设定的位置直接进行卸货作业，需要现场工作人员进行手动操作，微调行车至准确的位置对钢板进行吸取操作，这一过程浪费了大量人力和时间，降低了钢板起吊的效率。

随着人工智能技术的发展，国家也大力推进自动化、智能化的方针目标，对钢板吊装也提出相应要求。基于视觉的钢板定位方法，提供了一种很好的解决思路。由于大部分工厂料场处于开放环境中，基于视觉的方法受周围光照影响较大，其可靠性仍然面临着巨大挑战。

因此，如何解决光照变化的影响，提高视觉检测的准确性，实现钢板的自动吊装，是下一步亟需解决的问题。

发明内容

为了解决上述技术问题，本发明提供一种基于视觉的钢板吊装精确定位方法和系统。

一种基于视觉的钢板吊装精确定位方法，包括：

获取多个钢板子区域初始俯视图以及距离信息；

对所述钢板子区域初始俯视图进行预处理，得到钢板子区域目标俯视图，并获取各钢板子区域目标俯视图中的直线集合，根据各钢板子区域目标俯视图中的直线集合，获取钢板的四个角点初始坐标；

对各钢板子区域目标俯视图进行图像拼接，得到钢板区域目标图像；

根据钢板的四个角点初始坐标、所述钢板区域目标图像和所述距离信息进行坐标系转换，得到相机坐标系中各个角点目标坐标以及钢板尺寸；

将相机坐标系中各个角点目标坐标以及钢板尺寸进行发送，用于进行钢板吊装控制。

进一步地，获取多个钢板子区域初始俯视图以及距离信息，包括：

通过设置的四个相机分别获取四个钢板子区域初始俯视图，通过测距传感器获取相机距离钢板的所述距离信息。

进一步地，对所述钢板子区域初始俯视图进行预处理，得到钢板子区域目标俯视图，包括：

对所述钢板子区域初始俯视图进行滤波，得到钢板子区域目标俯视图。

进一步地，获取各钢板子区域目标俯视图中的直线集合，包括：

获取各钢板子区域目标俯视图的边缘信息；

根据各钢板子区域目标俯视图的边缘信息，采用Hough直线检测算法，得到各钢板子区域目标俯视图中的直线集合。

进一步地，根据各钢板子区域目标俯视图中的直线集合，获取钢板的四个角点初始坐标，包括：

根据各钢板子区域目标俯视图中的直线集合，获取各钢板子区域目标俯视图中的水平边缘线和竖直边缘线；

根据各钢板子区域目标俯视图中的水平边缘线和竖直边缘线，确定钢板的竖直方向上的左右边缘线和水平方向上的上下边缘线；

根据钢板的竖直方向上的左右边缘线和水平方向上的上下边缘线，得到钢板的四个角点初始坐标。

进一步地，根据钢板的四个角点初始坐标、所述钢板区域目标图像和所述距离信息进行坐标系转换，得到相机坐标系中各个角点目标坐标以及钢板尺寸，包括：

构建相机坐标系、像素坐标系和成像坐标系；

将像素坐标系转换到成像坐标系，然后将成像坐标系转换到相机坐标系，得到相机坐标系与像素坐标系的仿射变换结果；

根据相机坐标系与像素坐标系的仿射变换结果，以及钢板的四个角点初始坐标、所述钢板区域目标图像和所述距离信息，得到相机坐标系中各个角点目标坐标以及钢板尺寸。

进一步地，将相机坐标系中各个角点目标坐标以及钢板尺寸进行发送，用于进行钢板吊装控制，包括：

将相机坐标系中各个角点目标坐标以及钢板尺寸传输给行车控制系统，以指示行车控制系统控制行车对当前钢板进行吊装。

进一步地，基于视觉的钢板吊装精确定位方法还包括：对获取到的各个角点目标坐标以及钢板尺寸进行存储。

进一步地，基于视觉的钢板吊装精确定位方法还包括：对获取到的各个角点目标坐标、钢板尺寸以及钢板区域目标图像进行显示。

一种基于视觉的钢板吊装精确定位系统，包括：

数据采集模块，用于获取多个钢板子区域初始俯视图以及距离信息；

图像处理模块，用于对所述钢板子区域初始俯视图进行预处理，得到钢板子区域目标俯视图，并获取各钢板子区域目标俯视图中的直线集合，根据各钢板子区域目标俯视图中的直线集合，获取钢板的四个角点初始坐标；对各钢板子区域目标俯视图进行图像拼接，得到钢板区域目标图像；

定位计算模块，用于根据钢板的四个角点初始坐标、所述钢板区域目标图像和所述距离信息进行坐标系转换，得到相机坐标系中各个角点目标坐标以及钢板尺寸；

数据推送模块，用于将相机坐标系中各个角点目标坐标以及钢板尺寸进行发送，用于进行钢板吊装控制。

本发明具有如下有益效果：通过本发明提供的图像处理方法，能够实现高精度的钢板定位，进而保证钢板吊装的自动化控制以及高精度控制，而且能够快速计算并推送坐标，实现高效率的钢板吊装作业；自动化定位和吊装控制，能够保证行车吊装作业过程的安全性和可靠性；本发明提供的方法实现方式简单方便，易于使用和维护；具有良好的兼容性和可扩展性，能够与其他设备进行无缝对接和协同作业。

附图说明

图1是本发明提供的一种基于视觉的钢板吊装精确定位方法的流程图；

图2是坐标系转换示意图；

图3为本发明提供的一种基于视觉的钢板吊装精确定位系统的结构图。

具体实施方式

本实施例提供一种基于视觉的钢板吊装精确定位方法，该基于视觉的钢板吊装精确定位方法的整体技术构思在于：利用高清工业相机和激光测距传感器实现对吊装现场图像信息和距离信息的采集，并通过IO-LINK模组将数据传输到工控机中进行处理；通过对采集的图像进行剪裁、拼接、灰度转换、边缘检测等处理获取钢板的边缘信息；通过获取的测距的信息和边缘信息，计算钢板的位置坐标，并进行坐标系转换至行车控制系统中的坐标系；通过OPC服务发送给行车控制系统，从而控制天车至所需位置进行自动吊装。

如图1所示，该基于视觉的钢板吊装精确定位方法包括如下步骤：

步骤1：获取多个钢板子区域初始俯视图以及距离信息：

本实施例中，利用四个高清工业相机实现对卸货区域视觉信息的采集，四个高清工业相机处于卸货区域上方，竖直朝下进行图像采集，通过设置的四个相机分别获取四个钢板子区域初始俯视图。而且。每个工业相机配置一个激光测距传感器为一组，共设置4组均匀分布在天车上，保证对整个卸货区的视觉感知。激光测距传感器用于采集当前时刻相机距离最上层钢板的高度，得到相机距离钢板的距离信息。本实施例中，工业相机镜头采用长焦镜头，减小成像时的畸变。

步骤2：对所述钢板子区域初始俯视图进行预处理，得到钢板子区域目标俯视图，并获取各钢板子区域目标俯视图中的直线集合，根据各钢板子区域目标俯视图中的直线集合，获取钢板的四个角点初始坐标：

对钢板子区域初始俯视图进行预处理，得到钢板子区域目标俯视图，其中，预处理方式具体是对钢板子区域初始俯视图进行滤波，得到钢板子区域目标俯视图。其中，使用高斯滤波器对图像进行过滤，去除对边缘检测影响较大的噪声点。

然后，获取各钢板子区域目标俯视图中的直线集合，包括如下步骤：

获取各钢板子区域目标俯视图的边缘信息，具体地：

(1)边缘特征提取。由于区域固定，钢板边缘线基本保持横屏竖直状态。因此，采用sobel算子对图像进行水平和竖直方向进行一阶求导，获取在水平和竖直方向上的梯度图G

(2)非极大值抑制。在水平、竖直及两对角线方向对图像G

(3)线条过滤。通过设置最大阈值T

根据各钢板子区域目标俯视图的边缘信息，采用Hough直线检测算法，得到各钢板子区域目标俯视图中的直线集合。具体地：利用Hough检测算法对图像

通过上述过程，可以得到四个相机中所有竖直线和水平线的集合。由于相机在同一水平线按顺序安装，因此各个相机中线条的空间顺序确定。

最后，根据各钢板子区域目标俯视图中的直线集合，获取钢板的四个角点初始坐标，具体地：

根据各钢板子区域目标俯视图中的直线集合，获取各钢板子区域目标俯视图中的水平边缘线和竖直边缘线；根据各钢板子区域目标俯视图中的水平边缘线和竖直边缘线，确定钢板的竖直方向上的左右边缘线和水平方向上的上下边缘线。其中，竖直方向边缘线确认：最左边相机取最右边的竖线，最右边的相机取最左边的竖线，中间两个相机取全部竖线，最后选取空间中距离最远的两条竖线作为钢板竖直方向的边缘线

根据钢板的竖直方向上的左右边缘线和水平方向上的上下边缘线，得到钢板的四个角点初始坐标。具体地，线

步骤3：对各钢板子区域目标俯视图进行图像拼接，得到钢板区域目标图像：

由于在进行相机安装的过程中，各个相机镜头在同一水平线且各个相机等间距分布，这保证了各个相机在水平方向上视觉重叠区域大小一定，方便实现对图像水平方向的拼接。为保证视觉上的拼接效果采用渐入渐出融合方式实现图像拼接融合。

相机1图像I

步骤4：根据钢板的四个角点初始坐标、所述钢板区域目标图像和所述距离信息进行坐标系转换，得到相机坐标系中各个角点目标坐标以及钢板尺寸：

如图2所示，在实际的物理环境中以相机镜头为远点，构建相机坐标系O(X，Y，Z)、像素坐标系o(m，n)和成像坐标系o(x，y)，由图2可知对于像素坐标系中一点p中的坐标为(m，n)，其在成像坐标系中对应坐标为(x，y)。其仿射变换为：

其中dx和dy分别代表在x和y方向上单个像素对应的长度，m

将上式中的成像坐标系转相机坐标系，最终得到相机坐标系与像素坐标系的仿射变换为：

其中Z为相机坐标系中P点在光轴方向上距离相机镜头的距离，为相机焦距。

像素坐标系中检测到的钢板四个角点坐标及所属相机，分别为左上(m

步骤5：将相机坐标系中各个角点目标坐标以及钢板尺寸进行发送，用于进行钢板吊装控制：

在获取行车控制系统中坐标系内的钢板左上角坐标

本实施例中，基于视觉的钢板吊装精确定位方法还包括：对获取到的各个角点目标坐标以及钢板尺寸进行存储，还存储识别后的图像，保障用户对历史数据的查询与分析统计。

本实施例中，基于视觉的钢板吊装精确定位方法还包括：对获取到的各个角点目标坐标、钢板尺寸以及钢板区域目标图像进行显示。同时，为边缘识别算法提供参数设置，便于现场操作工人对算法的优化调整。

本实施例还提供一种基于视觉的钢板吊装精确定位系统，如图3所示，包括数据采集模块、图像处理模块、定位计算模块、坐标推送模块、数据存储模块、人机交互模块。

数据采集模块用于实现吊装场景下视觉信息和激光测距信息的采集；图像处理模块用于对采集到的图像进行预处理，包括图像去噪、灰度化、图像拼接等操作，然后通过机器学习边缘检测算法对图像进行边缘检测；定位计算模块，用于实现对视觉检测结果和激光测距结果的计算并进行坐标系转换，实现对钢板位置、尺寸等信息的识别和定位；坐标推送模块主要用来将钢板位置坐标推送给行车控制系统，满足行车智能吊装的需求。

具体地，数据采集模块用于获取多个钢板子区域初始俯视图以及距离信息；图像处理模块，用于对所述钢板子区域初始俯视图进行预处理，得到钢板子区域目标俯视图，并获取各钢板子区域目标俯视图中的直线集合，根据各钢板子区域目标俯视图中的直线集合，获取钢板的四个角点初始坐标；对各钢板子区域目标俯视图进行图像拼接，得到钢板区域目标图像；定位计算模块用于根据钢板的四个角点初始坐标、所述钢板区域目标图像和所述距离信息进行坐标系转换，得到相机坐标系中各个角点目标坐标以及钢板尺寸；数据推送模块用于将相机坐标系中各个角点目标坐标以及钢板尺寸进行发送，用于进行钢板吊装控制。由于上述已对各个模块所对应的实现步骤进行了具体说明，不再赘述。

本实施例提供的一种基于视觉的钢板吊装精确定位系统还包括：数据存储模块，用于存储吊装钢板位置、尺寸等信息，方便后期的统计与查询；人机交互模块，用于对其他所需模块所需信息的设置与微调，并显示当前吊装钢板的视觉信息。该基于视觉的钢板吊装精确定位系统降低了现场工作人员手动操作行车移动到正确位置起吊钢板的操作频率，极大提高了钢板吊装的效率。

因此，本实施例提供的一种基于视觉的钢板吊装精确定位系统具有如下有点：1、高精度：采用高分辨率的摄像头和先进的图像处理算法，能够实现高精度的钢板定位。2、高效率：系统高性能工控机，快速计算并推送坐标，实现高效率的钢板吊装作业。3、安全性好：系统会对推送坐标进行安全检测，能够保证行车吊装作业过程的安全性和可靠性。4、操作简便：系统采用友好的人机界面，操作简单方便，易于使用和维护。5、兼容性强：系统具有良好的兼容性和可扩展性，能够与其他设备进行无缝对接和协同作业。