一种多角度打光的墙面施工质量检测方法

技术领域

本发明涉及建筑墙面施工检测技术领域，尤其是涉及一种多角度打光的墙面施工质量检测方法。

背景技术

在建筑机器人进行墙面施工过程中，需要有一种合适的方案对设备施工的最终结果进行评估，而现场评估过程与观测者的角度、光线的角度强相关，工厂墙面装修实施验收标准较低，只需要进行正面打光、正面观察，验收合格即可，而对于家庭装修标准，则还需要使用侧面打光、正面观察的方法，正面、侧面打光均合格，墙面施工质量检测才为合格。

而建筑墙面处理机器人对墙面完成施工后，通过设备云台前方的摄像头以及补光灯对墙面进行拍照，通过图像对施工质量进行判断，但摄像头、补光灯位置固定，只能拍摄的到正面光照、正面拍摄的图像，只适应工厂标准的检验方式，而对于高标准的家庭装修，则需要使用算法模拟出侧面光照、正面拍摄的效果，从而检验家庭墙面装修效果是否达标。

发明内容

本发明的目的在于提供一种多角度打光的墙面施工质量检测方法，以解决现有技术中家庭墙面装修需要协同检验侧面光照、正面拍摄墙面效果的技术问题。

本发明提供一种多角度打光的墙面施工质量检测方法，该质量检测方法需要配合建筑墙面处理机器人使用，该建筑墙面处理机器人通过设备云台控制墙面处理机构进行墙面腻子的刮批打磨，所述设备云台正前方固定有摄像头和补光灯，其特征在于：所述设备云台前侧方同样固定有补光灯，通过建筑墙面处理机器人进行墙面施工质量的检测，该质量检测方法包括：

Sp1：采集数据：使用设备云台前方的摄像头，以及设备云台前方的补光灯进行图像数据采集，采集到的图像数据作为训练集的训练数据的输入，在相同位置，关闭前方补光灯，打开侧方补光灯，作为训练数据对应的标签，在相同位置，通过补光灯正面打光、侧面打光各采集一次图像，二者一一对应，作为神经网络训练时的输入及标签；

Sp2：深度学习：使用原始图像卷积，再反卷积的方法生成与原始图像对应的图像，新图像生成后即对应侧面打光照射下正拍的图像；

Sp3：传统视觉算法：对上述图像进行阴影调整算法，加大原图中阴影部分的暗化效果，形成更明显的视觉对比，模拟侧面打光的效果，首先要识别出阴影区，再通过对阴影区的色彩做变换处理，使其达到暗化效果，最后对阴影区和非阴影区间的边缘作平滑处理；

Sp4：判断施工质量：对上述得到的所有边缘，计算边缘所占的总长度q，q即为墙面是否有痕迹的判断标准，对于全图求其方差δ，将方差δ作为墙面整体是否均一的判断标准，根据经验调试，选取合适的q与δ阈值，任一值大于阈值的墙即为不合格。

进一步，所述深度学习方法中，包含如下步骤：

Sp2-1：图像生成网络采用全卷积神经网络，以左边网络为特征提取网络，使用conv卷积和poo l i ng池化，收缩路径上是每两个3*3的卷积层，后跟一个2*2的最大池化层，其步长为2，并且每个卷积层后面采用re l u激活函数来对原始图片进行降采样操作，同时，每一次降采样都会增加一倍通道数；

Sp2-2：以右边网络为特征生成网络，使用上采样产生的特征图与左侧特征图进行连接操作，在扩展路径的向上采样中，每一步会有一个2*2的卷积层，且其激活函数也是rel u，以及两个3*3的卷积层，同时，每一步的升采样都会加入来自相对应收缩路径的特征图，并经裁剪以保持相同的形状；

Sp2-3：最后再经过两次卷积操作，生成特征图，再用两个卷积和大小为1*1的卷积做分类得到三张图，代表图像的R、G、B三层，再与数据库中图像求取损失函数，反向传播计算。

进一步，所述传统视觉算法中，包括以下步骤：

Sp3-1：将图像转为灰度图，并归一化；

Sp3-2：确定阴影区：每个图像点的灰度值为gray，每个点计算d＝(1-gray)*(1-gray)，对全图求d的平均值d1，并以d1作为分界线；

Sp3-3：在d>d1的区域，即原图较暗的区域，将原图的RGB通道的数值缩小，在d

进一步，基于所述传统视觉算法得到的图像数据，图像光源转换后，既可对施工质量进行评价，墙面施工的肉眼评价标准为颜色均一，没有条纹起伏，对应图像即为图像的色彩均一，没有明显边缘。

进一步，采用边缘检测算法检测图像中边缘的数量及长度，采用Canny边缘检测方法，包括以下步骤：

步骤一：消除噪声：对原始图像的像素产生的边缘噪声，使用高斯模糊化去除大部分边缘噪声，或者尽量减少不必要的图像细节产生不必要的边缘；

步骤二：计算图像的亮度梯度值：在图像平滑后，使用Sobe l水平和垂直卷积核对图像并进行滤波，利用滤波结果计算出亮度梯度的幅值G和方向θ，其中，计算方法如下：

步骤三：减除虚假边缘：完成了图像中的噪声去除和亮度梯度计算，使用non-maxi mum supperss i on来剔除不需要的像素，通过比较每个像素与周围像素在水平和垂直两个方向上的梯度值来实现剔除虚假边缘，若某像素对应的梯度在局部是最大的，即比他的上下左右像素梯度更大，它就保留下来，否则将就该像素置为0；

步骤四：梯度值与两个阈值进行比较，两个阈值中的一个小于另外一个，判断梯度值的强度。

进一步，所述梯度值比较判断中，如果图像梯度值比较大的阈值还大，代表这个像素是一个很强的边缘，它被保留在最后的边缘图中；如果梯度值小于较小的阈值，则改像素被抑制，从最终边缘图中去除；如果梯度值落在两个给定阈值范围之内，该像素标记为弱边缘，若弱边缘与强边缘相连，则将其保留在边缘图中，反之，则去除。

与现有技术相比较，本发明的有益效果在于：

现有技术中，建筑墙面处理机器人对墙面完成施工后，通过设备云台前方的摄像头以及补光灯对墙面进行拍照，通过图像对施工质量进行判断，但摄像头、补光灯位置固定，只能拍摄的到正面光照、正面拍摄的图像，只适应工厂标准的检验方式，而对于高标准的家庭装修，则需要使用算法模拟出侧面光照、正面拍摄的效果，从而检验家庭墙面装修效果是否达标，针对此类情况，本发明设计了一种墙面施工质量检测方法，通过配合建筑墙面处理机器人，利用摄像头进行图像采集，在其设备云台的前方和前侧方均设置补光灯，将两个方向打光后拍下的图像数据依次通过深度学习和传统视觉算法，深度学习使用原始图像卷积，再反卷积的方法生成与原始图像对应的图像，新图像生成后即对应斜光照射下正拍的图像，而通过传统视觉算法进行图像的处理，通过计算图像边缘数量及长度，从而达到判断墙面是否有明显痕迹的依据，可从多角度检测家庭墙面装修的质量。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明中采集墙面图像数据的示意图；

图2为本发明中墙面检测方法的流程图。

具体实施方式

下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。

通常在此处附图中描述和显示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。

基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

具体实施例：

下面结合图1至图2所示，本发明实施例提供了一种多角度打光的墙面施工质量检测方法，该质量检测方法需要配合建筑墙面处理机器人使用，该建筑墙面处理机器人通过设备云台控制墙面处理机构进行墙面腻子的刮批打磨，所述设备云台正前方固定有摄像头和补光灯，其特征在于：所述设备云台前侧方同样固定有补光灯，通过建筑墙面处理机器人进行墙面施工质量的检测，该质量检测方法包括：

Sp1：采集数据：使用设备云台前方的摄像头，以及设备云台前方的补光灯进行图像数据采集，采集到的图像数据作为训练集的训练数据的输入，在相同位置，关闭前方补光灯，打开侧方补光灯，作为训练数据对应的标签，在相同位置，通过补光灯正面打光、侧面打光各采集一次图像，二者一一对应，作为神经网络训练时的输入及标签；

Sp2：深度学习：使用原始图像卷积，再反卷积的方法生成与原始图像对应的图像，新图像生成后即对应侧面打光照射下正拍的图像；

所述深度学习方法中，包含如下步骤：

Sp2-1：图像生成网络采用全卷积神经网络，以左边网络为特征提取网络，使用conv卷积和poo l i ng池化，收缩路径上是每两个3*3的卷积层，后跟一个2*2的最大池化层，其步长为2，并且每个卷积层后面采用re l u激活函数来对原始图片进行降采样操作，同时，每一次降采样都会增加一倍通道数；

Sp2-2：以右边网络为特征生成网络，使用上采样产生的特征图与左侧特征图进行连接操作，在扩展路径的向上采样中，每一步会有一个2*2的卷积层，且其激活函数也是rel u，以及两个3*3的卷积层，同时，每一步的升采样都会加入来自相对应收缩路径的特征图，并经裁剪以保持相同的形状；

Sp2-3：最后再经过两次卷积操作，生成特征图，再用两个卷积和大小为1*1的卷积做分类得到三张图，代表图像的R、G、B三层，再与数据库中图像求取损失函数，反向传播计算；

Sp3：传统视觉算法：对上述图像进行阴影调整算法，加大原图中阴影部分的暗化效果，形成更明显的视觉对比，模拟侧面打光的效果，首先要识别出阴影区，再通过对阴影区的色彩做变换处理，使其达到暗化效果，最后对阴影区和非阴影区间的边缘作平滑处理；

所述传统视觉算法中，包括以下步骤：

Sp3-1：将图像转为灰度图，并归一化；

Sp3-2：确定阴影区：每个图像点的灰度值为gray，每个点计算d＝(1-gray)*(1-gray)，对全图求d的平均值d1，并以d1作为分界线；

Sp3-3：在d>d1的区域，即原图较暗的区域，将原图的RGB通道的数值缩小，在d

基于所述传统视觉算法得到的图像数据，图像光源转换后，既可对施工质量进行评价，墙面施工的肉眼评价标准为颜色均一，没有条纹起伏，对应图像即为图像的色彩均一，没有明显边缘，采用边缘检测算法检测图像中边缘的数量及长度，采用Canny边缘检测方法，包括以下步骤：

步骤一：消除噪声：对原始图像的像素产生的边缘噪声，使用高斯模糊化去除大部分边缘噪声，或者尽量减少不必要的图像细节产生不必要的边缘；

步骤二：计算图像的亮度梯度值：在图像平滑后，使用Sobe l水平和垂直卷积核对图像并进行滤波，利用滤波结果计算出亮度梯度的幅值G和方向θ，其中，计算方法如下：

步骤三：减除虚假边缘：完成了图像中的噪声去除和亮度梯度计算，使用non-maxi mum supperss i on来剔除不需要的像素，通过比较每个像素与周围像素在水平和垂直两个方向上的梯度值来实现剔除虚假边缘，若某像素对应的梯度在局部是最大的，即比他的上下左右像素梯度更大，它就保留下来，否则将就该像素置为0；

步骤四：梯度值与两个阈值进行比较，两个阈值中的一个小于另外一个，判断梯度值的强度；

所述梯度值比较判断中，如果图像梯度值比较大的阈值还大，代表这个像素是一个很强的边缘，它被保留在最后的边缘图中；如果梯度值小于较小的阈值，则改像素被抑制，从最终边缘图中去除；如果梯度值落在两个给定阈值范围之内，该像素标记为弱边缘，若弱边缘与强边缘相连，则将其保留在边缘图中，反之，则去除；

Sp4：判断施工质量：对上述得到的所有边缘，计算边缘所占的总长度q，q即为墙面是否有痕迹的判断标准，对于全图求其方差δ，将方差δ作为墙面整体是否均一的判断标准，根据经验调试，选取合适的q与δ阈值，任一值大于阈值的墙即为不合格。

现有技术中，建筑墙面处理机器人对墙面完成施工后，通过设备云台前方的摄像头以及补光灯对墙面进行拍照，通过图像对施工质量进行判断，但摄像头、补光灯位置固定，只能拍摄的到正面光照、正面拍摄的图像，只适应工厂标准的检验方式，而对于高标准的家庭装修，则需要使用算法模拟出侧面光照、正面拍摄的效果，从而检验家庭墙面装修效果是否达标，针对此类情况，本发明设计了一种墙面施工质量检测方法，通过配合建筑墙面处理机器人，利用摄像头进行图像采集，在其设备云台的前方和前侧方均设置补光灯，将两个方向打光后拍下的图像数据依次通过深度学习和传统视觉算法，深度学习使用原始图像卷积，再反卷积的方法生成与原始图像对应的图像，新图像生成后即对应斜光照射下正拍的图像，而通过传统视觉算法进行图像的处理，通过计算图像边缘数量及长度，从而达到判断墙面是否有明显痕迹的依据，可从多角度检测家庭墙面装修的质量。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。