基于AI图像识别施工现场情况的方法及系统、设备、介质

技术领域

本发明涉及AI图像识别技术领域，尤其涉及一种基于AI图像识别施工现场情况的方法及系统、设备、介质，将AI图像识别技术引入施工现场进行管理，以AI图像识别技术替代人工巡场，及时发现施工现场异常情况，保证施工场地的安全。

背景技术

随着我国城市化进程不断加快，城市中越来越多的建筑改建、扩建、拆除项目使得施工越来越频繁，因此工人作业活动也愈发频繁。为追求经济效益和节省时间成本，部分施工现场作业无视城市管理规定，不遵守规则，不遵守施工流程，造成施工现场渣土泥污飘散，破坏城市环境，广为市民诟病。监管部门对施工现场通常采用图像识别技术的监管，准确度并不高，不能有效遏制上述现象，对施工现场活动也大多采用巡查、蹲点式监管，时间和人力成本高且效率低下，不能有效遏制上述现象。

图像识别技术是智能监控技术中常用技术手段之一，在工地上使用图像识别技术，可以监管施工场地的安全。但是在工地场景下因工地人员混杂，背景环境嘈杂，采集的视频图像结果不准确或者无法识别，导致识别结果错误，无法准确的对施工现场进行监管。同时，施工现场有各种车辆类别，普通的智能视频监控内无法准确识别谁在使用什么车辆，无法对施工现场情况进行准确监管。

AI图像识别技术是人工智能的一个领域，AI图像识别技术通过训练机器来训练分辨物体、物体距离、物体动静与否以及图像是否存在问题的能力，通过挖掘图像包含的各种深度特征增强网络模型的表征能力，减弱噪声的干扰，从而增强网络模型的检测性能，因此本文使用AI图像识别技术来识别施工现场情况，不仅能更准确的监控施工现场，同时训练网络模型对施工现场异常图像进行监控，确保工程施工安全。

为了确保工程施工安全，在施工工程中必须对工程进行严格的安全管理，因此，本发明提供了一种基于AI图像识别施工现场情况的方法及系统、设备、介质，将AI图像识别技术引入施工现场进行管理，以AI图像识别技术替代人工巡场，及时发现施工现场异常情况，保证施工场地的安全。

发明内容

本发明提供了一种基于AI图像识别施工现场情况的方法及系统、设备、介质，将AI图像识别技术引入施工现场进行管理，以AI图像识别技术替代人工巡场，及时发现施工现场异常情况，保证施工场地的安全。

本发明通过下述技术方案实现：一种基于AI图像识别施工现场情况的方法，包括以下步骤：

步骤S1，在施工现场内使用色差法采集有缺陷的的施工现场图片，对所述有缺陷的的施工现场图片进行标注，生成数据集，并划分为训练集、验证集和测试集；

步骤S2，构建网络模型，所述网络模型包括特征提取模块、目标检测模块和特征输出模块，在所述目标检测模块中使用空洞卷积层代替池化层进行特征检测；

步骤S3，使用Focal损失函数和CIOU损失函数指导所述网络模型学习；

步骤S4，训练网络模型，获取训练好的网络模型，实时采集施工现场施工车辆图像，将所述施工现场图像输入进训练好的网络模型中，识别有缺陷的施工现场图片，并及时发出预警。

为了更好地实现本发明，进一步地，所述步骤S1包括：

采集施工现场视频，对施工现场视频进行逐帧分析；

在施工现场情况的三维空间里，假设以XYZ建立坐标系，已知物体色X、Y、Z三刺激值可以表示为：

其中，k是调节系数，S(λ)是光源的光谱功率分布，τ(λ)物体光谱透射比，

施工现场图片中任意两点之间的色差ΔE表示为：

为了更好地实现本发明，进一步地，所述步骤S2中网络模型的结构包括：

所述特征提取模块包括从前到后依次连接的第一卷积层、第一批归一化层、线性修正层，所述目标检测模块包括空洞卷积层、第一残差块层、第二残差块层、第三残差块层、第二批归一化层、第三批归一化层、第四批归一化层、第一反卷积层、第二反卷积层和第三反卷积层；

所述空洞卷积层、第二批归一化层、第二残差块层、第三批归一化层、第三残差块层、第四批归一化层从前到后依次连接，所述第二批归一化层和第二残差块层之间连接所述第一反卷积层，所述第三批归一化层和第三残差块层之间连接所述第二反卷积层，所述第四批归一化层连接所述第三反卷积层，所述第一反卷积层、第二反卷积层和第三反卷积层依次连接；

所述特征输出模块包括归一化指数层。

为了更好地实现本发明，进一步地，使用所述第一卷积层提取有缺陷的的施工现场图片数据的特征，使用所述第一批归一化层对输入的不同的有缺陷的的施工现场图片数据的特征进行处理，调整中间输出参数，再使用所述第一批归一化层调整参数的相互依存关系；

使用所述空洞卷积层代替池化层获取多尺度信息，避免信息丢失；使用所述第一残差块层和第二批归一化层、第二残差块层和第三批归一化层、第三残差块层和第四批归一化层的组合进行信息采样，使用所述第一反卷积层、第二反卷积层和第三反卷积层进行特征融合以获取信息并恢复原始尺寸；

使用所述归一化指数层输出结果。

为了更好地实现本发明，进一步地，所述步骤S4中使用Focal损失函数指导所述网络模型学习的方法包括：

Focal损失函数中针对正负样本采用加权，增加正样本贡献，降低负样本贡献，并表示为：

其中针对分类问题，y＝1为标签样本，p为类别置信度，α

为了更好地实现本发明，进一步地，所述步骤S4中使用CIOU损失函数指导所述网络模型学习的方法包括：

CIOU损失函数表示为：

其中，ρ

为了更好地实现本发明，进一步地，所述步骤S4包括：

预设图像输入大小参数、训练轮数参数、批次大小参数、优化器参数、线程数参数、初始学习率参数和学习率因子参数，通过不断迭代衰减损失值达到优化网络参数权重，当迭代次数等于最大迭代次数，中止对训练集的训练，获取训练好的网络模型，并使用测试集测试网络模型的性能。

本发明还提供了一种基于AI图像识别施工现场情况的系统，包括采集单元、网络模型构建单元和检测单元，其中：

采集单元，用于在施工现场内使用色差法采集有缺陷的的施工现场图片，对所述有缺陷的的施工现场图片进行标注，生成数据集，并划分为训练集、验证集和测试集；

网络模型构建单元，用于构建网络模型，所述网络模型包括特征提取模块、目标检测模块和特征输出模块，在所述目标检测模块中使用空洞卷积层代替池化层进行特征检测；用于使用Focal损失函数和CIOU损失函数指导所述网络模型学习

检测单元，用于训练网络模型，获取训练好的网络模型，实时采集施工现场施工车辆图像，将所述施工现场图像输入进训练好的网络模型中，识别有缺陷的施工现场图片，并及时发出预警。

本发明还提供了一种电子设备，该电子设备包括处理器和存储器；处理器中包括上述第二方面所记载的基于AI图像识别施工现场情况的系统。

本发明还提供了一种计算机可读存储介质，该计算机可读存储介质包括指令；当指令在上述第三方面所记载的电子设备上运行时，使得电子设备执行上述第一方面所记载的方法。

本发明与现有技术相比，具有以下优点及有益效果：

(1)本发明提供一种基于AI图像识别施工现场情况的方法及系统、设备、介质，AI图像识别技术引入施工现场进行管理，以AI图像识别技术替代人工巡场，及时发现施工现场异常情况，保证施工场地的安全；

(2)本发明提供一种基于AI图像识别施工现场情况的方法及系统、设备、介质，本发明提出的网络结构能够有效减小了两部分特征图间的差异，提高识别精度和效率。

附图说明

本发明结合下面附图和实施例做进一步说明，本发明所有构思创新应视为所公开内容和本发明保护范围。

图1为本申请实施例提供的一种基于AI图像识别施工现场情况的方法及系统、设备、介质中方法的流程示意图；

图2为申请实施例提供的一种基于AI图像识别施工现场情况的方法及系统、设备、介质中网络模型的结构示意图。

具体实施方式

为了更清楚地说明本发明实施例的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，应当理解，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例，因此不应被看作是对保护范围的限定。基于本发明中的实施例，本领域普通技术工作人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“设置”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体的连接；可以是机械连接，也可以是电连接；也可以是直接相连，也可以是通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

实施例1：

本实施例的一种基于AI图像识别施工现场情况的方法及系统、设备、介质，计算机视觉是人工智能(AI)的一个领域，AI图像识别技术需要大量数据重复复地运行数据分析，直到能够辨别差异并最终识别图像为止。在本发明中，要训练一台计算机识别施工现场情况，需要为其输入大量的施工现场情况图像和施工现场情况相关数据，供其学习施工现场情况差异。这个过程会用到两种关键技术：一种是机器学习，叫做深度学习，另一种是卷积神经网络(CNN)。机器学习使用算法模型，让计算机能够自行学习视觉数据的上下文。如果通过模型馈入足够多的数据，计算机就能″查看″数据并通过自学掌握分辨图像的能力。算法赋予机器自学的能力，而无需人类编程来使计算机能够识别图像。卷积神经网络将图像分解为像素，并为像素指定标记或标签，从而使机器学习或深度学习模型能够″看″到物体。它使用标签来执行卷积运算并预测它″看到″的东西。该神经网络运行卷积运算，并通过一系列迭代检验预测准确度，直到预测开始接近事实。

如图1所示，本发明包括以下步骤：

步骤S1，在施工现场内使用色差法采集有缺陷的的施工现场图片，对有缺陷的的施工现场图片进行标注，生成数据集，并划分为训练集、验证集和测试集；

步骤S2，构建网络模型，网络模型包括特征提取模块、目标检测模块和特征输出模块，在目标检测模块中使用空洞卷积层代替池化层进行特征检测；

步骤S3，使用Focal损失函数和CIOU损失函数指导网络模型学习；

步骤S4，训练网络模型，获取训练好的网络模型，实时采集施工现场施工车辆图像，将施工现场图像输入进训练好的网络模型中，识别有缺陷的施工现场图片，并及时发出预警。

本实施例构建的数据集包含目标检测相应的标注信息，同时包含施工现场场景下的工人图像、施工用车等数据，施工现场经常出现各种灰尘、遮挡、光线问题，因此在施工现场的监控经常无法准确的识别施工现场情况，所以本实施例采集有缺陷的施工现场视频，逐帧分析其中有缺陷的施工现场图片，这里有缺陷的施工现场图片是指识别不清的施工现场图片、有遮挡的施工现场图片、有光线问题的施工现场图片。

按照训练集∶验证集∶测试集＝8∶1∶1的比例划分采集的有缺陷的的施工现场图片数据集，为扩充数据量，增强模型对各种不良影响的鲁棒性，对数据集的训练集进行以下数据增强。数据增强方式包括水平翻转、旋转、放射变换、亮度调节、曝光调节、模糊、噪点、裁剪，并将训练集按照1∶3进行扩充。这些数据增强虽然会增加学习难度，但是会增强模型在对抗不良角度、局部遮挡、画质模糊等影响的鲁棒性。

实施例2：

本实施例在实施例1的基础上做进一步优化，对有缺陷的的施工现场图片进行标注的过程如下：首先建立数据集标注项目，接着上传未标注图像数据，通过将图像标注任务分配给个人执行标注任务，最后生成数据集版本。

本实施例的其他部分与实施例1相同，故不再赘述。

实施例3：

本实施例在上述实施例1或2的基础上做进一步优化，如图2所示，特征提取模块包括从前到后依次连接的第一卷积层、第一批归一化层、线性修正层，目标检测模块包括空洞卷积层、第一残差块层、第二残差块层、第三残差块层、第二批归一化层、第三批归一化层、第四批归一化层、第一反卷积层、第二反卷积层和第三反卷积层；

空洞卷积层、第二批归一化层、第二残差块层、第三批归一化层、第三残差块层、第四批归一化层从前到后依次连接，第二批归一化层和第二残差块层之间连接第一反卷积层，第三批归一化层和第三残差块层之间连接第二反卷积层，第四批归一化层连接第三反卷积层，第一反卷积层、第二反卷积层和第三反卷积层依次连接；

特征输出模块包括归一化指数层。

本发明提出的网络结构使用空洞卷积层代替池化层进行特征检测，并去除了最后的全连接层和全局平均池化层，只使用一个归一化指数层(归一化指数层进行输出)多分类器进行融合输出。由于最大池化在提供更大的感受视野的同时，分辨率降低，会导致空间信息数据丢失。而空洞卷积可以在相同计算量的前提下，提更大的感受野。故将池化层改为了空洞率为2的空洞卷积层。残差块层和批归一化层进行组合采样后会使用反卷积层进行特征融合和尺寸恢复。

本发明提出的网络结构能够有效减小了两部分特征图间的差异，提高识别精度和效率。此外，在对图像进行卷积的过程中使用的是同一个滤波器，这样可以使各个区域的节点具有相同的权值，从而实现在不同空间位置对同一特征进行分析的可能，有效的保证了网络的平移不变性。还可以大幅降低网络训练中所使用的参数数量，从而降低训练环境对内存所需的要求，增强网络性能的稳定性，有效避免过拟合现象的发生。

实施例4：

本实施例在上述实施例1-3任一项的基础上做进一步优化，有缺陷的施工现场图片是指识别不清的施工现场图片、有遮挡的施工现场图片、有光线问题的施工现场图片。无论是哪种有缺陷的施工现场图片，一定出现的问题就是图片的色度出现了问题。

颜色以颜色(C)可以使用数学的方式直接表达，调节红(R)、绿(G)、蓝(B)

三原色光的强度，相混合后可以达到视觉上的颜色匹配，方程式可以表达为：

(C)≡R(R)+G(G)+B(B)，“≡”表示匹配，R(R)表示红色的量为R，G(G)表示绿色的量为G，B(B)表示蓝色的量为B。

颜色刺激函数

其中，/>

对于光源色和物体色的三刺激值，对于整个可见光范围内混合颜色的三刺激值可以表达为：

在施工现场情况的三维空间里，假设以XYZ建立坐标系，已知物体色X、Y、Z三刺激值可以表示为：

其中，k是调节系数，S(λ)是光源的光谱功率分布，τ(λ)物体光谱透射比，

分别对X、Y、Z三刺激值进行拟合，判断同一张图片内两点之间的色差，由于施工现场图像是逐帧取图，所以通过比较相邻两帧照片的色差筛选有缺陷的施工现场图片。

两点之间的色差ΔE表示为：

W

V

U

其中，X

本实施例的其他部分与上述实施例1-3任一项相同，故不再赘述。

实施例5：

本实施例在上述实施例1-4任一项基础上做进一步优化，网络模型搭建完成后，设置图像输入大小参数为640*640*3，设置训练轮数为200，设置批次大小为64，设置优化器为SGD，设置线程数为4，设置初始学习率为0.01，设置学习率因子为0.01，设置训练早停观察周期数为50，通过不断迭代衰减损失值达到网络参数权重优化的目的，直到迭代次数等于最大迭代次数，中止对训练集的训练，模型训练结束，最后在实际场景下测试模型性能。

其中，损失函数选用Focal损失函数，为了解决正负样本不平衡和难易样本不平衡问题，针对分类问题，为标签样本，为类别置信度。Focal损失函数中针对正负样本采用加权，增加正样本贡献，降低负样本贡献，并表示为：

其中针对分类问题，y＝1为标签样本，p为类别置信度，α

损失函数选用CIOU损失函数，用于解决错误增加预测框面积的问题，更快速更全面更准确的回归预测框，表示为：

其中，ρ

实施例6：

本发明还提供了一种和方法相匹配的基于AI图像识别施工现场情况的系统，包括采集单元、网络模型构建单元和检测单元。

本发明还提供了一种电子设备，该电子设备包括处理器和存储器；处理器中包括上述所记载的基于AI图像识别施工现场情况的系统。

实施例7：

本发明还提供了一种计算机可读存储介质，该计算机可读存储介质包括指令；当指令在上述实施例所记载的电子设备上运行时，使得电子设备执行上述实施例所记载的方法。可选地，计算机可读存储介质可以为存储器。

本申请实施例涉及的处理器可以是一个芯片。例如，可以是现场可编程门阵列(field programmable gate array，FPGA)，可以是专用集成芯片(application specificintegrated circuit，ASIC)，还可以是系统芯片(system on chip，SoC)，还可以是中央处理器(central processor unit，CPU)，还可以是网络处理器(network processor，NP)，还可以是数字信号处理电路(digital signal processor，DSP)，还可以是微控制器(microcontrollerunit，MCU)，还可以是可编程控制器(programmable logic device，PLD)或其他集成芯片。

本申请实施例涉及的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read-onlymemory，ROM)、可编程只读存储器(programmable ROM，PROM)、可擦除可编程只读存储器(erasablePROM，EPROM)、电可擦除可编程只读存储器(electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(random access memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(staticRAM，SRAM)、动态随机存取存储器(dynamic RAM，DRAM)、同步动态随机存取存储器(synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(doubledatarateSDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synchlink DRAM，SLDRAM)和直接内存总线随机存取存储器(directrambus RAM，DR RAM)。应注意，本文描述的系统和方法的存储器旨在包括但不限于这些和任意其它适合类型的存储器。

应理解，在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，设备或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个设备，或者也可以分布到多个设备上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能模块可以集成在一个设备中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个设备中。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件程序实现时，可以全部或部分地以计算机程序产品的形式来实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或者数据中心通过有线(例如同轴电缆、光纤、数字用户线(Digital Subscriber Line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可以用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)，光介质(例如，DVD)、或者半导体介质(例如固态硬盘(Solid State Disk，SSD))等。

以上所述，仅是本发明的较佳实施例，并非对本发明做任何形式上的限制，凡是依据本发明的技术实质对以上实施例所做的任何简单修改、等同变化，均落入本发明的保护范围之内。