一种基于5G相机的事件触发方法和系统

技术领域

本发明属于汽车装配外形尺寸检测技术领域，具体涉及一种基于5G相机的事件触发方法和系统。

背景技术

随着智能制造和工业互联网的迅速发展，对于制造设备的可靠性提出了更高的要求。在汽车生产过程中，如何快速、准确地检测出制造出的汽车装配件的尺寸是否出现偏差是一项重要问题。

当前，对于生产线中汽车装配件的偏差诊断，主要还是依靠人工检测，检测人员通过手持的检查设备来检查汽车装配件是否存在尺寸偏差，费时费力，而且依赖于经验和专业知识，容易受到主观因素的影响，导致故障诊断的准确性和一致性差。

随着模式识别、机器视觉、深度学习等技术的迅速发展，以及对于装配过程中尺寸偏差诊断的迫切需要，越来越多的现代化技术被应用到汽车装配件的尺寸偏差诊断过程中。

现有技术中存在通过手持的检查设备检测汽车装配件的尺寸偏差，根据测量的偏差尺寸，利用和以往记录的参考数值进行对比，进而确定汽车装配件的制造过程中，汽车装配件的尺寸是否出现偏差。

然而，检查人员测量尺寸偏差，存在测量时需要不断的把检查设备在各个检查工位搬动。另一方面，人工检查时，受限于检查人员需要进入生产区域，影响生产的连续性，同时如检查人员操作不规范，存在检查设备或汽车装配件被损坏的风险。

发明内容

为了解决依靠人工检查，费时费力，而且依赖于经验和专业知识，容易受到主观因素的影响，导致故障诊断的准确性和一致性差，本发明提供一种基于5G相机的事件触发方法和系统。

第一方面

本发明提供了一种基于5G相机的事件触发方法，包括：

S101：在汽车生产线的检测工位处放置5G相机；

S102：通过所述5G相机拍摄汽车装配件的第一图像；

S103：接收所述5G相机通过5G信号传输的所述第一图像，将所述第一图像与服务器存储的设备图像进行比对；若一致，将所述第一图像存储至所述服务器，进入S104；否则，确定汽车装配件的尺寸出现偏差，触发警报；

S104：按照预设时间间隔，通过所述5G相机拍摄第二图像；

S105：将所述第二图像与所述服务器存储的第一图像进行比对；若一致，将所述第一图像存储至所述服务器，将所述第二图像删除，重新进入S104；否则，确定汽车装配件的尺寸出现偏差，触发警报。

第二方面

本发明提供了一种基于5G相机的事件触发系统，用于执行第一方面中的基于5G相机的事件触发方法。

与现有技术相比，本发明至少具有以下有益技术效果：

在本发明中，通过5G相机周期性地拍摄设备图像，并与先前的图像进行比对，可以自动化检测设备的状态是否发生了变化，如果发生了变化，可能表示设备出现故障，并触发警报，以便及时采取措施修复或替换设备。无需人工参与，省时省力，避免受到主观因素的影响，提升故障诊断的准确性和一致性。5G相机安装不易受到限制，只需保证在5G相机的视野中能够拍摄到制造设备即可，可以采用任意的安装方式安装5G相机，并且图像分析方式可以适用于各种汽车装配件的偏差诊断，不会仅仅局限于某一类机械设备，检测范围广，有利于技术的推广。

附图说明

下面将以明确易懂的方式，结合附图说明优选实施方式，对本发明的上述特性、技术特征、优点及其实现方式予以进一步说明。

图1是本发明提供的一种基于5G相机的事件触发方法的流程示意图；

图2是本发明提供的一种图像相似度计算方法的流程示意图。

具体实施方式

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。

实施例1

在一个实施例中，参考说明书附图1，示出了本发明提供的一种基于5G相机的事件触发方法的流程示意图。

本发明提供的一种基于5G相机的事件触发方法，包括：

S101：在汽车生产线的检测工位处放置5G相机。

其中，检测工位可以是为了专门为了5G相机拍摄制造设备而设置的工位。

其中，5G相机是一种具有5G网络连接功能的摄像设备。5G相机自带锂电池，通过5G信号传输，不需要外面接线，方便移动。今天可以在A检测工位拍照检测，明天则可以移到B检测工位进行拍照测量。

进一步地，5G相机安装不易受到限制，只需保证在5G相机的视野中能够拍摄到制造设备即可，可以采用任意的安装方式安装5G相机。

S102：通过5G相机拍摄汽车装配件的第一图像。

S103：接收所述5G相机通过5G信号传输的所述第一图像，将第一图像与服务器存储的设备图像进行比对。若一致，将第一图像存储至服务器，进入S104。否则，确定汽车装配件的尺寸出现偏差，触发警报。

参考说明书附图2，示出了本发明提供的一种图像相似度计算方法的流程示意图。

S103具体包括子步骤S1031至S1035：

S1031：对第一图像和设备图像进行预处理。

其中，预处理可以包括：降噪、亮度均衡、对比度均衡等。

在一种可能的实施方式中，为了消除不同气候、不同灯光、不同光照条件对于图像的影响，本发明提出了一种全新的亮度均衡方法，子步骤S1031具体包括：

根据以下公式，对第一图像和设备图像进行亮度均衡：

I

γ＝log

其中，I

其中，

需要说明的是，不同气候和不同光照条件下的图像可能具有不同的亮度，亮度均衡可以帮助消除这些差异，减少光照条件的干扰，使图像更一致，更容易进行比较和分析，提高算法的准确性和一致性。

S1032：提取预处理后的第一图像和设备图像的图像特征。

具体而言，可以采用卷积神经网络、颜色直方图、SIFT算法、颜色矩算法等提取图像特征。

在一种可能的实施方式中，子步骤S1032具体包括孙步骤S10321至S13024：

S10321：通过卷积神经网络提取第一特征向量。

其中，卷积神经网络是一种深度学习模型，特别适用于处理图像和视觉数据。它的核心思想是使用卷积层、池化层和全连接层等组件来学习图像中的特征，并用于分类、检测和分割等任务。

在一种可能的实施方式中，卷积神经网络包括：输入层、卷积层、池化层、归一化层和输出层，S10321具体包括：

将亮度均衡处理后的图像输入至输入层。

在卷积层中，对来自上一层的特征映射与卷积核进行卷积运算：

其中，

其中，卷积层通过卷积运算对输入图像进行特征提取，捕获不同尺度和层次的特征信息。

在池化层中，对输入的特征映射进行下采样操作，进行池化处理：

其中，down表示下采样函数，

其中，下采样函数可以采用平均池化函数或者最大池化函数。

其中，池化层通过下采样操作降低特征图的尺寸，同时保留重要的特征，有助于提取更加鲁棒的图像表示。这些特征对于后续的缺陷分类具有重要意义。

在归一化层中，对输入特征进行归一化处理：

其中，

其中，归一化层可以帮助规范化特征值的分布，有助于加速网络的收敛，并且提高模型的鲁棒性。通过将特征值进行归一化，可以减少训练过程中的梯度消失问题，使得网络更加稳定。

在输出层中，将归一化后的特征值组合为特征向量并输出。

在本发明中，使用卷积神经网络来提取第一特征向量，有助于从亮度均衡后的图像中提取具有代表性的特征，提高图像的表征能力，为后续的图像比对和分析提供更有信息量的数据。

S10322：通过颜色直方图提取第二特征向量。

其中，颜色直方图是一种用于描述图像颜色分布的统计工具。它将图像中各种颜色的出现频率表示为直方图，通常以不同颜色通道(如红、绿、蓝)的像素值为横坐标，像素数量或出现频率为纵坐标。

在一种可能的实施方式中，所述S10322具体包括：

通过以下公式，从颜色直方图中提取出各种颜色出现的概率：

其中，b

将各种颜色出现的概率组合为第二特征向量：

B＝[b

其中，B表示第二特征向量。

在本发明中，颜色直方图可以捕捉图像中各种颜色的分布和出现频率，识别图像中的主要颜色和色彩组合，可以增强图像的表征能力。

S10323：通过SIFT算法提取第三特征向量。

其中，SIFT算法是一种用于检测和描述图像中的局部特征的计算机视觉算法。它具有尺度不变性和旋转不变性，可以用于在不同尺度和角度下识别图像中的特征点。

在一种可能的实施方式中，S10323具体包括：

根据SIFT算法，确定需要计算的图像区域半径：

其中，r表示图像区域半径，λ表示关键点所在组的尺度，d表示高斯金字塔的组数。

优选地，d＝4。

旋转坐标轴到关键点主方向。

以关键点为中心，分为16×16个子区域，再按照关键点尺度空间内4×4的窗口计算8个方向的尺度信息，生成4×4×8＝128维的第三特征向量。

在本发明中，SIFT算法能够在不同尺度下检测相同的特征点，并计算其特征描述，无论物体在图像中的尺寸如何变化，SIFT都能够识别并匹配相同的特征点，有助于提取具有尺度不变性、旋转不变性和局部性质的特征向量，提升相似度计算的准确性。

S10324：通过颜色矩算法提取第四特征向量。

在一种可能的实施方式中，S10324具体包括：

通过以下公式计算图像的一阶、二阶以及三阶颜色矩：

其中，e

需要说明的是，一个图像往往具有R通道、G通道、B通道这三个通道。

将一阶、二阶以及三阶颜色矩组合为第四特征向量。

在本发明中，颜色矩算法通过计算一阶、二阶和三阶颜色矩，可以捕捉图像中各个颜色通道的统计信息，有助于更全面地描述图像的颜色特征，而不仅仅局限于颜色的直方图，有助于增强图像的表征能力，提高颜色特征的分析和识别效果。

S1033：根据提取的图像特征，构建预处理后的第一图像和设备图像的特征向量。

在一种可能的实施方式中，子步骤S1033具体包括孙步骤S10331至S10336：

S10331：将第一特征向量、第二特征向量、第三特征向量和第四特征向量进行拼接，得到融合特征向量X。

在本发明中，不同的特征提取方法通常捕捉到图像不同方面的信息，将各个特征向量拼接在一起可以获得更丰富、更全面的图像特征，提高特征的表征能力。同时，融合多个特征向量可以增强对图像变化和噪声的鲁棒性。进一步地，通过使用多个特征，可以减少模型过拟合的风险。过拟合是指模型在训练数据上表现良好，但在未见过的数据上表现差的情况。使用多个特征可以减少模型对单一特征的依赖，降低了过拟合的可能性。

S10332：计算样本数据集的均值向量：

其中，

S10333：计算样本数据集的协方差矩阵：

其中，C表示协方差矩阵，(·)

S10334：求解协方差矩阵的特征值与特征向量。

S10335：对各个特征值进行降序排列，保留排序靠前的预设数量的特征值及其特征向量，将保留的特征向量组成投影矩阵。

S10336：通过投影矩阵，对融合特征向量进行降维处理：

Y＝P·X

其中，Y表示降维处理后的融合特征向量，P表示投影矩阵，X表示融合特征向量。

在本发明中，通过计算样本数据集的均值向量、协方差矩阵，以及对协方差矩阵进行特征值分解，可以获得特征值和对应的特征向量。通过降序排列特征值并选择前几个，可以保留数据中最重要的信息，同时去除特征向量中的冗余信息，减少特征的维度，有助于减少特征向量的维度，提高计算效率，减少存储需求，提高模型的泛化能力，减少过拟合的风险。

S1034：根据预处理后的第一图像和设备图像的特征向量，计算第一图像和设备图像之间的相似度。

需要说明的是，相似度度量允许系统判断第一图像与设备图像之间的相似程度。如果它们非常相似(即相似度高)，则可能表示设备正常运行。相反，如果它们不够相似(即相似度低)，可能表示设备状态发生了变化，可能存在故障或其他问题。这有助于及早发现潜在的设备故障。通过定期比对图像特征并计算相似度，系统可以自动进行故障诊断，无需人工干预。这提高了生产线的自动化水平，减少了人力资源成本。

在一种可能的实施方式中，S1034具体为：

通过以下公式，计算第一图像和设备图像之间的相似度：

其中，ρ表示相似度，y

S1035：当第一图像和设备图像之间的相似度大于预设相似度时，确定第一图像和设备图像一致，将第一图像存储至服务器，进入S104。当第一图像和设备图像之间的相似度小于或者等于预设相似度时，确定第一图像和设备图像不一致，确定汽车装配件的尺寸出现偏差，触发警报。

其中，本领域技术人员可以根据实际情况设置预设相似度的大小，本发明不做限定。

在本发明中，通过5G相机周期性地拍摄设备图像，并与先前的图像进行比对，可以自动化检测汽车装配外形尺寸是否发生了变化，如果发生了变化，可能表示零件装配尺寸不合格，并触发警报，以便及时采取措施修复或替换零件。无需人工参与，省时省力，避免受到主观因素的影响，提升故障诊断的准确性和一致性。

S104：按照预设时间间隔，通过5G相机拍摄第二图像。

其中，本领域技术人员可以根据实际情况设置预设时间间隔的大小，本发明不做限定。

具体地，预设时间间隔可以是1分钟、10分钟、30分钟等等。

S105：将第二图像与服务器存储的第一图像进行比对。若一致，将第一图像存储至服务器，将第二图像删除，重新进入S104。否则，确定汽车装配件的尺寸出现偏差，触发警报。

在一种可能的实施方式中，S105具体包括子步骤S1051至S1055：

S1051：对第二图像和第一图像进行预处理。

S1052：提取预处理后的第二图像和第一图像的图像特征。

S1053：根据提取的图像特征，构建预处理后的第二图像和第一图像的特征向量。

S1054：根据预处理后的第二图像和第一图像的特征向量，计算第二图像和第一图像之间的相似度。

S1055：当第二图像和第一图像之间的相似度大于预设相似度时，确定第二图像和第一图像一致，将第一图像存储至服务器，将第二图像删除，重新进入S104。当第二图像和第一图像之间的相似度小于或者等于预设相似度时，确定第二图像和第一图像不一致，确定汽车装配件的尺寸出现偏差，触发警报。

具体地，如何对第二图像与服务器存储的第一图像进行比对可以参考上文如何对第一图像与服务器存储的设备图像进行比对的方式，并且能够实现同样的技术效果，本发明为避免重复，不再赘述。

在一种可能的实施方式中，基于5G相机的事件触发方法还包括：

S106：获取历史检测数据。

S107：从历史检测数据中提取出将正常检测为正常的天数、将正常检测为故障的天数、将故障检测为故障的天数以及将故障检测为正常的天数。

S108：根据将正常检测为正常的天数、将正常检测为故障的天数、将故障检测为故障的天数以及将故障检测为正常的天数，计算将正常检测为故障的比例和将故障检测为正常的比例为：

其中，T

S109：根据将正常检测为故障的比例和将故障检测为正常的比例，调整预设相似度的具体数值，以使：

其中，p

可以理解的是，将正常检测为故障时，需要停产检查，检查认为设备正常时恢复生产，停产检查同样会导致生产效率的降低。将故障检测为正常，此时会导致设备发生故障，需要面临长时间的停产维修，期间必然会导致生产效率的答复降低。两者之间需要达到平衡，才能减少停产停工的时间，提高生产效率。

在本发明中，根据将正常检测为故障的比例和将故障检测为正常的比例，调整预设相似度的具体数值，对故障警报与生产产能之间进行有效的平衡，提高制造效率。

进一步地，通过计算将正常检测为故障和将故障检测为正常的比例，系统可以自动调整预设相似度的具体数值，使其更适应当前的生产环境。这增强了系统的自适应性，可以应对不同时期和条件下的变化。

在一种可能的实施方式中，将正常检测为故障需要付出的代价和将故障检测为正常付出的代价具体为：相应的损失金额或者停工时间。

例如，将正常检测为故障付出的代价为损失10万元，而将故障检测为正常的代价为损失100万元。

再例如，将正常检测为故障付出的代价为停工1小时，而将故障检测为正常的代价为停工3天，72小时。

与现有技术相比，本发明至少具有以下有益技术效果：

在本发明中，通过5G相机周期性地拍摄设备图像，并与先前的图像进行比对，可以自动化检测设备的状态是否发生了变化，如果发生了变化，可能表示汽车装配外形尺寸不合格，并触发警报，以便及时采取措施修复或替换零件。无需人工参与，省时省力，避免受到主观因素的影响，提升故障诊断的准确性和一致性。5G相机安装不易受到限制，只需保证在5G相机的视野中能够拍摄到制造设备即可，可以采用任意的安装方式安装5G相机，并且图像分析方式可以适用于各种汽车装配件的偏差诊断，不会仅仅局限于某一类机械设备，检测范围广，有利于技术的推广。

实施例2

在一个实施例中，本发明提供的一种基于5G相机的事件触发系统，用于执行实施例1中的基于5G相机的事件触发方法。

本发明提供的一种基于5G相机的事件触发系统可以实现上述实施例1中的基于5G相机的事件触发方法的步骤和效果，为避免重复，本发明不再赘述。

与现有技术相比，本发明至少具有以下有益技术效果：

在本发明中，通过5G相机周期性地拍摄设备图像，并与先前的图像进行比对，可以自动化检测设备的状态是否发生了变化，如果发生了变化，可能表示汽车装配外形尺寸不合格，并触发警报，以便及时采取措施修复或替换零件。无需人工参与，省时省力，避免受到主观因素的影响，提升故障诊断的准确性和一致性。5G相机安装不易受到限制，只需保证在5G相机的视野中能够拍摄到制造设备即可，可以采用任意的安装方式安装5G相机，并且图像分析方式可以适用于各种汽车装配件的偏差诊断，不会仅仅局限于某一类机械设备，检测范围广，有利于技术的推广。

以上实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。