基于数字化分析的饮料生产线智能监控方法及系统

技术领域

本发明涉及生产线监控领域，尤其涉及一种基于数字化分析的饮料生产线智能监控方法及系统。

背景技术

随着人工智能技术的快速发展，以无人工参与形式的生产线监控已逐步应用于制造场景中，现有技术通常是提取生产线中待检测产品的特征点信息后，根据待检测产品的特征点信息和参考产品的特征点信息比对，进而确定待检测产品是否存在产品位姿异常，从而实现生产线智能监控。

而在制造场景中存在多样性的环境噪声影响，例如，传送带抖动、放置位置偏移等，此类情况下实质上并不影响生产线的常规运作，而例如产品打标类情况下，产品出现姿态偏移(即产品受传送带表面的不平稳因素影响而导致产品整体翘起)等情况时会实际影响生产线运作，但此时通过特征点信息比对的方式极易出现产品姿态异常的误判，因此，如何提高生产线智能监控的准确率成为亟需解决的问题。

发明内容

有鉴于此，本发明实施例提供了一种基于数字化分析的饮料生产线智能监控方法及系统，以解决如何提高生产线智能监控的准确率的问题。

第一方面，本发明实施例提供一种基于数字化分析的生产线智能监控方法，所述生产线智能监控方法包括：

基于预设的采样频率对生产线上的待检测产品进行图像采集，采集得到N张产品俯视图，N≥2，对所述N张产品俯视图进行语义分割，分别得到每张产品俯视图对应的产品分割图像；

按照所述N张产品俯视图的采集顺序，对N张所述产品分割图像进行叠加，得到一张叠加图像；

利用预设的第一阈值对所述叠加图像进行二值化处理，处理后在所述叠加图像中划定第一目标区域图像，利用预设的第二阈值对所述叠加图像中第一目标区域图像之外的图像进行二值化处理，对应划定得到第二目标区域图像，根据所述第一目标区域图像和所述第二目标区域图像，确定所述叠加图像中的参考产品区域图像和误差区域图像；

根据所述参考产品区域图像和所述误差区域图像中的像素点数量，计算得到所述待检测产品的水平偏移异常评分值，根据所述第一目标区域图像中的所有像素值，计算得到所述待检测产品的垂直偏移异常评分值，根据所述水平偏移异常评分值和所述垂直偏移异常评分值对所述待检测产品进行异常监控预警。

第二方面，本发明实施例提供一种基于数字化分析的生产线智能监控系统，所述生产线智能监控系统包括：

图像预处理模块，用于基于预设的采样频率对生产线上的待检测产品进行图像采集，采集得到N张产品俯视图，N≥2，对所述N张产品俯视图进行语义分割，分别得到每张产品俯视图对应的产品分割图像；

图像叠加模块，用于按照所述N张产品俯视图的采集顺序，对N张所述产品分割图像进行叠加，得到一张叠加图像；

区域划分模块，用于利用预设的第一阈值对所述叠加图像进行二值化处理，处理后在所述叠加图像中划定第一目标区域图像，利用预设的第二阈值对所述叠加图像中第一目标区域图像之外的图像进行二值化处理，对应划定得到第二目标区域图像，根据所述第一目标区域图像和所述第二目标区域图像，确定所述叠加图像中的参考产品区域图像和误差区域图像；

异常预警模块，用于根据所述参考产品区域图像和所述误差区域图像中的像素点数量，计算得到所述待检测产品的水平偏移异常评分值，根据所述第一目标区域图像中的所有像素值，计算得到所述待检测产品的垂直偏移异常评分值，根据所述水平偏移异常评分值和所述垂直偏移异常评分值对所述待检测产品进行异常监控预警。

本发明实施例与现有技术相比存在的有益效果是：

本发明基于预设的采样频率对生产线上的待检测产品进行图像采集，采集得到N张产品俯视图，N≥2，对N张产品俯视图进行语义分割，分别得到每张产品俯视图对应的产品分割图像；按照N张产品俯视图的采集顺序，对N张产品分割图像进行叠加，得到一张叠加图像；利用预设的第一阈值对叠加图像进行二值化处理，处理后在叠加图像中划定第一目标区域图像，利用预设的第二阈值对叠加图像中第一目标区域图像之外的图像进行二值化处理，对应划定得到第二目标区域图像，根据第一目标区域图像和第二目标区域图像，确定叠加图像中的参考产品区域图像和误差区域图像；根据参考产品区域图像和误差区域图像中的像素点数量，计算得到待检测产品的水平偏移异常评分值，根据第一目标区域图像中的所有像素值，计算得到待检测产品的垂直偏移异常评分值，根据水平偏移异常评分值和垂直偏移异常评分值对待检测产品进行异常监控预警。其中，通过连续采集多张产品俯视图，以通过遗忘叠加和阈值化处理，确定出叠加图像中的参考产品区域和误差区域，使得阈值化处理能够适应于叠加图像中像素值差异较大的情况，又能根据实际生产线运行情况自适应确定出准确的参考产品区域，从而无需预先设置模板产品的位姿，对放置过程的噪声以及传送带传输过程的噪声具有较高的鲁棒性，进而根据参考产品区域和误差区域进行异常评分，从水平维度和垂直维度两个方向进行异常评价，相较于常规方式，能够更为准确的分析出影响生产线运作的异常情况，从而提高生产线智能监控的准确率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一提供的一种基于数字化分析的生产线智能监控方法的一应用环境示意图；

图2是本发明实施例一提供的一种基于数字化分析的生产线智能监控方法的流程示意图；

图3是本发明实施例二提供的一种基于数字化分析的生产线智能监控方法系统的结构示意图；

图4是本发明实施例三提供的一种计算机设备的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

应当理解，当在本发明说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本发明说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

另外，在本发明说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

在本发明说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本发明的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

应理解，以下实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

为了说明本发明的技术方案，下面通过具体实施例来进行说明。

本发明实施例一提供的一种基于数字化分析的生产线智能监控方法，可应用在如图1的应用环境中，其中，客户端与服务端进行通信。其中，客户端包括但不限于掌上电脑、桌上型计算机、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、云端终端设备、个人数字助理(personal digital assistant，PDA)等计算机设备。服务端可以是独立的服务器，也可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、内容分发网络(ContentDelivery Network，CDN)、以及大数据和人工智能平台等基础云计算服务的云服务器。

参见图2，是本发明实施例一提供的一种基于数字化分析的饮料生产线智能监控方法的流程示意图，上述生产线智能监控方法可以应用于图1中的客户端，服务端对应的计算机设备连接相应的数据库，以获取生产线上的待检测产品的多张产品俯视图，用于对多张产品俯视图像进行位姿偏移监测，从而进行监控预警。

如图2所示，该生产线智能监控方法可以包括以下步骤：

步骤S201，基于预设的采样频率对生产线上的待检测产品进行图像采集，采集得到N张产品俯视图，N≥2，对N张产品俯视图进行语义分割，分别得到每张产品俯视图对应的产品分割图像。

其中，采样频率定义了单位时间内从连续信号中提取并组成离散信号的采样个数。待检测产品是指没有进行位姿异常检测的产品。产品俯视图是指在产品上方拍摄的图像。语义分割用于将图像分割成属于不同语义类别的区域。产品分割图像是指将产品俯视图中的产品分割出来所对应的图像。

本发明实施例中，通过在传送带的上方布置摄像头，使得摄像头能够以俯视的角度对传送带表面上的产品进行产品俯视图采集。由于传送带通常均速运行，则预设的采样频率可以根据传送带的速率和产品放置在传送带上的频率确定，以使得摄像头能够在各个采样时刻采集到产品的对应俯视图，例如，设置预设的采样频率为1s，即1s采集一张产品的俯视图，从而根据预设的采样频率，在时间段T内采集N张产品俯视图，N≥2。针对任一张产品俯视图，对所述产品俯视图进行语义分割，以将产品分割出来，对应得到产品分割图像，排除背景干扰。

可选的是，所述基于预设的采样频率对生产线上的待检测产品进行图像采集，得到N张产品俯视图，包括：

针对任一采样时刻，获取所述待检测产品在所述采样时刻下采集的M张俯视图像，对所述M张俯视图像进行图像拼接，对应得到所述采样时刻下的产品俯视图，M≥2；

基于预设的采样频率，获取N个采样时刻下产品俯视图，对应得到N张产品俯视图。

本发明实施例中，通过在传送带上方的各个角度布置摄像头，使得摄像头能够将传送带表面上的产品拍摄完整，避免因摄像头的角度盲区导致的产品拍摄不完整。针对任一采样时刻，在所述采样时刻下，利用M个摄像头同时对传送带上的待检测产品进行拍摄，得到M张俯视图像，然后对M张俯视图像进行图像拼接，对应得到所述采样时刻下的产品俯视图，M≥2。同理，根据预设的采样频率，在时间段T内采集N张产品俯视图。

可选的是，所述对所述N张产品俯视图进行语义分割，分别得到每张产品俯视图对应的产品分割图像，包括：

获取训练好的语义分割模型；

针对任一产品俯视图，利用所述训练好的语义分割模型对所述产品俯视图进行语义分割，对应的到产品分割图像。

本发明实施例中，语义分割模型采用编码器-解码器结构，编码器的输入为产品俯视图像，编码器的输出为产品俯视图像的语义特征，解码器的输入为产品俯视图像的语义特征，解码器的输出为产品分割图像，其中，产品分割图像中属于待检测产品的像素点的像素值为1，其他像素点的像素值为0。

通过对语义分割模型进行训练，得到训练好的语义分割模型，具体训练过程属于常规技术，本实施例中不再赘述。因此，针对任一产品俯视图，利用训练好的语义分割模型对所述产品俯视图进行语义分割，对应的到产品分割图像。

步骤S202，按照N张产品俯视图的采集顺序，对N张产品分割图像进行叠加，得到一张叠加图像。

其中，叠加图像是指将一张图像叠加到另一张图像得到的图像。因此，本发明实施例，根据N张产品俯视图的采集顺序，也即是先采集至后采集的顺序，对N张产品分割图像进行叠加，得到一张叠加图像，可以根据叠加图像中的像素值分布，得到多张产品分割图像的重合区域、历史产品位姿区域和当前产品位姿区域，通过图像叠加可以无需预先选定好或者设定好一个标准产品作为模板，而是针对任一形状的产品，后续都可自适应确定出参考产品。

可选的是，所述按照所述N张产品俯视图的采集顺序，对N张所述产品分割图像进行叠加，得到一张叠加图像，包括：

按照所述N张产品俯视图的采集顺序，将第一张产品分割图像作为第一目标图像，将第二张产品分割图像作为第二目标图像；

将所述第一目标图像和所述第二目标图像进行像素点对齐，针对所述第二目标图像中的任一位置的像素点，将所述像素点与目标像素点进行加权叠加，得到所述位置对应的输出像素点，所述目标像素点为所述第一目标图像中与所述像素点位置相同的像素点；

根据所述第二目标图像的所有位置对应的输出像素点构成所述第一目标图像和所述第二目标图像之间的临时叠加图像；

将所述临时叠加图像作为所述第一目标图像，将第三张产品分割图像作为所述第二目标图像，重复所述构成第一目标图像和所述第二目标图像之间的临时叠加图像的步骤，直至所有产品分割图像叠加完，得到一张叠加图像。

本发明实施例中，按照N张产品俯视图的采集顺序，将第一张产品分割图像作为第一目标图像A，将第二张产品分割图像作为第二目标图像B，采用加权叠加的计算公式：C＝αA+(1-α)B，得到临时叠加图像C，其中，α为第一目标图像的权值，(1-α)为第二目标图像的权值。然后，将临时叠加图像作为第一目标图像，将第三张产品分割图像作为第二目标图像，继续利用加权叠加的公式，重复获取临时叠加图像，依次类推，直至所有产品分割图像叠加完，得到一张叠加图像。

值得说明的是，由于刚开始采集的图像因为传送带抖动等原因，造成产品位姿出现异常的情况较小，因此，在图像叠加过程中对应产品分割图像的权值较小，故，本发明实施例中优选α设置为0.05。

步骤S203，利用预设的第一阈值对叠加图像进行二值化处理，处理后在叠加图像中划定第一目标区域图像，利用预设的第二阈值对叠加图像中第一目标区域图像之外的图像进行二值化处理，对应划定得到第二目标区域图像，根据第一目标区域图像和第二目标区域图像，确定叠加图像中的参考产品区域图像和误差区域图像。

其中，本发明实施例中，首先通过预设的第一阈值对叠加图像进行阈值化处理，得到第一二值化图像，以第一二值化图像中像素值为1的像素点所形成的区域图像作为第一目标区域图像。然后通过预设的第二阈值对叠加图像中第一目标区域图像之外的图像进行阈值处理，得到第二二值化图像，以第二二值化图像中像素值为1的像素点所形成的区域作为第二目标区域图像。

值得说明的是，因为预设的第一阈值主要是找重叠区域，而重叠区域认为是所有产品被拍摄时都在这个区域中有对应的像素，因此，理论上找只找像素值为1的点就可以，但是本实施例中产品存在竖直方向的偏移，所以适当调小了第一阈值，优选预设的第一阈值为0.8；预设的第二阈值需要通过自适应阈值实现，因为本实施例是无先验信息的场景，所以只能通过实际叠加得到的结果进行第二目标区域图形的确定，故预设的第二阈值可以利用大津阈值法进行确定，也可利用其他自适应阈值方法确定。

在确定完叠加图像中的第一目标区域图像和第二目标区域图像之后，根据第一目标区域图像和第二目标区域图像，确定叠加图像中的参考产品区域图像和误差区域图像，以阶段确定的方式，即使阈值化处理能够适应于叠加图像中像素值差异较大的情况，又根据实际生产线运行情况自适应确定出准确的参考产品区域，从而无需预先设置模板产品的位姿，对放置过程的噪声以及传送带传输过程的噪声具有较高的鲁棒性。

可选的是，所述根据所述第一目标区域图像和所述第二目标区域图像，确定所述叠加图像中的参考产品区域图像和误差区域图像，包括：

将所述叠加图像中的第一目标区域图像和第二目标区域图像构成的区域图像作为参考产品区域图像；

获取所述叠加图像中参考产品区域图像之外的所有非零像素点，将所有非零像素点构成的区域图像作为误差区域图像。

本发明实施例中，由于第一目标区域图像和第二目标区域图像都属于待检测产品在传送带上的位置，因此，在确定叠加图像中的第一目标区域图像和第二目标区域图像之后，将叠加图像中的第一目标区域图像和第二目标区域图像构成的区域图像作为参考产品区域图像，也即是待检测产品在传送带上没有发生偏移时对应的位置图像。相对应的，将叠加图像中参考产品区域图像之外的所有非零像素点构成的区域图像作为误差区域图像，也即是产品水平位置偏移对应的区域图像。

可选的是，所述预设的第二阈值的获取步骤，包括：

获取所述叠加图像中第一目标区域图像之外的所有非零像素点，计算所有非零像素点的像素值均值作为预设的第二阈值。

本发明实施例中，通过获取叠加图像中第一目标区域图像之外的所有非零像素点，并计算所有非零像素点的像素值均值作为预设的第二阈值，以根据实际图像中像素点的像素值确定阈值化处理的第二阈值，使得确定的第二阈值更加贴切。

步骤S204，根据参考产品区域图像和误差区域图像中的像素点数量，计算得到待检测产品的水平偏移异常评分值，根据第一目标区域图像中的所有像素值，计算得到待检测产品的垂直偏移异常评分值，根据水平偏移异常评分值和垂直偏移异常评分值对待检测产品进行异常监控预警。

其中，本发明实施例中，根据参考产品区域图像和误差区域图像中的像素点数量，计算得到待检测产品的水平偏移异常评分值，用于表征生产线中产品平行于传送带平面的偏移程度；根据第一目标区域图像中的所有像素值，计算得到待检测产品的垂直偏移异常评分值，用于表征生产线中产品垂直于传送带平面的偏移程度，同时考虑了待检测产品的水平位置偏移和垂直偏移(例如卷边等)，使得后续异常检测结果更加准确。

计算水平偏移异常评分值和垂直偏移异常评分值之间的均值，获取异常评分阈值，设置异常评分阈值为0.7，对比均值与异常评分阈值，当均值大于异常评分阈值时，生成待检测产品的异常监控预警，根据参考产品区域和误差区域进行异常评分，从水平维度和垂直维度两个方向进行异常评价，相较于常规方式，能够更为准确的分析出影响生产线运作的异常情况，从而提高生产线智能监控的准确率。

可选的是，所述根据所述参考产品区域图像和所述误差区域图像中的像素点数量，计算得到所述待检测产品的水平偏移异常评分值，包括：

分别获取所述参考产品区域图像中的第一像素点数量和所述误差区域图像中的第二像素点数量，计算所述第一像素点数量和所述第二像素点数量之间的相加结果，以所述相加结果为分母，以所述第二像素点数量为分子得到对应的比值，将所述比值作为所述待检测产品的水平偏移异常评分值。

本发明实施例中，待检测产品的水平偏移异常评分值的计算表达式为：

其中，β

值得说明的是，误差区域图像中的第二像素点数量越多，说明产品平行于传送带平面的偏移面积越大，对应偏移程度也大，从而水平偏移异常评分值越大，产品水平偏移越严重。

可选的是，所述根据所述第一目标区域图像中的所有像素值，计算得到所述待检测产品的垂直偏移异常评分值，包括：

计算所述第一目标区域图像中所有像素点的像素值方差，以预设常数为底数，以所述像素值方差的相反数为指数得到对应的指数函数结果，将所述指数函数结果作为所述待检测产品的垂直偏移异常评分值。

本发明实施例中，待检测产品的垂直偏移异常评分值的计算表达式为：

其中，β

值得说明的是，第一目标区域图像中所有像素点的像素值方差越小，说明叠加图像中的重合区域越小，待检测产品的翘起或卷边等垂直偏移越严重，对应垂直偏移异常评分值越大。

可选的是，所述根据所述水平偏移异常评分值和所述垂直偏移异常评分值对所述待检测产品进行异常监控预警，包括：

利用预设的水平偏差置信度权值和垂直偏差置信度权值，对所述水平偏移异常评分值和所述垂直偏移异常评分值进行加权求和，得到所述待检测产品的综合异常评分值，其中，所述水平偏差置信度权值大于所述垂直偏差置信度权值；

根据所述综合异常评分值对所述待检测产品进行异常监控预警。

本发明实施例中，综合异常评分值的计算表达式为：

其中，γ为综合异常评分值，f为水平偏差置信度权值，g为垂直偏差置信度权值。

值得说明的是，由于水平偏移为生产线的影响比较大，例如：产品打标场景下，水平偏移会导致打标位置错误，而垂直偏移更可能是导致打标的尺寸放缩，因此，水平偏差置信度权值大于所述垂直偏差置信度权值。

当综合异常评分值大于异常评分阈值时，生成待检测产品的异常监控预警，实现对待检测产品的异常监控预警。

本发明实施例基于预设的采样频率对生产线上的待检测产品进行图像采集，采集得到N张产品俯视图，N≥2，对N张产品俯视图进行语义分割，分别得到每张产品俯视图对应的产品分割图像；按照N张产品俯视图的采集顺序，对N张产品分割图像进行叠加，得到一张叠加图像；利用预设的第一阈值对叠加图像进行二值化处理，处理后在叠加图像中划定第一目标区域图像，利用预设的第二阈值对叠加图像中第一目标区域图像之外的图像进行二值化处理，对应划定得到第二目标区域图像，根据第一目标区域图像和第二目标区域图像，确定叠加图像中的参考产品区域图像和误差区域图像；根据参考产品区域图像和误差区域图像中的像素点数量，计算得到待检测产品的水平偏移异常评分值，根据第一目标区域图像中的所有像素值，计算得到待检测产品的垂直偏移异常评分值，根据水平偏移异常评分值和垂直偏移异常评分值对待检测产品进行异常监控预警。其中，通过连续采集多张产品俯视图，以通过遗忘叠加和阈值化处理，确定出叠加图像中的参考产品区域和误差区域，使得阈值化处理能够适应于叠加图像中像素值差异较大的情况，又能根据实际生产线运行情况自适应确定出准确的参考产品区域，从而无需预先设置模板产品的位姿，对放置过程的噪声以及传送带传输过程的噪声具有较高的鲁棒性，进而根据参考产品区域和误差区域进行异常评分，从水平维度和垂直维度两个方向进行异常评价，相较于常规方式，能够更为准确的分析出影响生产线运作的异常情况，从而提高生产线智能监控的准确率。

对应于上文实施例的生产线智能监控方法，图3示出了本发明实施例二提供的一种基于数字化分析的生产线智能监控系统的结构框图，参见图3，该生产线智能监控系统包括：

图像预处理模块31，用于基于预设的采样频率对生产线上的待检测产品进行图像采集，采集得到N张产品俯视图，N≥2，对所述N张产品俯视图进行语义分割，分别得到每张产品俯视图对应的产品分割图像；

图像叠加模块32，用于按照所述N张产品俯视图的采集顺序，对N张所述产品分割图像进行叠加，得到一张叠加图像；

区域划分模块33，用于利用预设的第一阈值对所述叠加图像进行二值化处理，处理后在所述叠加图像中划定第一目标区域图像，利用预设的第二阈值对所述叠加图像中第一目标区域图像之外的图像进行二值化处理，对应划定得到第二目标区域图像，根据所述第一目标区域图像和所述第二目标区域图像，确定所述叠加图像中的参考产品区域图像和误差区域图像；

异常预警模块34，用于根据所述参考产品区域图像和所述误差区域图像中的像素点数量，计算得到所述待检测产品的水平偏移异常评分值，根据所述第一目标区域图像中的所有像素值，计算得到所述待检测产品的垂直偏移异常评分值，根据所述水平偏移异常评分值和所述垂直偏移异常评分值对所述待检测产品进行异常监控预警。

可选的是，图像叠加模块32，包括：

图像选取单元，用于按照所述N张产品俯视图的采集顺序，将第一张产品分割图像作为第一目标图像，将第二张产品分割图像作为第二目标图像；

加权叠加单元，用于将所述第一目标图像和所述第二目标图像进行像素点对齐，针对所述第二目标图像中的任一位置的像素点，将所述像素点与目标像素点进行加权叠加，得到所述位置对应的输出像素点，所述目标像素点为所述第一目标图像中与所述像素点位置相同的像素点；

图像构成单元，用于根据所述第二目标图像的所有位置对应的输出像素点构成所述第一目标图像和所述第二目标图像之间的临时叠加图像；

图像遍历单元，用于将所述临时叠加图像作为所述第一目标图像，将第三张产品分割图像作为所述第二目标图像，重复所述构成第一目标图像和所述第二目标图像之间的临时叠加图像的步骤，直至所有产品分割图像叠加完，得到一张叠加图像。

可选的是，区域划分模块33包括：

第一构成单元，用于将所述叠加图像中的第一目标区域图像和第二目标区域图像构成的区域图像作为参考产品区域图像；

第二构成单元，用于获取所述叠加图像中参考产品区域图像之外的所有非零像素点，将所有非零像素点构成的区域图像作为误差区域图像。

可选的是，异常预警模块34包括：

水平异常检测单元，用于分别获取所述参考产品区域图像中的第一像素点数量和所述误差区域图像中的第二像素点数量，计算所述第一像素点数量和所述第二像素点数量之间的相加结果，以所述相加结果为分母，以所述第二像素点数量为分子得到对应的比值，将所述比值作为所述待检测产品的水平偏移异常评分值。

可选的是，异常预警模块34包括：

垂直异常检测单元，用于计算所述第一目标区域图像中所有像素点的像素值方差，以预设常数为底数，以所述像素值方差的相反数为指数得到对应的指数函数结果，将所述指数函数结果作为所述待检测产品的垂直偏移异常评分值。

可选的是，异常预警模块34包括：

综合异常检测单元，用于利用预设的水平偏差置信度权值和垂直偏差置信度权值，对所述水平偏移异常评分值和所述垂直偏移异常评分值进行加权求和，得到所述待检测产品的综合异常评分值，其中，所述水平偏差置信度权值大于所述垂直偏差置信度权值；

综合预警单元，用于根据所述综合异常评分值对所述待检测产品进行异常监控预警。

可选的是，图像预处理模块31，包括：

模型获取单元，用于获取训练好的语义分割模型；

模型分割单元，用于针对任一产品俯视图，利用所述训练好的语义分割模型对所述产品俯视图进行语义分割，对应的到产品分割图像。

可选的是，图像预处理模块31，包括：

图像拼接单元，用于针对任一采样时刻，获取所述待检测产品在所述采样时刻下采集的M张俯视图像，对所述M张俯视图像进行图像拼接，对应得到所述采样时刻下的产品俯视图，M≥2；

图像采集单元，用于基于预设的采样频率，获取N个采样时刻下张产品俯视图，对应得到N张产品俯视图。

可选的是，区域划分模块33包括：

阈值获取单元，用于获取所述叠加图像中第一目标区域图像之外的所有非零像素点，计算所有非零像素点的像素值均值作为预设的第二阈值。

需要说明的是，上述模块、单元之间的信息交互、执行过程等内容，由于与本发明方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。

图4为本发明实施例三提供的一种计算机设备的结构示意图。如图4所示，该实施例的计算机设备包括：至少一个处理器(图4中仅示出一个)、存储器以及存储在存储器中并可在至少一个处理器上运行的计算机程序，处理器执行计算机程序时实现上述任意各个生产线智能监控方法实施例中的步骤。

该计算机设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，图4仅仅是计算机设备的举例，并不构成对计算机设备的限定，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括网络接口、显示屏和输入装置等。

所称处理器可以是CPU，该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器包括可读存储介质、内存储器等，其中，内存储器可以是计算机设备的内存，内存储器为可读存储介质中的操作系统和计算机可读指令的运行提供环境。可读存储介质可以是计算机设备的硬盘，在另一些实施例中也可以是计算机设备的外部存储设备，例如，计算机设备上配备的插接式硬盘、智能存储卡(Smart Media Card，SMC)、安全数字(Secure Digital，SD)卡、闪存卡(Flash Card)等。进一步地，存储器还可以既包括计算机设备的内部存储单元也包括外部存储设备。存储器用于存储操作系统、应用程序、引导装载程序(BootLoader)、数据以及其他程序等，该其他程序如计算机程序的程序代码等。存储器还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。上述装置中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质至少可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、电载波信号、电信信号以及软件分发介质。例如U盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。

本发明实现上述实施例方法中的全部或部分流程，也可以通过一种计算机程序产品来完成，当计算机程序产品在计算机设备上运行时，使得计算机设备执行时实现可实现上述方法实施例中的步骤。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的实施例中，应该理解到，所揭露的装置/计算机设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/计算机设备实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。