一种基于语义分割的拼接图像分割方法、装置及设备

技术领域

本申请涉及图像数据处理技术领域，尤其涉及一种基于语义分割的拼接图像分割方法、装置及设备。

背景技术

在交通行业的视频监控领域中，需要拍下多张图像来判断车辆是否发生违章行为，拍摄到多张图像会进行拼接，组成一张大的图片，以方便人工进行审核判断。但是随着人工智能的不断发展，人工智能技术逐步代替人工进行审核判断的工作，在交通违法审核算法中，第一步就是需要将拼接合成图片分割成单图。

现有技术中，拼接图像的分割通常采用传统的图像分割方法，传统的图像分割方法偏向于通过图像中像素点的变化进行拼接图像的分割。例如，通过检测拼接图像中明暗变化剧烈的像素点，即梯度变化比较大的像素点，来确定拼接图像中单图图像的边缘信息，再根据边缘信息对拼接图像进行分割。

在摄像设备进行图像拍摄时，由于受到路面周围环境因素的影响，拍摄到的图像可能会光照度不均匀，或者存在噪声，因而使得拼接成的拼接图像质量受到影响，因此，在使用传统方法对这些拼接图像进行分割时，会出现对边缘信息的检测不准确的情况，可能会使得最终拼接图像的分割结果出错，鲁棒性较低。

发明内容

为了解决上述技术问题，本申请提供了一种基于语义分割的拼接图像分割方法、装置及设备，用于提高拼接图像分割的鲁棒性和可靠性。

本申请第一方面提供了一种基于语义分割的拼接图像分割方法，包括：

将获取到的拼接图像输入预先训练好的语义分割模型，所述拼接图像中包含有单图；

通过所述语义分割模型确定所述拼接图像的分割标签；

提取所述分割标签的轮廓信息；

根据所述轮廓信息输出所述分割标签的轮廓点，所述分割标签的轮廓由若干所述轮廓点构成；

计算所述分割标签的轮廓点的最小外接矩形框，并得到单图目标框，所述单图目标框为所述拼接图像中每一张单图所占的区域的边框；

确定所述单图目标框的位置信息以及宽高信息；

将所述位置信息以及宽高信息输入预先训练好的预测模型；

通过所述预测模型确定所述拼接图像的拼接模式；

根据所述拼接模式对所述拼接图像进行分割。

可选地，所述语义分割模型通过如下方式获得：

搭建初始语义分割模型；

获取第一样本拼接图，所述第一样本拼接图包含拼接图像标签信息；

将所述第一样本拼接图输入所述初始语义分割模型；

提取所述第一样本拼接图中的特征，得到第一图像特征图；

将所述第一图像特征图进行特征融合，输出融合后的第二图像特征图；

对所述第二图像特征图进行处理得到样本分割标签；

将所述样本分割标签进行第一损失值计算，以生成第一损失值变化数据，所述第一损失值变化数据为每一次训练所述初始语义分割模型时统计的第一损失值数据合集；

当所述第一损失值变化数据达到预设条件时，得到所述语义分割模型。

可选地，所述初始语义分割模型包括轻量化网络、特征金字塔网络、分割头以及分类算法；

所述轻量化网络用于作为编码器提取拼接图像的图像特征；

所述特征金字塔网络用于提取所述轻量化网络提取的图像特征中的不同空间分辨率的特征并进行融合，以提取更多的图像特征信息；

所述分割头用于从特征金字塔网络提取到的多个图像特征信息中确定最终特征，所述分类算法用于确定所述拼接图像的分类类别，所述分割头包括卷积层、上采样层以及激活函数层sigmoid，所述分类算法包括池化层、全连接层和激活函数层sigmoid。

可选地，所述将所述第一图像特征图进行特征融合，输出融合后的第二图像特征图包括：

将所述特征金字塔网络作为解码器，用于将经过轻量化网络输出的所述第一图像特征图进行融合，以输出第二图像特征图；

所述对所述第二图像特征图进行处理得到样本分割标签包括：

将所述第二图像特征图输入所述卷积层、上采样层和激活函数层sigmoid，得到所述样本分割标签，所述样本分割标签为所述第二图像特征图中单图所占的区域。

可选地，所述预测模型通过如下方式获得：

搭建初始预测模型；

获取第二样本拼接图，所述第二样本拼接图包含每张单图的位置信息、宽高信息以及第二样本拼接图的拼接模式；

将所述第二样本拼接图输入所述初始预测模型；

根据预设的损失函数对所述第二样本拼接图进行第二损失值计算，以生成第二损失值变化数据，所述第二损失值变化数据为每一次训练所述初始预测模型时统计的损失值数据合集；

当所述第二损失值变化数据达到收敛时，得到所述预测模型。

可选地，在所述预测模型进行训练时，将单图位置信息作为训练数据，将拼接模式作为标签进行训练。

可选地，所述提取所述分割标签的轮廓信息包括：

对所述分割标签进行二值化处理，得到二值化分割标签；

通过掏空内部点法对所述二值化分割标签进行轮廓提取，得到所述轮廓信息。

本申请第二方面提供了一种基于语义分割的拼接图像分割装置，包括：

第一输入单元，用于将获取到的拼接图像输入预先训练好的语义分割模型，所述拼接图像中包含有单图；

第一确定单元，用于通过所述语义分割模型确定所述拼接图像的分割标签；

提取单元，用于提取所述分割标签的轮廓信息；

输出单元，用于根据所述轮廓信息输出所述分割标签的轮廓点，所述分割标签的轮廓由若干所述轮廓点构成；

第一计算单元，用于计算所述分割标签的轮廓点的最小外接矩形框，并得到单图目标框，所述单图目标框为所述拼接图像中每一张单图所占的区域的边框；

第二确定单元，用于确定所述单图目标框的位置信息以及宽高信息；

第二输入单元，用于将所述位置信息以及宽高信息输入预先训练好的预测模型；

第三确定单元，用于通过所述预测模型确定所述拼接图像的拼接模式；

分割单元，用于根据所述拼接模式对所述拼接图像进行分割。

本申请第三方面提供了一种基于语义分割的拼接图像分割设备，包括：

中央处理器，存储器，输入输出接口，有线或无线网络接口以及电源；

所述存储器为短暂存储存储器或持久存储存储器；

所述中央处理器配置为与所述存储器通信，并执行所述存储器中的指令操作以执行第一方面及第一方面的可选方式的任意一种所述方式。

本申请第四方面提供了一种计算机可读存储介质，包括指令，当所述指令在计算机上运行时，使得计算机执行第一方面及第一方面的可选方式的任意一种所述方式。

从以上技术方案可以看出，本申请实施例具有以下优点：

本申请中，通过语义分割模型确定输入的拼接图像的分割标签，在确定分割标签后提取分割标签的轮廓信息，并确定分割标签的最小外接矩形框，得到单图目标框，确定单图目标框的位置信息以及宽高信息后，输入预先训练好的预测模型，通过该预测模型能够确定拼接图像的拼接模式，再根据拼接模式对拼接图像进行分割。语义分割是从像素级别来理解图像，能够将属于同一类的像素归为一类，避免在对拼接图像进行分割时，受到拼接图像中光照度不均匀，或者存在噪声情况的影响，导致分割不准确的问题，提高拼接图像分割的鲁棒性以及可靠性。

附图说明

为了更清楚地说明本申请中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请中基于语义分割的拼接图像分割方法一个实施例示意图；

图2-1以及图2-2为本申请中基于语义分割的拼接图像分割方法另一个实施例示意图；

图3为本申请中语义分割网络组成结构示意图；

图4为本申请中基于语义分割的拼接图像分割装置的一个示意图；

图5为本申请中基于语义分割的拼接图像分割装置的另一个示意图；

图6为本申请中基于语义分割的拼接图像分割设备的一个结构示意图。

具体实施方式

本申请实施例提供了一种基于语义分割的拼接图像分割方法、装置及设备，用于提高拼接图像分割的鲁棒性和可靠性。

在交通违法审核算法中，需要通过审核算法判定车辆是否存在特定违法行为，但是通常传入审核算法的是一组由单图拼接而成的合成图片，因此审核算法的第一步就是需要将合成图片分割成单图。当前在对拼接图像分割时，通常使用传统的分割方法对拼接图像进行分割，例如：通过传统图像处理技术检测单图图像边缘信息，通过图像中像素点的变化确定单图图像的边缘信息后，对拼接图像进行的分割，但是由于拍摄到的图像可能会光照度不均匀，或者存在噪声，会导致检测出的单图位置信息出现偏移或不准确的情况，使拼接图像的分割结果出错。本方法通过训练好的语义分割模型对拼接图像进行分割处理，能够快速准确地进行拼接图像分割，在交通违法场景下具有较高的鲁棒性。

下面对本申请中的基于语义分割的拼接图像分割方法进行简要描述：

请参阅图1，图1为本申请中的基于语义分割的拼接图像分割方法的一个实施例，本方法可以应用在手机、平板等设备上执行，具体此处不做限定，为方便描述，下面以该方法应用到服务器上进行具体描述，包括：

101、服务器将获取到的拼接图像输入预先训练好的语义分割模型，拼接图像中包含有单图

本实施例中，服务器获取拼接图像，拼接图像是由多张拍摄到的单图拼接而成，拼接图像可以为多种拼接模式，例如为上1下2，左1右1，上2下2等，具体此处不做限定。在获取到拼接图像后，将拼接图像输入至预先经过训练并训练完成的语义分割模型中。可选地，在将拼接图像输入预先经过训练的语义分割模型之前，可以先对拼接图像进行预处理，例如进行像素亮度变换、灰度级变化等处理，然后将经过预处理后的拼接图像输入预先训练好的语义分割模型。

102、服务器通过语义分割模型确定拼接图像的分割标签

在图像领域，语义指的是图像的内容，对图片意思的理解，分割的意思是从像素的角度分割出图片中的不同对象，对图片中的每个像素都进行标注，例如在一个图像中，有人物和背景，通过语义分割就能够将人物的像素全部标注为一类，背景的像素标注为一类。在拼接图像中，主要能够将单图标注为一类，而拼接背景标注为一类。通过语义分割模型能够得到单图区域，即拼接图像中需要进行分割的区域，此区域即为分割标签。由于拼接图像为多个单图拼接而成，例如，一个拼接图像由3张单图拼接，因此有3个需要进行分割的区域，这3个区域都为该拼接图像的分割标签。

103、服务器提取分割标签的轮廓信息

本实施例中，轮廓是一系列相连的点组成的曲线，能够表示物体的基本外形，可以用于图形分析，在得到分割标签后，服务器对分割标签的轮廓进行提取，获得分割标签的外部轮廓信息。

104、服务器根据轮廓信息输出分割标签的轮廓点，分割标签的轮廓由若干轮廓点构成

本实施例中，轮廓由若干的轮廓点构成，也可以看作为若干轮廓点的点集，在确定分割标签的轮廓后，服务器确定该分割标签的每一轮廓点，并确定轮廓点的坐标信息。

105、服务器计算分割标签的轮廓点的最小外接矩形框，并得到单图目标框，单图目标框为拼接图像中每一张单图所占的区域的边框

由于拼接图像为多个单图拼接而成，因此有多个需要进行分割的区域，多个区域并不相连，即分割标签不相连，将每个区域的轮廓点作为一组，每组的轮廓点都相连。由于已经确定每个轮廓点的坐标信息，因此可以通过最小外接矩形算法计算得到每一组轮廓点的最小外接矩形框。最小外接矩形是指以二维坐标表示的若干二维形状，例如点、直线、多边形的最大范围，即以给定的二维形状各顶点中的最大横坐标、最小横坐标、最大纵坐标、最小纵坐标定下边界的矩形，计算每组轮廓点的最小外界矩形框，并将得到的最小外界矩形框确定为单图目标框，该单图目标框为拼接图像中每一张单图所占的区域的边框。可选地，还可以过滤不满足预设规则的最小外接矩形框，由于在确定分割标签时，有可能将背景中的其他物品也误判为分割标签，因此需要通过预设规则进行过滤，该预设规则可以为预设的尺度、位置等，具体此处不做判断。

106、服务器确定单图目标框的位置信息以及宽高信息

本实施例中，服务器确定最小外接矩形框的中心点，根据中心点确定单图目标框的位置信息，并根据最小外接矩形框的宽与高确定单图目标框的宽高信息。

107、服务器将位置信息以及宽高信息输入预先训练好的预测模型

本实施例中，服务器将单图目标框的位置信息以及宽高信息输入预先训练好的预测模型中，该预测模型为拼接模式预测模型，获取到了拼接图像中单图的位置信息以及宽高信息后能够输出拼接图像的拼接模式。

108、服务器通过预测模型确定拼接图像的拼接模式

本实施例中，预测模型最终确定拼接图像的拼接模式，该拼接模式包括单图、上1下2、上2下1、左1右1、上2下2、上1下3、上3下1等。

109、服务器根据拼接模式对拼接图像进行分割

本实施例中，在获取了拼接模式之后，就能够根据拼接模式对应的分割模式对拼接图像进行分割，得到的单图再输入交通违法审核算法中，判断车辆是否存在违法行为。

本实施例中，服务器将获取到的拼接图像输入到训练好的语义分割模型中，并得到分割标签，确定分割标签的最小外接矩形框，得到单图目标框，服务器确定单图目标框的位置以及宽高信息后，输入训练好的预测模型中，通过预测模型确定拼接图像的拼接模式，再根据拼接模式对拼接图像进行分割，能够快速准确地进行拼接图像分割，并且在交通违法场景下具有较高的鲁棒性。

本实施例中，需要先搭建初始语义分割模型以及初始预测模型，并且进行训练后才能得到语义分割模型以及预测模型，下面将结合附图对该实施例进行详细的说明。

请参阅图2-1、图2-2以及图3，图2-1以及图2-2为本申请中的基于语义分割的拼接图像分割方法的另一个实施例，图3为初始语义分割模型组成结构示意图，为方便描述，下面以该方法应用到服务器上进行具体描述，包括：

201、服务器搭建初始语义分割模型

202、服务器获取第一样本拼接图，第一样本拼接图包含拼接图像标签信息

203、服务器将第一样本拼接图输入初始语义分割模型

204、服务器提取第一样本拼接图中的特征，得到第一图像特征图

205、服务器将第一图像特征图进行特征融合，输出融合后的第二图像特征图

206、服务器对第二图像特征图进行处理得到样本分割标签

207、服务器将样本分割标签进行第一损失值计算，以生成第一损失值变化数据，第一损失值变化数据为每一次训练初始语义分割模型时统计的第一损失值数据合集

208、当第一损失值变化数据达到预设条件时，服务器得到语义分割模型

本实施例中，首先需要搭建初始语义分割模型，该初始语义分割模型如图3所示，包括轻量化网络（MoblieNet_v2）301、特征金字塔网络（Feature Pyramid Networks）302、分割头（SegmentationHead）303以及分类算法（ClassificationHead）304，轻量化网络用于作为编码器提取拼接图像的图像特征；特征金字塔网络用于提取轻量化网络提取的图像特征中的不同空间分辨率的特征并进行融合，以提取更多的图像特征信息；分割头用于从特征金字塔网络提取到的多个图像特征信息中确定最终特征，分类算法用于确定拼接图像的分类类别以及置信度，分割头包括卷积层、上采样层以及激活函数层sigmoid，分类算法包括池化层、全连接层和激活函数层sigmoid。

在对初始语义分割模型进行训练时，需要获取大量的样本进行训练，例如，获取五万张第一样本拼接图，每张第一样本拼接图中都含有标签信息，在进行训练时，输入第一样本拼接图的原始图片和标签信息，标签信息为二值图像，只有0和1两个值。属于单图区域的位置像素值为1，其他为背景，像素值为0。轻量化网络301作为编码器主要用来提取第一样本拼接图的图像特征，在输入图像后，轻量化网络301通过不同的卷积结构输出不同尺度的第一图像特征图，并将得到的不同尺度的第一图像特征图输入到特征金字塔网络302中，该特征金字塔网络302作为解码器，对每一种尺度的图像进行特征提取，将经过轻量化网络301编码器输出的不同尺度特征图进行融合，得到解码器输出，输出融合后的第二图像特征图。然后分割头303将解码器输出的特征图经过卷积、上采样和激活函数层sigmoid，得到与输入的样本图像尺度一致的分割标签。由于要分割的类别数只有单图一个类，所以输出一个分割标签。在对初始语义模式进行训练时的损失函数采用Dice Loss。Dice系数，是一种集合相似度度量函数，通常用于计算两个样本的相似度。运用损失函数计算公式计算Dice。如果Dice系数越大，表明集合越相似，损失越小，反之亦然，当Dice系数达到预设值时，语义分割模型训练完成。

可选地，在语义分割模型训练期间，可以随机输入多种尺度的图像进行训练，如分辨率为416x416、512x512的图像，具体尺度此处不做限定，这是为了提升语义分割模型对图像尺度的变换的鲁棒性，使模型不易受到图像尺度变换的影响。

209、服务器将获取到的拼接图像输入预先训练好的语义分割模型，拼接图像中包含有单图

210、服务器通过语义分割模型确定拼接图像的分割标签

本实施例中的步骤209至210与前述图1所示实施例中的步骤101至102类似，此处不再赘述。

211、服务器对分割标签进行二值化处理，得到二值化分割标签

212、服务器通过掏空内部点法对二值化分割标签进行轮廓提取，得到轮廓信息

本实施例中，掏空内部点法通常用于二值图像轮廓的提取，对于非二值图像，要先进行二值化处理，因此需要对分割标签进行二值化处理，得到二值化分割标签。图像二值化就是将图像上的像素点的灰度值设置为0或255，也就是将整个图像呈现出明显的黑白效果的过程。掏空内部点法需要遍历图像中的每个像素点，如果该点灰度值为0，不管周围相邻的8个像素点的灰度值为何值，都将该点的灰度值赋值为0；如果该点灰度值为255，并且周围相邻的8个像素点的灰度值也为255，将该点灰度值赋值为0；除上述两种情况外，将该点灰度值赋值为255。经过以上的处理操作，即可得到图像的轮廓。可选地，还可以通过边界追踪法来确定分割标签的轮廓，首先同样需要对非二值图像进行二值化处理，确定起始点，从起始点出发，然后按照预设规则搜索下一个边界点，直到搜索点与初始点重合，即找到轮廓。此外，还有区域增长法、区域分裂合并法等，具体进行轮廓提取的方法此处不做限定。

213、服务器根据轮廓信息输出分割标签的轮廓点，分割标签的轮廓由若干轮廓点构成

214、服务器计算分割标签的轮廓点的最小外接矩形框，并得到单图目标框，单图目标框为拼接图像中每一张单图所占的区域的边框

215、服务器确定单图目标框的位置信息以及宽高信息

本实施例中的步骤213至215与前述图1所示实施例中的步骤104至106类似，此处不再赘述。

216、服务器搭建初始预测模型

217、服务器获取第二样本拼接图，第二样本拼接图包含每张单图的位置信息、宽高信息以及第二样本拼接图的拼接模式

218、服务器将第二样本拼接图输入初始预测模型

219、服务器根据预设的损失函数对第二样本拼接图进行第二损失值计算，以生成第二损失值变化数据，第二损失值变化数据为每一次训练初始预测模型时统计的损失值数据合集

220、当第二损失值变化数据达到收敛时，服务器得到预测模型

本实施例中，需要通过大量的样本对初始预测模型进行训练，例如，可以获取六万张第二样本拼接图，每张第二样本拼接图中都含有每张单图的位置信息，即单图目标框左上角顶角的坐标信息，以及单图目标框的宽高信息，训练时模型输入该坐标信息以及该宽高信息，第二样本拼接图中还包括第二样本拼接图的拼接模式，在预测模型进行训练时，将单图位置信息作为训练数据，将拼接模式作为标签进行训练，并用回归模型进行拟合：

损失函数（最小二乘）：损失越小，h(x)越接近y(x)，即拟合值越接近真实值。

回归系数（权重θ）不可知，需要不断调整，使损失值尽可能小。训练时采用梯度下降法进行权重θ的调整直到收敛，得到预测模型。

221、服务器将位置信息以及宽高信息输入预先训练好的预测模型

222、服务器通过预测模型确定拼接图像的拼接模式

223、服务器根据拼接模式对拼接图像进行分割

本实施例中的步骤221至223与前述图1所示实施例中的步骤107至109类似，此处不再赘述。

本实施例中，服务器对初始语义分割模型进行训练，得到语义分割模型，服务器将获取到的拼接图像输入到训练好的语义分割模型中，并得到分割标签，通过掏空内部点法确定分割标签的轮廓信息，并根据轮廓信息确定分割标签的最小外接矩形框，得到单图目标框，服务器确定单图目标框的位置以及宽高信息后，输入训练好的预测模型中，通过预测模型确定拼接图像的拼接模式，再根据拼接模式对拼接图像进行分割，能够快速准确地进行拼接图像分割，并且在交通违法场景下具有较高的鲁棒性。

以上对基于语义分割的拼接图像分割方法进行了说明，下面对基于语义分割的拼接图像分割装置进行描述：

请参阅图4，本申请中一个基于语义分割的拼接图像分割装置包括：

第一输入单元401，用于将获取到的拼接图像输入预先训练好的语义分割模型，拼接图像中包含有单图；

第一确定单元402，用于通过语义分割模型确定拼接图像的分割标签；

提取单元403，用于提取分割标签的轮廓信息；

输出单元404，用于根据轮廓信息输出分割标签的轮廓点，分割标签的轮廓由若干轮廓点构成；

第一计算单元405，用于计算分割标签的轮廓点的最小外接矩形框，并得到单图目标框，单图目标框为拼接图像中每一张单图所占的区域的边框；

第二确定单元406，用于确定单图目标框的位置信息以及宽高信息；

第二输入单元407，用于将位置信息以及宽高信息输入预先训练好的预测模型；

第三确定单元408，用于通过预测模型确定拼接图像的拼接模式；

分割单元409，用于根据拼接模式对拼接图像进行分割。

本实施例中，第一输入单元401将获取到的拼接图像输入到训练好的语义分割模型中，第一确定单元402确定分割标签，第一计算单元405计算分割标签的最小外接矩形框，得到单图目标框，第二确定单元406确定单图目标框的位置以及宽高信息后，第二输入单元407将单图目标框的位置以及宽高信息输入训练好的预测模型中，第三确定单元408通过预测模型确定拼接图像的拼接模式，分割单元409再根据拼接模式对拼接图像进行分割，能够快速准确地进行拼接图像分割，并且在交通违法场景下具有较高的鲁棒性。

请参阅图5，本申请中另一个基于语义分割的拼接图像分割装置包括：

第一搭建单元501，用于搭建初始语义分割模型；

第一获取单元502，用于获取第一样本拼接图，第一样本拼接图包含拼接图像标签信息；

第三输入单元503，用于将第一样本拼接图输入初始语义分割模型；

第二提取单元504，用于提取第一样本拼接图中的特征，得到第一图像特征图；

融合单元505，用于将第一图像特征图进行特征融合，输出融合后的第二图像特征图；

第一处理单元506，用于对第二图像特征图进行处理得到样本分割标签；

第二计算单元507，用于将样本分割标签进行第一损失值计算，以生成第一损失值变化数据，第一损失值变化数据为每一次训练初始语义分割模型时统计的第一损失值数据合集；

第一得到单元508，用于当第一损失值变化数据达到预设条件时，得到语义分割模型；

第一输入单元509，用于将获取到的拼接图像输入预先训练好的语义分割模型，拼接图像中包含有单图；

第一确定单元510，用于通过语义分割模型确定拼接图像的分割标签；

提取单元511包括：

第二处理单元5111，用于对分割标签进行二值化处理，得到二值化分割标签；

提取模块5112，用于通过掏空内部点法对二值化分割标签进行轮廓提取，得到轮廓信息；

输出单元512，用于根据轮廓信息输出分割标签的轮廓点，分割标签的轮廓由若干轮廓点构成；

第一计算单元513，用于计算分割标签的轮廓点的最小外接矩形框，并得到单图目标框，单图目标框为拼接图像中每一张单图所占的区域的边框；

第二确定单元514，用于确定单图目标框的位置信息以及宽高信息；

第二搭建单元515，用于搭建初始预测模型；

第二获取单元516，用于获取第二样本拼接图，第二样本拼接图包含每张单图的位置信息、宽高信息以及第二样本拼接图的拼接模式；

第四输入单元517，用于将第二样本拼接图输入初始预测模型；

第三计算单元518，用于根据预设的损失函数对第二样本拼接图进行第二损失值计算，以生成第二损失值变化数据，第二损失值变化数据为每一次训练初始预测模型时统计的损失值数据合集；

第二得到单元519，用于当第二损失值变化数据达到收敛时，得到预测模型；

第二输入单元520，用于将位置信息以及宽高信息输入预先训练好的预测模型；

第三确定单元521，用于通过预测模型确定拼接图像的拼接模式；

分割单元522，用于根据拼接模式对拼接图像进行分割。

本实施例中，对初始语义分割模型进行训练，第一得到单元508得到语义分割模型，第一输入单元509将获取到的拼接图像输入到训练好的语义分割模型中，第一确定单元510得到分割标签，提取模块5112通过掏空内部点法确定分割标签的轮廓信息，第一计算单元513根据轮廓信息确定分割标签的最小外接矩形框，得到单图目标框，第二确定单元514确定单图目标框的位置以及宽高信息后，第二输入单元520将单图目标框的位置及宽高信息输入训练好的预测模型中，第三确定单元521通过预测模型确定拼接图像的拼接模式，分割单元522再根据拼接模式对拼接图像进行分割，能够快速准确地进行拼接图像分割，并且在交通违法场景下具有较高的鲁棒性。

参阅图6，图6为本申请中基于语义分割的拼接图像分割设备的一个结构示意图包括：

中央处理器602，存储器601，输入输出接口603，有线或无线网络接口604以及电源605；

存储器601为短暂存储存储器或持久存储存储器；

中央处理器602配置为与存储器601通信，并执行存储器601中的指令操作以执行图1至图2-1和图2-2中任一所示实施例中的步骤。

本申请提供了一种计算机可读存储介质，包括指令，当该指令在计算机上运行时，使得计算机执行图1至图2-1和图2-2中任一实施例所对应的方法。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器（ROM，read-onlymemory）、随机存取存储器（RAM，random access memory）、磁碟或者光盘等各种可以存储程序代码的介质。