图像分割方法、装置、电子设备及计算机可读存储介质

技术领域

本公开涉及人工智能技术领域，尤其涉及一种图像分割方法、装置、电子设备及计算机可读存储介质。

背景技术

语义分割的目标是预测输入图片的每个像素的语义类别，是计算机视觉领域最基础的问题之一，并且被广泛的应用于各个领域中，包括但不限于自动驾驶，人机交互等等。目前的语义分割方法主要集中在利用高层特征中的上下文信息，使用深度全卷积的网络进行网络推断，得到图像的语义分割结果。然而，由于高层特征是从神经网络的大的感受野中提取出来的，仅使用深层的高级特征来进行语义推断会导致粗糙和不准确的输出，从而降低了图像分割的准确性。

发明内容

本公开实施例提供一种图像分割方法、装置、电子设备及计算机可读存储介质，能够提高语义推断的准确性。

本公开实施例的技术方案是这样实现的：

本公开实施例提供一种图像分割方法，包括：

从待处理图像中提取底层图像特征，并对所述底层图像特征，进行语义分割，得到高层语义特征；

对所述底层图像特征进行纹理增强与纹理特征统计中的至少一项处理，得到底层纹理特征；所述底层纹理特征用于表征所述待处理图像的增强纹理细节和/或纹理特征的统计分布；

结合所述高层语义特征与所述底层纹理特征，得到语义分割图像。

上述方法中，所述对所述底层图像特征进行纹理增强与纹理特征统计处理中的至少一项处理，得到底层纹理特征，包括以下任意一种：

基于所述底层图像特征进行纹理增强处理，得到增强纹理特征；基于所述增强纹理特征，确定所述底层纹理特征；

基于所述底层图像特征进行纹理特征统计处理，得到统计纹理特征；基于所述统计纹理特征，确定所述底层纹理特征；

基于所述底层图像特征进行纹理增强处理和纹理特征统计处理，得到所述底层纹理特征。

上述方法中，所述基于所述增强纹理特征，确定所述底层纹理特征，包括：

将所述增强纹理特征，确定为所述底层纹理特征；或者，

将所述增强纹理特征与所述底层图像特征进行结合，得到所述底层纹理特征。

上述方法中，所述基于所述统计纹理特征，确定所述底层纹理特征；包括：

将所述统计纹理特征，确定为所述底层纹理特征；或者，

将所述统计纹理特征与所述底层图像特征进行结合，得到所述底层纹理特征。

上述方法中，所述基于所述底层图像特征进行纹理增强处理和纹理特征统计处理，得到所述底层纹理特征，包括：

基于所述底层图像特征进行纹理增强处理，得到增强纹理特征；

至少基于所述增强纹理特征进行纹理特征统计处理，得到所述底层纹理特征。

上述方法中，所述至少基于所述增强纹理特征进行纹理特征统计处理，得到所述底层纹理特征，包括：

对所述增强纹理特征与所述底层图像特征进行结合，再进行纹理特征统计处理，得到中间底层纹理特征；将所述中间底层纹理特征，确定为所述底层纹理特征。

上述方法中，所述对所述增强纹理特征与所述底层图像特征进行结合，再进行纹理特征统计处理，得到中间底层纹理特征之后，所述方法还包括：

将所述增强纹理特征与所述底层图像特征的至少一个，与所述中间底层纹理特征进行结合，得到所述底层纹理特征。

上述方法中，所述基于所述底层图像特征进行纹理增强处理，得到增强纹理特征，包括：

对所述底层图像特征进行一维量化处理，得到第一编码特征和第一初始量化特征矩阵；

基于所述第一编码特征和所述第一初始量化特征矩阵，得到所述增强纹理特征。

上述方法中，所述对所述底层图像特征进行一维量化处理，得到第一编码特征和第一初始量化特征矩阵，包括：

对所述底层图像特征进行池化处理，得到所述底层图像特征对应的第一平均特征；

计算所述底层图像特征与所述第一平均特征的第一相似度，得到第一相似度矩阵；

将所述第一相似度矩阵进行一维量化处理，得到第一量化级数向量和所述第一编码特征；

将所述第一编码特征与所述第一量化级数向量进行融合，得到所述第一初始量化特征矩阵。

上述方法中，所述将所述第一相似度矩阵进行一维量化处理，得到第一量化级数向量和第一编码特征，包括：

将所述第一相似度矩阵在长度与宽度的维度进行合并，得到一维相似度向量；

对所述一维相似度向量进行N级量化处理，得到第一量化特征值；所述第一量化特征值形成所述第一量化级数向量；

基于所述第一量化特征值和一维相似度向量，确定所述第一编码特征；N为大于或等于1的正整数。

上述方法中，所述第一量化特征值包括：N个子量化特征值；所述对所述一维相似度向量进行N级量化处理，得到第一量化特征值，包括：

根据所述一维相似度向量中的最大值和最小值，进行N级量化处理，确定出平均量化值；

基于所述平均量化值和所述最小值，得到每级的子量化特征值，从而得到所述N个子量化特征值。

上述方法中，所述将所述第一编码特征与所述第一量化级数向量进行融合，得到所述第一初始量化特征矩阵，包括：

对所述第一编码特征进行空间尺寸平均处理，得到第一编码平均特征；

将所述第一编码平均特征与所述第一量化级数向量进行拼接，得到第一量化统计向量；

对所述第一量化统计向量进行空间域转换，并与所述第一平均特征进行融合，得到所述第一初始量化特征矩阵。

上述方法中，所述基于所述第一编码特征和所述第一初始量化特征矩阵，得到所述增强纹理特征，包括：

对所述第一初始量化特征矩阵进行图推理，得到第一量化特征矩阵；

基于所述第一量化特征矩阵和所述第一编码特征，得到所述增强纹理特征。

上述方法中,所述底层图像特征为输入图像特征的情况下，目标统计纹理特征为所述统计纹理特征；或者，

所述增强纹理特征为输入图像特征的情况下，目标统计纹理特征为所述底层纹理特征；或者，

所述增强纹理特征与所述底层图像特征结合后的特征为输入图像特征的情况下，目标统计纹理特征为所述中间底层纹理特征。

上述方法中，基于输入图像特征进行纹理特征统计处理，得到目标统计纹理特征，包括：

对所述输入图像特征进行二维量化处理，得到所述目标统计纹理特征；所述目标统计纹理特征表征像素之间的特征分布关系；或者，

对所述输入图像特征进行尺寸分割，得到所述输入图像特征对应的局部图像特征；对所述局部图像特征进行二维量化处理，得到所述目标统计纹理特征；或者，

对所述输入图像特征与所述局部图像特征分别进行二维量化处理，得到所述输入图像特征对应的全局量化特征与所述局部图像特征对应的局部量化特征；

基于所述全局量化特征与所述局部量化特征进行特征融合，得到所述目标统计纹理特征。

上述方法中，所述对所述输入图像特征进行二维量化处理，得到所述目标统计纹理特征，包括：

对所述输入图像特征进行池化处理，得到所述输入图像特征对应的第二平均特征；

计算所述输入图像特征与所述第二平均特征的第二相似度，得到第二相似度矩阵；

将所述第二相似度矩阵进行二维量化处理，得到第二量化级数矩阵和第二编码特征；

将所述第二编码特征与所述第二量化级数矩阵进行融合，得到第二初始量化特征矩阵。

上述方法中，所述将所述第二相似度矩阵进行二维量化处理，得到第二量化级数矩阵和第二编码特征，包括：

对所述第二相似度矩阵中的二个维度上各自进行M级量化处理，得到第二量化特征值；所述第二量化特征值形成所述第二量化级数矩阵；M为大于等于1的正整数；

基于所述第二量化特征值和所述第二相似度矩阵，确定中间编码特征矩阵；

基于所述中间编码特征矩阵，将当前中间编码特征与其相邻中间编码特征的转置进行相乘，确定所述当前中间编码特征对应的一个编码特征，从而得到第二编码特征。

上述方法中，所述将所述第二编码特征与所述第二量化级数矩阵进行融合，得到第二初始量化特征矩阵，包括：

对所述第二编码特征进行空间尺寸平均处理，得到第二编码平均特征；

将所述第二编码平均特征与所述第二量化级数向量进行拼接，得到第二量化统计矩阵；

对所述第二量化统计矩阵进行空间域转换，并与所述第二平均特征进行融合，得到所述第二初始量化特征矩阵。

上述方法中，所述基于所述全局量化特征与所述局部量化特征进行特征融合，得到所述目标统计纹理特征，包括：

对所述全局量化特征进行空间转换并进行平均后，得到全局平均特征；

对所述局部量化特征进行空间转换并进行平均后，得到局部平均特征；

将所述全局平均特征和所述局部平均特征进行特征融合，得到所述目标统计纹理特征。

本公开实施例提供一种图像分割装置，包括：

特征提取模块，用于从待处理图像中提取底层图像特征；

语义分割模块，用于对所述底层图像特征，进行语义分割，得到高层语义特征；

纹理特征处理模块，用于对所述底层图像特征进行纹理增强与纹理特征统计中的至少一项处理，得到底层纹理特征；所述底层纹理特征用于表征所述待处理图像的增强纹理细节和/或纹理特征的统计分布；

特征融合模块，用于结合所述高层语义特征与所述底层纹理特征，得到语义分割图像。

上述装置中，所述纹理特征处理模块，还用于以下任意一项：

基于所述底层图像特征进行纹理增强处理，得到增强纹理特征；基于所述增强纹理特征，确定所述底层纹理特征；

基于所述底层图像特征进行纹理特征统计处理，得到统计纹理特征；基于所述统计纹理特征，确定所述底层纹理特征；

基于所述底层图像特征进行纹理增强处理和纹理特征统计处理，得到所述底层纹理特征。

上述装置中，所述纹理特征处理模块，还用于将所述增强纹理特征，确定为所述底层纹理特征；或者，将所述增强纹理特征与所述底层图像特征进行结合，得到所述底层纹理特征。

上述装置中，所述纹理特征处理模块，还用于将所述统计纹理特征，确定为所述底层纹理特征；或者，将所述统计纹理特征与所述底层图像特征进行结合，得到所述底层纹理特征。

上述装置中，所述纹理特征处理模块，还用于基于所述底层图像特征进行纹理增强处理，得到增强纹理特征；至少基于所述增强纹理特征进行纹理特征统计处理，得到所述底层纹理特征。

上述装置中，所述纹理特征处理模块，还用于对所述增强纹理特征与所述底层图像特征进行结合，再进行纹理特征统计处理，得到中间底层纹理特征；将所述中间底层纹理特征，确定为所述底层纹理特征。

上述装置中，所述纹理特征处理模块，还用于所述对所述增强纹理特征与所述底层图像特征进行结合，再进行纹理特征统计处理，得到中间底层纹理特征之后，将所述增强纹理特征与所述底层图像特征的至少一个，与所述中间底层纹理特征进行结合，得到所述底层纹理特征。

上述装置中，所述纹理特征处理模块，还用于对所述底层图像特征进行一维量化处理，得到第一编码特征和第一初始量化特征矩阵；基于所述第一编码特征和所述第一初始量化特征矩阵，得到所述增强纹理特征。

上述装置中，所述纹理特征处理模块，还用于对所述底层图像特征进行池化处理，得到所述底层图像特征对应的第一平均特征；计算所述底层图像特征与所述第一平均特征的第一相似度，得到第一相似度矩阵；将所述第一相似度矩阵进行一维量化处理，得到第一量化级数向量和所述第一编码特征；将所述第一编码特征与所述第一量化级数向量进行融合，得到所述第一初始量化特征矩阵。

上述装置中，所述纹理特征处理模块，还用于将所述第一相似度矩阵在长度与宽度的维度进行合并，得到一维相似度向量；对所述一维相似度向量进行N级量化处理，得到第一量化特征值；所述第一量化特征值形成所述第一量化级数向量；基于所述第一量化特征值和一维相似度向量，确定所述第一编码特征；N为大于或等于1的正整数。

上述装置中，所述第一量化特征值包括：N个子量化特征值；所述纹理特征处理模块，还用于根据所述一维相似度向量中的最大值和最小值，进行N级量化处理，确定出平均量化值；基于所述平均量化值和所述最小值，得到每级的子量化特征值，从而得到所述N个子量化特征值。

上述装置中，所述纹理特征处理模块，还用于对所述第一编码特征进行空间尺寸平均处理，得到第一编码平均特征；将所述第一编码平均特征与所述第一量化级数向量进行拼接，得到第一量化统计向量；对所述第一量化统计向量进行空间域转换，并与所述第一平均特征进行融合，得到所述第一初始量化特征矩阵。

上述装置中，所述纹理特征处理模块，还用于对所述第一初始量化特征矩阵进行图推理，得到第一量化特征矩阵；基于所述第一量化特征矩阵和所述第一编码特征，得到所述增强纹理特征。

上述装置中，所述纹理特征处理模块，还用于所述底层图像特征为输入图像特征的情况下，目标统计纹理特征为所述统计纹理特征；或者，所述增强纹理特征为输入图像特征的情况下，目标统计纹理特征为所述底层纹理特征；或者，所述增强纹理特征与所述底层图像特征结合后的特征为输入图像特征的情况下，目标统计纹理特征为所述中间底层纹理特征。

上述装置中，所述纹理特征处理模块，还用于对所述输入图像特征进行二维量化处理，得到所述目标统计纹理特征；所述目标统计纹理特征表征像素之间的特征分布关系；或者，对所述输入图像特征进行尺寸分割，得到所述输入图像特征对应的局部图像特征；对所述局部图像特征进行二维量化处理，得到所述目标统计纹理特征；或者，对所述输入图像特征与所述局部图像特征分别进行二维量化处理，得到所述输入图像特征对应的全局量化特征与所述局部图像特征对应的局部量化特征；基于所述全局量化特征与所述局部量化特征进行特征融合，得到所述目标统计纹理特征。

上述装置中，所述纹理特征处理模块，还用于对所述输入图像特征进行池化处理，得到所述输入图像特征对应的第二平均特征；计算所述输入图像特征与所述第二平均特征的第二相似度，得到第二相似度矩阵；将所述第二相似度矩阵进行二维量化处理，得到第二量化级数矩阵和第二编码特征；将所述第二编码特征与所述第二量化级数矩阵进行融合，得到第二初始量化特征矩阵。

上述装置中，所述纹理特征处理模块，还用于对所述第二相似度矩阵中的二个维度上各自进行M级量化处理，得到第二量化特征值；所述第二量化特征值形成所述第二量化级数矩阵；M为大于等于1的正整数；基于所述第二量化特征值和所述第二相似度矩阵，确定中间编码特征矩阵；基于所述中间编码特征矩阵，将当前中间编码特征与其相邻中间编码特征的转置进行相乘，确定所述当前中间编码特征对应的一个编码特征，从而得到第二编码特征。

上述装置中，所述纹理特征处理模块502，还用于对所述第二编码特征进行空间尺寸平均处理，得到第二编码平均特征；将所述第二编码平均特征与所述第二量化级数向量进行拼接，得到第二量化统计矩阵；对所述第二量化统计矩阵进行空间域转换，并与所述第二平均特征进行融合，得到所述第二初始量化特征矩阵。

上述装置中，所述纹理特征处理模块，还用于对所述全局量化特征进行空间转换并进行平均后，得到全局平均特征；对所述局部量化特征进行空间转换并进行平均后，得到局部平均特征；将所述全局平均特征和所述局部平均特征进行特征融合，得到所述目标统计纹理特征。

本公开实施例提供一种电子设备，包括：

存储器，用于存储可执行指令；

处理器，用于执行所述存储器中存储的可执行指令时，实现本公开实施例提供的图像分割方法。

本公开实施例提供一种计算机可读存储介质，存储有可执行指令，用于引起处理器执行时，实现本公开实施例提供的图像分割方法。

本公开实施例具有以下有益效果：

获取图像中的底层图像特征，并对底层图像特征进行纹理增强或纹理特征统计中的至少一项处理，所得到的底层纹理特征中能够包含待处理图像中多尺度的深层的底层纹理信息，表征待处理图像的增强纹理细节和/或纹理特征的统计分布。这样，在图像分割中使用底层纹理特征与高层语义特征相结合，可以使得待处理图像的纹理细信息充分参与到语义分割的网络推断过程中，提高分割区域边界、纹理、结构等分割结果信息的准确性，进而提高了图像分割的准确性。

附图说明

图1是本公开实施例提供图像分割方法的一个可选的流程示意图；

图2(a)是本公开实施例提供的街景图片1中图像纹理的局部结构特征的效果示意图；

图2(b)是本公开实施例提供的对街景图片1进行均衡增强的效果示意图；

图3是本公开实施例提供的STLNet的网络的一种结构示意图；

图4是本公开实施例提供的图像分割方法的一个可选的流程图；

图5是本公开实施例提供的STLNet的网络的一种可选的结构示意图；

图6是本公开实施例提供的STLNet的网络的一种可选的结构示意图；

图7是本公开实施例提供的STLNet的网络的一种可选的结构示意图；

图8是本公开实施例提供的一种图像分割方法的一个可选的流程示意图；

图9是本公开实施例提供的一种图像分割方法的一个可选的流程示意图；

图10是本公开实施例提供的一种一维量化计数模块的可选的结构示意图；

图11(a)是本公开实施例提供的增强纹理特征模块TEM的一种可选的结构示意图；

图11(b)是本公开实施例提供的增强纹理特征模块TEM的一种可选的结构示意图；

图12是本公开实施例提供的PTFEM模块的一种可选的结构示意图；

图13是本公开实施例提供的对原始图像进行纹理特征统计处理前后的效果对比示意图；

图14是本公开实施例提供的本公开与DeepLabV3神经网络图像分割方法图像分割效果的对比示意图；

图15是本公开实施例提供的图像分割装置的结构示意图；

图16是本公开实施例提供的电子设备的结构示意图。

具体实施方式

为了使本公开的目的、技术方案和优点更加清楚，下面将结合附图对本公开作进一步地详细描述，所描述的实施例不应视为对本公开的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本公开保护的范围。

在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。

在以下的描述中，所涉及的术语“第一\第二\第三”仅仅是是区别类似的对象，不代表针对对象的特定排序，可以理解地，“第一\第二\第三”在允许的情况下可以互换特定的顺序或先后次序，以使这里描述的本公开实施例能够以除了在这里图示或描述的以外的顺序实施。

除非另有定义，本文所使用的所有的技术和科学术语与属于本公开的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本公开实施例的目的，不是旨在限制本公开。

近年来，得益于随着深度学习的迅速发展，使用神经网络对图像进行语义切分取得了巨大的成功。现代语义切分模型大多基于完全卷积网络(Fully Con volutionalNetworks，FCN)，使用卷积层代替常用分类网络中的完全连通层，得到像素级的预测结果。并且，在此基础上，还演进出了多种改进基本FCN的方法。一些方法采用金字塔结构，从不同大小的感受野中获取信息；示例性地，金字塔场景解析网络(Pyramid Scene ParsingNetwork，PSPNet)将特征输入到具有不同合并比例的金字塔合并层中；语义分割模型DeeplabV3系列提出了一种由具有不同扩展率的多个扩展卷积组成的萎缩空间金字塔合并层。然而，目前FCN网络中的卷积算子(Convolution Operator)对局部变化很敏感，可以利用卷积算子进行局部特征如边界等图像信息的挖掘，但对于描述或统计图像纹理却无能为力。相应地，目前提出了很多方法来提取和利用低层次特征，例如通过跳跃连接技术将低层次特征传递到高层网络层。然而，简单的多层次特征添加或拼接操作可能会导致特征错位问题，从而削弱低层次特征的有效性。综上所述，目前的图像分割技术中无法有效地利用图像的纹理信息，导致图像分割结果中各种对象的边界和纹理信息不准确，从而降低了图像分割的准确性。

将结合本公开实施例提供的电子设备的示例性应用和实施，说明本公开实施例提供的图像分割方法。

参见图1，图1是本公开实施例提供的图像分割方法的一个可选的流程示意图，将结合图1示出的步骤进行说明。

S101、从待处理图像中提取底层图像特征，并对底层图像特征进行语义分割，得到高层语义特征。

本公开实施例中，电子设备可以通过特征提取方法，对待处理图像中包含的像素进行特征提取，得到底层图像特征。

在一些实施例中，电子设备可以利用神经网络的主干网络ResNet101中的多层特征提取层对待处理图像进行多重尺度的图像特征提取，将多层特征提取层中的低层输出，如第一层或第二层输出的特征作为底层图像特征。也可以采用其他类型的特征提取网络或特征提取方法从待处理图像中提取出底层图像特征，具体的根据实际情况进行选择，本公开实施例不作限定。

这里，底层图像特征表征待处理图像的表观特征，如颜色，边界划分，对比度，亮度等，本公开实施例不作限制。

本公开实施例中，电子设备可以基于底层图像特征，进一步进行高层次特征的提取，得到待处理图像的高层次语义信息，示例性地，将底层图像特征输入特征提取网络中的高层提取层，提取出高层次语义信息，如待处理图像中是否包含车辆、行人、马路等信息。电子设备根据提取出的高层次语义信息，对每个像素的语义类别进行语义预测，并根据语义预测的结果对待处理图像进行语义分割，得到高层语义特征。

在一些实施例中，电子设备可以通过语义分割网络对底层图像特征进行语义分割。示例性地，语义分割网络可以是主干网络ResNet101的卷积池化层，也可以是空洞空间卷积池化金字塔(Atrous Spatial Pyramid Pooling，ASPP)网络，也可以是其他类型的语义分割网络，具体的根据实际情况进行选择，本公开实施例不作限定。

S102、对底层图像特征进行纹理增强与纹理特征统计中的至少一项处理，得到底层纹理特征；底层纹理特征用于表征待处理图像的增强纹理细节和/或纹理特征的统计分布。

本公开实施例中，数字图像处理中的图像纹理不仅具有局部结构特征，而且具有全局统计特征。这里，局部结构特性可以是局部图案信息，如边界、平滑程度和粗糙程度等等信息，可以通过卷积神经网络(Convolutional Neural Networks，CNN)中的低层滤波器进行提取。如图2(a)所示，图2(a)为通过低层滤波器1对街景图片1进行提取，得到街景图片1中图像纹理的局部结构特征的效果示意图。可以看到，图2(a)的局部结构特征图中体现了街景图片1中的纹理、边界和对象结构等信息。全局统计特征可以通过对图像进行底层图像信息(如像素值或局部区域属性)的统计来得到，在一些实施例中，全局统计特征可以通过计算用于表征局部结构特性分布的灰度直方图来得到。如图2(b)所示，图2(b)为通过灰度直方图计算街景图片1中图像纹理的全局统计特征，并根据全局统计特征对街景图片1进行均衡增强的效果示意图。可以看出，在黑暗环境中拍摄的原始的街景图片1通常具有较差的视觉质量。经过直方图均衡化增强步骤后，图像分割更加细致，分割效果更好。

基于图2(a)和图2(b)所示的效果示意图，可以看出，在图像分割任务中加入纹理特征信息可以进一步优化分割对象区域的边界和纹理信息，提高图像分割的准确性。

通常，由于通过主干网络的低层特征提取层，从待处理图像中提取的底层图像特征往往质量不高，尤其是对比度较低，从而可能导致纹理细节模糊，影响了底层信息的提取和利用。因此，本公开实施例可以对底层图像特征进行分析与挖掘，增强底层图像特征的纹理细节，从而实现对底层图像特征的纹理增强，得到表征待处理图像的增强纹理细节的底层纹理特征，以便在接下来的方法步骤中更容易捕捉到与纹理相关的图像信息，并利用与纹理相关的图像信息提高图像分割的准确性。

本公开实施例中，由于图像纹理与像素间空间关系的统计信息高度相关，为了描述图像纹理在像素之间的空间分布情况，电子设备可以利用底层图像特征中的纹理信息，从多个尺度上提取纹理信息的统计特征，从而实现对底层图像特征的纹理特征统计，得到表征待处理图像纹理特征的统计分布的底层纹理特征。

本公开实施例中，电子设备可以通过对底层图像特征进行纹理增强与纹理特征统计中的至少一项处理，得到用于表征待处理图像的增强纹理细节和/或纹理特征的统计分布的底层纹理特征。

S103、结合高层语义特征与底层纹理特征，得到分割图像。

本公开实施例中，电子设备可以将对待处理图像进行语义分割所得到的高层语义特征与底层纹理特征进行融合，并根据融合后的图像特征，综合对待处理图像中的每个像素进行分析，在分析过程中结合每个像素所属的语义分割类别以及其对应的底层纹理特征来确定该像素在分割图像中对应的分割结果，得到每个像素对应的分割结果。电子设备进而可以基于每个像素对应的分割结果得到待处理图像对应的分割图像。

在一些实施例中，待处理图像在通过特征提取层时，图像尺寸会被缩小至特征提取层所要求的预设输出尺寸，电子设备是基于缩小后的待处理图像进行语义分割与纹理增强与纹理特征统计中的至少一项处理，进而得到缩小后的图像中每个像素对应的分割结果的。在这种情况下，电子设备在将每个像素对应的分割结果应用于最终的分割图像之前，会对缩小后的图像进行上采样，将其恢复为原始的待处理图像的尺寸，最终得到与待处理图像尺寸一致的分割图像。

可以理解，由于电子设备在进行最终的图像分割时兼顾了高层语义特征与底层纹理特征，可以使得分割图像中各种图像对象的边界和纹理与待处理图像接近一致，从而使得图像分割的结果更加准确。

在一些实施例中，本公开实施例提供一种统计纹理学习网络(Statistical Texture Learning Network，STLNet)，用来实现本公开实施例提供的图像分割方法。STLNet的网络结构可以如图3所示，分为两部分：主干网络分支30和纹理特征提取模块31。其中，主干网络分支可以是ResNet-101网络，也可以是任意具有语义分割功能的神经网络，具体的根据实际情况进行选择，本公开实施例不作限定。

如图3所示，电子设备将待处理图像输入STLNet之后，通过主干网络分支30的特征提取层301对待处理图像进行多重尺度的图像提取。其中，电子设备将特征提取层301的前两层输出的低层次特征进行合并，作为底层图像特征，b并将特征提取层301最终输出的高层次特征输入语义分割网络302，由语义分割网络302基于高层次特征进行高级上下文特征的提取和分析，实现语义分割，得到高层图像特征。这里，语义分割网络可以是ASPP网络。电子设备将底层图像特征输入纹理特征提取模块31，由纹理特征提取模块31对底层图像特征进行纹理增强与纹理特征统计中的至少一项处理，得到底层纹理特征。电子设备进而将语义分割网络302输出的高层语义特征和纹理特征提取模块31输出的底层纹理特征进行结合，并通过上采样过程恢复图像尺寸，得到最终的分割图像。

可以理解的是，本公开实施中，电子设备对待处理图像的底层图像特征进行纹理增强或纹理特征统计中的至少一项处理，可以增强待处理图像的纹理细节，挖掘出待处理图像中多尺度的深层纹理信息，得到可以表征增强纹理细节和/或纹理特征的统计分布的底层纹理特征。电子设备结合底层纹理特征与高层语义特征得到最终的分割图像，可以在分割图像中更好的恢复出原始图像的底层纹理信息，从而提高了图像分割的准确性。

本公开实施例中，参见图4，图4是本公开实施例提供的图像分割方法的一个可选的流程图。图1中的S102可以通过S201-S202、或者S301-S302、或者S401中的任意一种方法流程来实现，将结合各步骤进行说明。

S201、基于底层图像特征进行纹理增强处理，得到增强纹理特征。

S202、基于增强纹理特征，确定底层纹理特征。

本公开实施例中，电子设备可以对底层图像特征进行纹理增强处理，基于得到的增强纹理特征确定出可以与高层语义特征结合的底层纹理特征。

在一些实施例中，图4中的S202可以通过执行S2021或者S2022来实现，将结合各步骤进行说明。

S2021、将增强纹理特征，确定为底层纹理特征。

本公开实施例中，电子设备可以直接将增强纹理特征作为与高层语义特征结合的底层纹理特征。

S2022、将增强纹理特征与底层图像特征进行结合，得到底层纹理特征。

本公开实施例中，电子设备可以将通过对底层图像特征进行纹理增强处理得到的增强纹理特征，再与特征提取得到的原始的底层图像特征进行特征融合，得到底层纹理特征。

这里，将增强纹理特征与底层图像特征进行结合，可以进一步提高底层纹理特征的纹理增强效果。

在一些实施例中，如图5所示，图3中的纹理特征处理模块31可以是纹理增强模块(Texture Enhancement Module，TEM)31_1。电子设备可以直接将TEM输出的增强纹理特征作为底层纹理特征，也可以如图5中虚线箭头所示，将TEM输出的增强纹理特征与底层图像特征相结合，作为底层纹理特征。

S301、基于底层图像特征进行纹理特征统计处理，得到统计纹理特征。

S302、基于统计纹理特征，确定底层纹理特征。

本公开实施例中，电子设备可以对底层图像特征进行纹理特征统计处理，将得到的统计纹理特征作为底层纹理特征，以进一步与高层语义特征相结合，得到分割图像。

在一些实施例中，图4中的S302可以通过执行S3021或者S3022来实现，将结合各步骤进行说明。

S3021、将统计纹理特征，确定为底层纹理特征。

本公开实施例中，电子设备可以直接将统计纹理特征作为与高层语义特征结合的底层纹理特征。

S3022、将统计纹理特征与底层图像特征进行结合，得到底层纹理特征。

本公开实施例中，电子设备可以将通过对底层图像特征进行纹理统计处理得到的统计纹理特征，再与特征提取得到的原始的底层图像特征进行特征融合，得到底层纹理特征。

这里，将统计纹理特征与底层图像特征进行结合，可以进一步提高底层纹理特征所表征的纹理特征的统计分布的准确性。

在一些实施例中，如图6所示，图3中的纹理特征处理模块31可以是金字塔纹理特征提取模块(Pyramid Texture Feature Extraction Module，PTFEM)31_2。电子设备可以直接将PTFEM输出的统计纹理特征作为底层纹理特征，也可以如图6中虚线箭头所示，将PTFEM输出的统计纹理特征与底层图像特征相结合，作为底层纹理特征。

S401、基于底层图像特征进行纹理增强处理和纹理特征统计处理，得到底层纹理特征。

在一些实施例中，图4中的S401可以通过执行S4011或者S4012来实现，将结合各步骤进行说明。

S4011、基于底层图像特征进行纹理增强处理，得到增强纹理特征。

本公开实施例中，电子设备先基于底层图像特征进行纹理增强处理，得到增强纹理特征。

S4012、至少基于增强纹理特征进行纹理特征统计处理，得到底层纹理特征。

本公开实施例中，S4012可以通过执行S4012A，或者S4012B-S4012C中的任意一项方法流程来实现，将结合各步骤进行说明。

S4012A、基于增强纹理特征进行纹理特征统计处理，得到底层纹理特征。

S4012A中，电子设备对纹理增强处理过程得到的增强纹理特征进行进一步的纹理特征统计处理，得到底层纹理特征。

S4012B、对增强纹理特征与底层图像特征进行结合，再进行纹理特征统计处理，得到中间底层纹理特征。

S4012C、将中间底层纹理特征，确定为底层纹理特征。

S4012B-S4012C中电子设备先将对增强纹理特征与底层图像特征进行特征融合，并对结合后得到的特征进行纹理特征统计处理，得到中间底层纹理特征。电子设备可以将中间底层纹理特征作为底层纹理特征。

在一些实施例中，S4012A之后，还包括S4012D，如下：

S4012D、将增强纹理特征与底层图像特征的至少一个，与中间底层纹理特征进行结合，得到底层纹理特征。

S4012D中，电子设备会将中间底层特征再与增强纹理特征与底层图像特征中的至少一个进行特征融合，得到底层纹理特征。

在一些实施例中，如图7所示，纹理增强模块31_1的输出为增强纹理特征，电子设备可以通过S4012A的方法，将增强纹理特征直接输入纹理特征统计模块31_2，进而通过纹理特征统计模块31_2输出底层纹理特征；或者，电子设备也可以通过S4012B-S4012C的方法，先将增强纹理特征与特征提取层301的前两层输出的底层图像特征相结合，再将结合后的特征输入纹理特征统计模块31_2，由纹理特征统计模块31_2对结合后的特征进行纹理特征统计处理，输出中间底层纹理特征，将中间底层纹理特征作为底层纹理特征；或者，通过S4012D的方法，在纹理特征统计模块31_2输出中间底层纹理特征之后，将纹理增强模块31_1的输出的增强纹理特征，以及特征提取层301的前两层输出的底层图像特征中的至少一个，与中间底层纹理特征进行特征融合，得到底层图像特征。

可以理解的是，本公开实施例中，当电子设备对底层图像特征进行纹理增强处理时，可以强化底层图像特征的对比度、亮度等信息，使得纹理信息更加清楚，进而使用纹理增强处理得到的底层纹理特征结合高层语义特征进行语义分割，可以在分割结果中准确地体现各个分割区域的边界、结构、纹理等信息，提高语义分割的准确性。当电子设备对底层图像特征进行纹理特征统计处理时，可以通过对纹理信息统计特征的挖掘，得到表征纹理信息的分布情况的底层纹理特征，进而纹理特征统计得到的底层纹理特征结合高层语义特征进行语义分割，可以更准确地还原出待处理图像中各个像素之间纹理信息的关联，提高图像分割的准确性。电子设备也可以通过同时对底层图像特征进行行纹理增强与纹理特征统计，结合两种处理方式的优点，进一步提高图像分割的准确性。

在一些实施例中，参见图8，图8是本公开实施例提供的一种图像分割方法的一个可选的流程示意图，图4中的S201具体可以通过执行S2011与S2012来实现，对应图5或图7中纹理增强模块31_1的处理流程，将结合各步骤进行说明。

S2011、对底层图像特征进行一维量化处理，得到第一编码特征和第一初始量化特征矩阵。

本公开实施例中，待处理图像的底层图像特征在谱域中的分布通常是连续的、变化范围很广的，在深层神经网络中很难进行提取和优化。因此，电子设备首先对底层图像特征进行一次量化，将连续的底层图像特征量化为离散的特征值，分别得到第一编码特征和第一初始量化特征矩阵。

其中，第一编码特征表征底层图像特征对应的量化编码图；第一初始量化特征矩阵表征底层图像特征量化离散后的统计特征。

在一些实施例中，参见图9，图9是本公开实施例提供的一种图像分割方法的一个可选的流程示意图，S2011可以通过执行S2011A-S2011D的过程来实现，将结合各步骤进行说明。

S2011A、对底层图像特征进行池化处理，得到底层图像特征对应的第一平均特征。

S2011A中，电子设备通过池化处理对计算底层图像特征的平均值，得到底层图像特征对应的第一平均特征。

本公开实施例中，底层图像特征是对整张待处理图像进行多尺度特征提取对应得到的特征地图，示例性地，底层图像特征可以通过C×H×W的三维特征矩阵来表示。其中，H和W分别代表特征矩阵的高和宽，C代表底层图像特征的特征维度。

在一些实施例中，电子设备可以通过全局池化层，对底层图像特征进行池化处理，将三维特征矩阵平均为一维的平均特征向量，作为第一平均特征。其中，第一平均特征可以为C×1×1的矩阵。

S2011B、计算底层图像特征与第一平均特征的第一相似度，得到第一相似度矩阵。

S2011B中，对于底层图像特征的特征矩阵中的每一个位置，电子设备可以计算每个位置上的底层特征与上述的第一平均特征之间的第一相似度，得到每个位置上的相似度数值，进而得到第一相似度矩阵。

在一些实施例中，电子设备可以计算底层图像特征与第一平均特征之间的余弦相似度，作为第一相似度。

其中，由于相似度数值是一维的数值，因此第一相似度矩阵可以是H×W的二维矩阵。在一些实施例中，可以通过公式(1)计算底层图像特征与第一平均特征的第一相似度，得到第一相似度矩阵，如下：

其中，

公式(1)中，A为底层图像特征对应的C×H×W的特征矩阵，A

S2011C、将第一相似度矩阵进行一维量化处理，得到第一量化级数向量和第一编码特征。

S2011C中，电子设备可以基于第一相似度矩阵中的第一相似度的数值的维度，对第一相似度矩阵进行一维量化处理，并同时确定出一维量化处理所使用的第一量化级数向量，并在一维量化处理完成后得到第一编码特征。

其中，第一量化级数向量为一维量化处理所对应的预设第一量化级数中，每一级第一量化级数对应的量化数值所构成的向量。

在一些实施例中，S2011C可以通过执行S2011C_1至S2011C_3来实现，将结合各步骤进行说明。

S2011C_1、将第一相似度矩阵在长度与宽度的维度进行合并，得到一维相似度向量。

S2011C_1中，电子设备对第一相似度矩阵进行矩阵变形，将第一相似度矩阵的长度维度与宽度维度进行合并，得到一维相似度向量。

在一些实施例中，一维相似度向量可以是1×HW的矩阵，

S2011C_2、对一维相似度向量进行N级量化处理，得到第一量化特征值；第一量化特征值形成第一量化级数向量；N为大于或等于1的正整数。

S2011C_2中，N代表量化处理的预设量化级数，N为大于或等于1的正整数。电子设备对一维相似度向量进行N级量化处理时，会同时确定得到执行每级量化处理所对应的量化数值，作为第一量化特征值，其中，第一量化特征值形成第一量化级数向量。

在一些实施例中，对于N级量化处理，第一量化特征值可以包括：N个子量化特征值，其中，每个子量化特征值表征N级量化中的每一级对应的量化数值。S2011C_2的量化数值的确定过程可以通过公式(2)，即根据一维相似度向量中的最大值和最小值，进行N级量化处理，确定出平均量化值；基于平均量化值和最小值，得到每级的子量化特征值，从而得到N个子量化特征值来实现。如下：

公式(2)中，max(S)为一维相似度向量中的最大值，min(S)为一维相似度向量中的最小值，

S2011C_3、基于第一量化特征值和一维相似度向量，确定第一编码特征。

S2011C_3中，电子设备可以通过公式(3)，基于第一量化特征值和一维相似度向量，确定第一编码特征，如下：

公式(3)中，S’

S2011D、将第一编码特征与第一量化级数向量进行融合，得到第一初始量化特征矩阵。

S2011D中，电子设备将第一编码特征与第一量化级数向量进行融合，得到用于表征量化后的底层图像特征的第一初始量化特征矩阵。

在一些实施例中，电子设备可以通过公式(4)，对第一编码特征进行空间尺寸平均处理，得到第一编码平均特征；将第一编码平均特征与第一量化级数向量进行拼接，得到第一量化统计向量。

公式(4)中，

电子设备进而通过公式(5)对第一量化统计向量C进行空间域转换，并与第一平均特征进行融合，得到第一初始量化特征矩阵。公式(5)如下：

D＝Cat(MLP(C),g) (5)

公式(5)中，MLP代表空间域转换的处理过程，电子设备可以通过公式(5)将第一量化统计向量C转换到第一平均特征g的同一特征空间下，进行特征融合处理，得到第一初始量化特征矩阵D。

在一些实施例中，在使用第一平均特征g与空间域转换后的第一量化统计向量C进行融合之前，电子设备还可以对第一平均特征g进行上采样；或者，电子设备也可以直接将公式(4)得到的第一量化统计向量C作为第一初始量化特征矩阵。具体的根据实际情况进行选择，本公开实施例不作限定。

在一些实施例中，参见图10，图10是本公开实施例提供的一种一维量化计数模块(1d-Quantization and Counting Operator，1d-QCO)的可选的结构示意图，电子设备可以通过1d-QCO对底层图像特征进行一维量化处理，得到第一编码特征和第一初始量化特征矩阵。如图10所示，底层图像特征A可以通过1d-QCO模块中的全局池化，对A进行池化处理，得到A对应的第一平均特征。1d-QCO模块计算A与第一平均特征之间的余弦相似度，得到第一相似度矩阵S，其中，S为1×H×W的二维矩阵，1d-QCO模块对第一相似度矩阵S进行长度和维度的合并，将S变换为1×HW的一维相似度向量，1d-QCO模块根据N级量化对应N个第一量化特征值L

S2012、基于第一编码特征和第一初始量化特征矩阵，得到增强纹理特征。

本公开实施例中，电子设备通过对底层图像特征的一维量化处理，得到第一编码特征和第一初始量化特征矩阵时，可以将第一编码特征与第一初始量化特征矩阵进行融合，如进行矩阵相乘或矩阵拼接，将融合的结果作为增强纹理特征。

在一些实施例中，参见图11(a)，图11(a)是本公开实施例提供的增强纹理特征模块TEM的一种可选的结构示意图。如图11(a)所示，TEM可以包含一维量化计数模块与融合模块。示例性地，一维量化计数模块的结构可以如图10所示。TEM可以将一维量化计数模块输出的第一编码特征E，即图11(a)中N×HW的矩阵，以及一维量化计数模块输出的第一初始量化特征矩阵D，即图11(a)中C

在本公开的一些实施例中，为了提高量化结果分布的均衡性，电子设备还可以对一维量化处理得到的第一初始量化特征矩阵D进行二次量化优化，得到第一量化特征矩阵D'，进而将第一量化特征矩阵D'与第一编码特征进行融合，得到增强纹理特征。

在一些实施例中，二次量化优化可以通过图推理的方法来实现，S2012可以通过执行来S2012A-S2012B的过程来实现，将结合各步骤进行说明。

S2012A、对第一初始量化特征矩阵进行图推理，得到第一量化特征矩阵。

S2012A中，图推理的过程需要构建出图模型中的节点，以及节点之间的边，进而基于图模型进行图推理算法的实施。电子设备可以将第一初始量化特征矩阵中的每个量化级别上的初始量化特征值作为顶点来构建图模型。示例性的，当第一初始量化特征矩阵为

X＝Softmax(φ

公式(7)中，φ

电子设备进而通过公式(8)，融合其他所有顶点的特征对每个初始节点进行更新，得到重构后的第一量化特征矩阵

D'＝φ

公式(8)中，φ

S2012B、基于第一量化特征矩阵和第一编码特征，得到增强纹理特征。

S2012B中，电子设备使用二次量化优化所得到的第一量化特征矩阵D'与E进行相乘，得到增强纹理特征R，如公式(9)所示。

R＝D'·E

公式(9)中，E

在一些实施例中，参见图11(b)，图11(b)是本公开实施例提供的增强纹理特征模块(TEM)112的一种可选的结构示意图。如图11(b)所示，TEM模块还可以包括图推理模块，图推理模块可以通过执行S2012A-S2012B中的方法，对一维量化计数模块输出的第一初始量化特征矩阵D进行二次量化优化，得到第一量化特征矩阵D'，其中，D'为C

可以理解的是，本公开实施例中，电子设备可以通过一维量化处理过程从底层图像特征中提取出量化的底层纹理信息，并通过纹理增强处理对底层纹理信息进行进一步增强处理得到底层纹理特征，使得底层纹理特征中的纹理细节得到了增强，这样，在应用于图像分割时，有助于提高图像分割的准确性。

在一些实施例中，本公开实施例中提供基于输入图像特征进行纹理特征统计处理，得到目标统计纹理特征的方法，对应图6或图7中纹理特征统计模块31_2的流程，方法包括：S501、或者S502-S503、或者S504-S505中的任意一种方法流程分支，将结合各步骤进行说明。

S501、对输入图像特征进行二维量化处理，得到目标统计纹理特征；目标统计纹理特征表征像素之间的特征分布关系。

本公开实施例中，电子设备会对输入纹理特征统计模块的输入图像特征进行二维量化处理，分别从特征空间的长度和宽度的维度对输入图像特征进行量化，得到目标统计纹理特征，并通过目标统计纹理特征表征像素之间的特征分布关系。

需要说明的是，这里，在底层图像特征为输入图像特征的情况下，目标统计纹理特征为统计纹理特征；或者，

在增强纹理特征为输入图像特征的情况下，目标统计纹理特征为底层纹理特征；或者，

在增强纹理特征与底层图像特征结合后的特征为输入图像特征的情况下，目标统计纹理特征为中间底层纹理特征。

S502、对输入图像特征进行尺寸分割，得到输入图像特征对应的局部图像特征。

S503、对局部图像特征进行二维量化处理，得到目标统计纹理特征。

S502-S503中，电子设备也可以先对输入图像特征进行尺寸分割，将输入图像特征分割为多块局部图像特征。电子设备可以对多块局部图像特征中的每一块局部图像特征以相同的过程进行二维量化处理，得到目标统计纹理特征。

S504、对输入图像特征与局部图像特征分别进行二维量化处理，得到输入图像特征对应的全局量化特征与局部图像特征对应的局部量化特征。

S505、基于全局量化特征与局部量化特征进行特征融合，得到目标统计纹理特征。

S504-S505中，电子设备可以对代表全局特征的输入图像特征，与尺寸分割得到的局部图像特征，分别进行二维量化处理，得到全局量化特征与局部量化特征，进而将全局量化特征与局部量化特征进行特征融合，得到目标统计纹理特征。

需要说明的是，本公开实施例中，电子设备可以采用相同的方法，对全局图像特征和局部量化特征的二维量化处理。

在一些实施例中，S505可以通过执行S5051-S5053的过程来实现，将结合各步骤进行说明。

S5051、对全局量化特征进行空间转换并进行平均后，得到全局平均特征。

S5052、对局部量化特征进行空间转换并进行平均后，得到局部平均特征。

S5051与S5052中，电子设备可以通过公式(10)与公式(11)，对全局量化特征进行空间转换与平均，得到全局平均特征；以及，对局部量化特征进行空间转换并进行平均后，得到局部平均特征。

F'＝MLP(F) (10)

公式(10)中，对于S5051，F代表全局量化特征；对于S5052，F代表局部量化特征，电子设备可以通过公式(10)对全局量化特征或局部量化特征进行MLP空间域转换，对应得到空间转换后的全局量化特征或局部量化特征，F'。其中，

公式(11)中，对于S5051，F'

S5053、将全局平均特征和局部平均特征进行特征融合，得到目标统计纹理特征。

S5053中，电子设备可以将全局平均特征和局部平均特征进行特征融合，得到目标统计纹理特征。

在一些实施例中，参见图12，图12是本公开实施例提供的PTFEM模块的一种可选的结构示意图。如图12所示，PTFEM模块可以将整个底层图像特征作为全局特征，并对底层图像特征进行金字塔逐级尺寸分割，得到每级尺寸分割对应的局部特征，全局特征与每个局部特征分别通过PTFEM模块中的二维量化计数模块进行二维量化处理，得到全局量化特征与局部量化特征。全局量化特征与局部量化特征分别经过空间域转换与平均处理，得到全局平均特征与局部平均特征，最后会将全局平均特征与局部平均特征分别进行上采样后进行融合，得到底层图像特征对应的目标统计纹理特征。

在一些实施例中，S501可以通过执行S5011-S5014的过程来实现，将结合各步骤进行说明。

S5011、对输入图像特征进行池化处理，得到输入图像特征对应的第二平均特征。

本公开实施例中，电子设备进行二维量化处理的过程与一维量化处理过程类似，首先对输入图像特征进行池化处理，得到输入图像特征对应的第二平均特征。

S5012、计算输入图像特征与第二平均特征的第二相似度，得到第二相似度矩阵。

本公开实施例中，电子设备计算输入图像特征与第二平均特征的第二相似度，得到第二相似度矩阵。

S5013、将第二相似度矩阵进行二维量化处理，得到第二量化级数矩阵和第二编码特征。

本公开实施例中，对于第二相似度矩阵，电子设备可以分别在长度和宽度的维度上对第二相似度矩阵进行二维量化处理，得到第二量化级数矩阵和第二编码特征。

在一些实施例中，S5013可以通过执行S5013A-S5013C的过程来实现，将结合各步骤进行说明。

S5013A、对第二相似度矩阵中的二个维度上各自进行M级量化处理，得到第二量化特征值；第二量化特征值形成第二量化级数矩阵；M为大于等于1的正整数。

本公开实施例中，电子设备可以对第二相似度矩阵中的二个维度，如长度和宽度上各自进行M级量化处理，这里，M的具体数值在长度或维度可以不同，M为大于等于1的正整数。

本公开实施例中，电子设备可以通过公式(12)，确定对第二相似度矩阵中二个维度上进行量化的M级量化级别

其中，

S5013B、基于第二量化特征值和第二相似度矩阵，确定中间编码特征矩阵。

S5013中，电子设备可以分别在第二相似度矩阵的两个维度上，基于公式12确定的量化级别进行每个维度上的量化处理，得到中间编码特征矩阵。

S5013C、基于中间编码特征矩阵，将当前中间编码特征与其相邻中间编码特征的转置进行相乘，确定当前中间编码特征对应的一个编码特征，从而得到第二编码特征。

S5013C中，电子设备可以通过公式(13)，将中间编码特征矩阵中的当前中间编码特征E

S5014、将第二编码特征与第二量化级数矩阵进行融合，得到第二初始量化特征矩阵。

S5014中，电子设备将第二编码特征与第二量化级数矩阵进行融合，得到第二初始量化特征矩阵。

在一些实施例中，S5014可以通过执行S5014A-S5014C的过程来实现，将结合各步骤进行说明。

S5014A、对第二编码特征进行空间尺寸平均处理，得到第二编码平均特征。

S5014B、将第二编码平均特征与第二量化级数向量进行拼接，得到第二量化统计矩阵。

本公开实施例中，S5014A和S5014B的过程可以通过公式(14)来实现，其描述与公式(4)类似，此处不再赘述。

公式(14)中，

S5014C、对第二量化统计矩阵进行空间域转换，并与第二平均特征进行融合，得到第二初始量化特征矩阵。

S5014C中，电子设备可以通过与一维量化处理过程类似的方法，对第二量化统计矩阵进行空间域转换，并与第二平均特征进行融合，得到第二初始量化特征矩阵。

在一些实施例中，S5014C的执行过程可以通过公式(15)来实现，如下

D

公式(15)中，C

需要说明的是，对于图7所示的STLNet，在对该神经网络进行训练的过程中，可以将公式(16)作为网络训练的损失函数，通过公式(16)得到每轮网络训练对应的总体损失，公式(16)如下所示：

Lo＝Lo

公式(16)中，Lo

可以看出，采用公式(16)的损失值调整得到的STLNet在用于图像分割任务时，可以提高语义分割的精度。

可以理解的是，本公开实施例中，电子设备可以通过二维量化处理过程，从底层图像特征中充分挖掘和提取出底层纹理信息在待处理图像中的分布和占比情况，作为统计纹理特征，从而可以通过统计纹理特征优化图像分割结果中分割区域的边界和纹理等结构信息，从而提高了图像分割的准确性。

下面提供本公开实施例提供的图像分割方法与现有的神经网络对比进行图像分割的效果对比表格。如表1-表4所示。可以看出，本公开实施例提供的方法可以有效提高语义分割后的交并比(Intersection Over Union，IoU)指标，大大提高了图像分割的准确度。

表1

表2

表3

表4

本公开实施例中，参见图13，图13是本公开实施例提供的对原始图像进行纹理特征统计处理前后的效果对比示意图。通过图13可以看出，对原始图像进行纹理特征统计处理后，图像的纹理特征更加明显，更有助于提高图像分割的准确性。

本公开实施例中，参见图14，图14是本公开实施例提供的本公开与DeepLabV3神经网络图像分割方法图像分割效果的对比示意图。可以看出，对于同样的原始图像，本公开的分割后图像的各语义区域的边界与原始图像更加一致，图像分割的效果更准确。

本公开还提供一种图像分割装置，图15是本公开实施例提供的图像分割装置的结构示意图；如图15所示，图像分割装置500包括：

特征提取模块501，用于从待处理图像中提取底层图像特征；

语义分割模块502，用于对所述底层图像特征，进行语义分割，得到高层语义特征；

纹理特征处理模块503，用于对所述底层图像特征进行纹理增强与纹理特征统计中的至少一项处理，得到底层纹理特征；所述底层纹理特征用于表征所述待处理图像的增强纹理细节和/或纹理特征的统计分布；

特征融合模块504，用于结合所述高层语义特征与所述底层纹理特征，得到语义分割图像。

在一些实施例中，所述纹理特征处理模块502，还用于以下任意一项：

基于所述底层图像特征进行纹理增强处理，得到增强纹理特征；基于所述增强纹理特征，确定所述底层纹理特征；

基于所述底层图像特征进行纹理特征统计处理，得到统计纹理特征；基于所述统计纹理特征，确定所述底层纹理特征；

基于所述底层图像特征进行纹理增强处理和纹理特征统计处理，得到所述底层纹理特征。

在一些实施例中，所述纹理特征处理模块502，还用于将所述增强纹理特征，确定为所述底层纹理特征；或者，将所述增强纹理特征与所述底层图像特征进行结合，得到所述底层纹理特征。

在一些实施例中，所述纹理特征处理模块502，还用于将所述统计纹理特征，确定为所述底层纹理特征；或者，将所述统计纹理特征与所述底层图像特征进行结合，得到所述底层纹理特征。

在一些实施例中，所述纹理特征处理模块502，还用于基于所述底层图像特征进行纹理增强处理，得到增强纹理特征；至少基于所述增强纹理特征进行纹理特征统计处理，得到所述底层纹理特征。

所述纹理特征处理模块502，还用于对所述增强纹理特征与所述底层图像特征进行结合，再进行纹理特征统计处理，得到中间底层纹理特征；将所述中间底层纹理特征，确定为所述底层纹理特征。

在一些实施例中，所述纹理特征处理模块502，还用于所述对所述增强纹理特征与所述底层图像特征进行结合，再进行纹理特征统计处理，得到中间底层纹理特征之后，将所述增强纹理特征与所述底层图像特征的至少一个，与所述中间底层纹理特征进行结合，得到所述底层纹理特征。

所述纹理特征处理模块502，还用于对所述底层图像特征进行一维量化处理，得到第一编码特征和第一初始量化特征矩阵；基于所述第一编码特征和所述第一初始量化特征矩阵，得到所述增强纹理特征。

在一些实施例中，所述纹理特征处理模块502，还用于对所述底层图像特征进行池化处理，得到所述底层图像特征对应的第一平均特征；计算所述底层图像特征与所述第一平均特征的第一相似度，得到第一相似度矩阵；将所述第一相似度矩阵进行一维量化处理，得到第一量化级数向量和所述第一编码特征；将所述第一编码特征与所述第一量化级数向量进行融合，得到所述第一初始量化特征矩阵。

在一些实施例中，所述纹理特征处理模块502，还用于将所述第一相似度矩阵在长度与宽度的维度进行合并，得到一维相似度向量；对所述一维相似度向量进行N级量化处理，得到第一量化特征值；所述第一量化特征值形成所述第一量化级数向量；基于所述第一量化特征值和一维相似度向量，确定所述第一编码特征；N为大于或等于1的正整数。

在一些实施例中，所述第一量化特征值包括：N个子量化特征值；所述纹理特征处理模块502，还用于根据所述一维相似度向量中的最大值和最小值，进行N级量化处理，确定出平均量化值；基于所述平均量化值和所述最小值，得到每级的子量化特征值，从而得到所述N个子量化特征值。

在一些实施例中，所述纹理特征处理模块502，还用于对所述第一编码特征进行空间尺寸平均处理，得到第一编码平均特征；将所述第一编码平均特征与所述第一量化级数向量进行拼接，得到第一量化统计向量；对所述第一量化统计向量进行空间域转换，并与所述第一平均特征进行融合，得到所述第一初始量化特征矩阵。

在一些实施例中，所述纹理特征处理模块502，还用于对所述第一初始量化特征矩阵进行图推理，得到第一量化特征矩阵；基于所述第一量化特征矩阵和所述第一编码特征，得到所述增强纹理特征。

在一些实施例中，所述纹理特征处理模块502，还用于所述底层图像特征为输入图像特征的情况下，目标统计纹理特征为所述统计纹理特征；或者，所述增强纹理特征为输入图像特征的情况下，目标统计纹理特征为所述底层纹理特征；或者，所述增强纹理特征与所述底层图像特征结合后的特征为输入图像特征的情况下，目标统计纹理特征为所述中间底层纹理特征。

在一些实施例中，所述纹理特征处理模块502，还用于对所述输入图像特征进行二维量化处理，得到所述目标统计纹理特征；所述目标统计纹理特征表征像素之间的特征分布关系；或者，对所述输入图像特征进行尺寸分割，得到所述输入图像特征对应的局部图像特征；对所述局部图像特征进行二维量化处理，得到所述目标统计纹理特征；或者，对所述输入图像特征与所述局部图像特征分别进行二维量化处理，得到所述输入图像特征对应的全局量化特征与所述局部图像特征对应的局部量化特征；基于所述全局量化特征与所述局部量化特征进行特征融合，得到所述目标统计纹理特征。

在一些实施例中，所述纹理特征处理模块502，还用于对所述输入图像特征进行池化处理，得到所述输入图像特征对应的第二平均特征；计算所述输入图像特征与所述第二平均特征的第二相似度，得到第二相似度矩阵；将所述第二相似度矩阵进行二维量化处理，得到第二量化级数矩阵和第二编码特征；将所述第二编码特征与所述第二量化级数矩阵进行融合，得到第二初始量化特征矩阵。

在一些实施例中，所述纹理特征处理模块502，还用于对所述第二相似度矩阵中的二个维度上各自进行M级量化处理，得到第二量化特征值；所述第二量化特征值形成所述第二量化级数矩阵；M为大于等于1的正整数；基于所述第二量化特征值和所述第二相似度矩阵，确定中间编码特征矩阵；基于所述中间编码特征矩阵，将当前中间编码特征与其相邻中间编码特征的转置进行相乘，确定所述当前中间编码特征对应的一个编码特征，从而得到第二编码特征。

在一些实施例中，所述纹理特征处理模块502，还用于对所述第二编码特征进行空间尺寸平均处理，得到第二编码平均特征；将所述第二编码平均特征与所述第二量化级数向量进行拼接，得到第二量化统计矩阵；对所述第二量化统计矩阵进行空间域转换，并与所述第二平均特征进行融合，得到所述第二初始量化特征矩阵。

在一些实施例中，所述纹理特征处理模块502，还用于对所述全局量化特征进行空间转换并进行平均后，得到全局平均特征；对所述局部量化特征进行空间转换并进行平均后，得到局部平均特征；将所述全局平均特征和所述局部平均特征进行特征融合，得到所述目标统计纹理特征。

需要说明的是，以上装置实施例的描述，与上述方法实施例的描述是类似的，具有同方法实施例相似的有益效果。对于本公开装置实施例中未披露的技术细节，请参照本公开方法实施例的描述而理解。

本公开实施例还提供一种电子设备，图16是本公开实施例提供的电子设备的结构示意图，如图16所示，电子设备2包括：存储器21和处理器22，其中，存储器21和处理器22通过通信总线23连接；存储器21，用于存储可执行计算机程序；处理器22，用于执行存储器21中存储的可执行计算机程序时，实现本公开实施例提供的图像分割方法。

本公开实施例提供一种计算机可读存储介质，存储有计算机程序，用于引起处理器22执行时，实现本公开实施例提供的图像分割方法。

在本公开的一些实施例中，存储介质可以是FRAM、ROM、PROM、EPROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。

在本公开的一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。

作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(HTML，Hyper TextMarkup Language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。

作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。

在一些实施例中，计算机可读存储介质可以是FRAM、ROM、PROM、EP ROM、EEPROM、闪存、磁表面存储器、光盘、或CD-ROM等存储器；也可以是包括上述存储器之一或任意组合的各种设备。

在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言(包括编译或解释语言，或者声明性或过程性语言)来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。

作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言(H TML，Hyper TextMarkup Language)文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件(例如，存储一个或多个模块、子程序或代码部分的文件)中。

作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。

综上所述，通过本公开实施例，本公开实施中，电子设备对待处理图像的底层图像特征进行纹理增强或纹理特征统计中的至少一项处理，可以增强待处理图像的纹理细节，挖掘出待处理图像中多尺度的深层纹理信息，得到可以表征增强纹理细节和/或纹理特征的统计分布的底层纹理特征。电子设备结合底层纹理特征与高层语义特征得到最终的分割图像，可以在分割图像中更好的恢复出原始图像的底层纹理信息，从而提高了图像分割的准确性。并且，电子设备可以通过一维量化处理过程从底层图像特征中提取出量化的底层纹理信息，并通过纹理增强处理对底层纹理信息进行进一步增强处理得到底层纹理特征，使得底层纹理特征中的纹理细节得到了增强，这样，在应用于图像分割时，有助于提高图像分割的准确性。

以上所述，仅为本公开的实施例而已，并非用于限定本公开的保护范围。凡在本公开的精神和范围之内所作的任何修改、等同替换和改进等，均包含在本公开的保护范围之内。