掌桥专利:专业的专利平台
掌桥专利
首页

图像处理方法及相关设备

文献发布时间:2023-06-19 10:38:35


图像处理方法及相关设备

技术领域

本申请涉及人工智能技术领域,尤其涉及一种图像处理方法及相关设备。

背景技术

在当前的农作物分布统计方案中,需要采用人工测量农作物在某个地域的分布数据,例如农作物的种类,不同农作物的分布位置以及分布面积,然后基于人工测量得到的农作物在某个地域的分布数据制作统计图,以得到农作物的分布图。因此,现有的农作物分布统计方案的统计效率低下,费时费力。此外,可以通过神经网络来对需要统计的区域的遥感图像进行农作物分布预测,但是在利用神经网络对图像进行计算时,为了维持分辨率进行了大量零填充(zero-padding),导致神经网络对图像边缘的预测不准确,从而会导致神经网络预测出来的农作物分布精度不高。

发明内容

本申请实施例公开了一种图像处理方法及相关设备,有利于提高图像处理的精度。

本申请实施例第一方面公开了一种图像处理方法,包括:在第一图像的周围填充K/2圈零,以得到第二图像,其中,所述第一图像的尺寸为滑窗窗口的尺寸的整数倍,所述K为滑窗步长;根据所述滑窗窗口和所述滑窗步长对所述第二图像进行图像切割,以得到多个图像块;采用第一神经网络模型对所述多个图像块进行处理,以得到多个子图像块中每个子图像块的处理结果,其中,所述多个图像块与所述多个子图像块一一对应,所述子图像块为所述图像块中以所述图像块的中心为中心、尺寸为K×K的区域图像;根据所述多个子图像块中全部或部分子图像块的处理结果得到所述第一图像的处理结果。

在本申请实施例中,在第一图像的周围填充K/2圈零,以得到第二图像,第一图像的尺寸为滑窗窗口的尺寸的整数倍;再根据该滑窗窗口和滑窗步长为K对第二图像进行图像切割,以得到多个图像块,且这多个图像块中每个图像块的尺寸与滑窗窗口的尺寸相同;再采用第一神经网络模型对这多个图像块进行处理,以得到多个子图像块中每个子图像块的处理结果,且这多个图像块与多个子图像块一一对应,该子图像块为图像块中以图像块的中心为中心、尺寸为K×K的区域图像,也即子图像块为对应图像块的中心区域,而根据这多个子图像块中的全部或部分可以组合得到第一图像,故根据这多个子图像块中全部或部分子图像块的处理结果可以组合得到第一图像的处理结果。在本申请实施例中,第一神经网络模型的输入是图像块,其输出的是子图像块的处理结果,而子图像块为对应图像块的中心区域,故子图像块的处理结果是每个图像块中心区域的计算结果,从而避免了神经网络模型对图像边缘预测不准确带来的精度问题,有利于提高图像处理的精度。应理解,子图像块的处理结果可以是第一神经网络模型预测出的子图像块对应的目标物体分布图,则第一图像的处理结果为第一图像对应的目标物体分布图;由于第一图像可以通过对需要统计目标物体的地域进行拍摄得到,采用本申请实施例,可以快速得到该地域的目标物体分布图,相比人工统计具备更高的效率。

在一种可能的实现方式中,所述在第一图像的周围填充K/2圈零,以得到第二图像包括:若所述第一图像的尺寸不为滑窗窗口的尺寸的整数倍,则对所述第一图像进行填充处理,以得填充后的第一图像,其中,所述填充后的第一图像的尺寸为所述滑窗窗口的尺寸的整数倍;在所述填充后的第一图像的周围填充K/2圈零,以得到所述第二图像。

在一种可能的实现方式中,所述采用第一神经网络模型对所述多个图像块进行处理,以得到多个子图像块中每个子图像块的处理结果,包括:采用第一神经网络模型对所述多个图像块进行处理,以得到所述多个图像块中每个图像块的处理结果;对所述多个图像块中每个图像块的处理结果进行图像截取,以得到所述多个子图像块中每个子图像块的处理结果。

在本申请实施例中,第一神经网络模型输出图像块的处理结果,对图像块的处理结果进行图像截取,可以以得到图像块对应的子图像块的处理结果,从而消除了因第一神经网络模型对图像块的边缘预测不准,而影响图像处理精度的问题。应理解,子图像块的处理结果是子图像块对应的目标物体分布图,第一图像的处理结果是第一图像对应的目标物体分布图时,图像块的处理结果是图像块对应的目标物体分布图。

在一种可能的实现方式中,所述对所述多个图像块中每个图像块的处理结果进行图像截取,以得到所述多个子图像块中每个子图像块的处理结果,包括:针对所述多个图像块中每个图像块的处理结果,执行以下步骤,以得到所述多个子图像块中每个子图像块的处理结果:以所述目标图像块的处理结果的中心为中心,在所述目标图像块的处理结果中进行图像截取尺寸为K×K的区域图像,以得到目标子图像块,其中,所述目标图像块为所述多个图像块中的任意一个,所述目标子图像块为与所述目标图像块对应的子图像块。

在一种可能的实现方式中,所述采用第一神经网络模型对所述多个图像块进行处理,以得到所述多个图像块中每个图像块的处理结果,包括:针对所述多个图像块中每个图像块,执行以下步骤,以得到所述多个图像块中每个图像块的处理结果:采用深度卷积神经网络模型对目标图像块进行特征提取,以得到所述目标图像块的第一特征图,其中,所述目标图像块为所述多个图像块中的任意一个图像块;根据所述第一特征图和第一卷积核进行卷积运算,以得到第一目标特征图,其中,所述第一卷积核的大小为1×1;根据所述第一特征图和第二卷积核进行扩张卷积运算,以得到第二目标特征图,其中,所述第二卷积核的大小为n×n,所述第二卷积核的扩张率为第一预设值,所述n为大于1的整数;根据所述第一特征图和第三卷积核进行扩张卷积运算,以得到第三目标特征图,其中,所述第三卷积核的大小为n×n,所述第三卷积核的扩张率为第二预设值;根据所述第一特征图和第四卷积核进行扩张卷积运算,以得到第四目标特征图,其中,所述第四卷积核的大小为n×n,所述第四卷积核的扩张率为第三预设值;对所述第一特征图进行池化运算,以得到第五目标特征图;其中,所述第一目标特征图、所述第二目标特征图、所述第三目标特征图、所述第四目标特征图和所述第五目标特征图的尺寸相同;对所述第一目标特征图、所述第二目标特征图、所述第三目标特征图、所述第四目标特征图和所述第五目标特征图进行融合,以得到第二特征图;根据所述第二特征图和第五卷积核进行卷积运算,以得到第三特征图,其中,所述第五卷积核的大小为1×1;对所述第三特征图进行上采样处理,以得到第四特征图;根据所述第一特征图和第六卷积核进行卷积运算,以得到第五特征图,其中,所述第六卷积核的大小为1×1,所述第四特征图和所述第五特征图的尺寸相同;对所述第四特征图和所述第五特征图进行融合,以得到第六特征图;根据所述第六特征图和第七卷积核进行卷积运算,以得到第七特征图,其中,所述第七卷积核的大小为n×n;对所述第七特征图进行上采样处理,以得到所述目标图像块的处理结果。

在本申请实施例中,采用不同扩张率的卷积层对第一特征图进行卷积计算,可以在不增加计算量的情况下,在不同感受野情况下提取特征;而对第一特征图直接池化处理,目的主要是去噪和降低计算量,在一定程度上防止过拟合;再对第一目标特征图、第二目标特征图、第三目标特征图、第四目标特征图和第五目标特征图进行融合,可以提升识别准确率。

在一种可能的实现方式中,所述子图像块的处理结果为所述子图像块对应的目标物体分布图,所述第一图像的处理结果为所述第一图像对应的目标物体分布图;所述根据所述多个子图像块中全部或部分子图像块的处理结果得到所述第一图像的处理结果,包括:对所述多个子图像块中每个子图像块对应的目标物体分布图进行处理,以得到处理后的所述多个子图像块中全部或部分子图像块对应的目标物体分布图,其中,所述处理包括孔洞填充和小连通域去除,所述孔洞指所述子图像块中同一目标物体的分布区域包围的无目标物体区域,所述小连通域指所述子图像块中目标物体的零散分布区域;根据处理后的所述多个子图像块中全部或部分子图像块对应的目标物体分布图得到所述第一图像对应的目标物体分布图。

在本申请实施例中,对子图像块对应的目标物体分布图进行孔洞填充和小连通域去除等后处理,再利用处理后的子图像块对应的目标物体分布图组合得到第一图像对应的目标物体分布图,从而有利于提高目标物体分布预测的精度。

在一种可能的实现方式中,所述第一神经网络模型通过以下步骤得到:采用第一训练集对预设神经网络进行训练,以得到第二神经网络模型,其中,所述第一训练集中的样本图像块有标签;采用所述第二神经网络模型对第二训练集进行预测,以得到第三训练集,其中,所述第二训练集中的样本图像块没有标签,所述第三训练集中的样本图像块有伪标签;将所述第一训练集和所述第三训练集合并,以得到第四训练集;采用所述第四训练集对所述预设神经网络进行训练,以得到所述第一神经网络模型。

在本申请实施例中,先采用有标签的样本图像块对预设神经网络进行训练,得到第二神经网络模型;然后采用该第二神经网络模型对没有标签的样本图像块进行预测,生成伪标签;再将带有伪标签的样本图像块加入训练集,以及采用该包含带有伪标签的样本图像块的训练集对该预设神经网络进行重新训练,得到第一神经网络模型,从而可以提高第一神经网络模型的预测精度,有利于提高图像处理的精度。

在一种可能的实现方式中,所述样本图像块通过以下策略得到:以所述滑窗窗口的尺寸为1024×1024、所述滑窗步长为900对样本图像进行切割,当所述滑窗窗口中的背景类区域占所述滑窗窗口的比例大于7/8时,则不割取所述滑窗窗口当前框定的图像块;当所述滑窗窗口中的背景类区域占所述滑窗窗口的比例小于1/3时,将所述滑窗步长减小为512,以增加采样率;或以所述滑窗窗口的尺寸为1024×1024、所述滑窗步长为512对样本图像进行切割,当所述滑窗窗口中的背景类区域占所述滑窗窗口的比例大于1/3时,则不割取所述滑窗窗口当前框定的图像块。

在本申请实施例中,在获取训练使用的样本图像块时,可以滑窗窗口的尺寸为1024×1024、滑窗步长为900或512对样本图像进行切割;若以滑窗步长为900,当滑窗窗口中的背景类区域占所述滑窗窗口的比例大于7/8时,说明滑窗窗口当前框定的图像块中可用于训练的数据较少,则不割取滑窗窗口当前框定的图像块;当滑窗窗口中的背景类区域占滑窗窗口的比例小于1/3时,说明滑窗窗口当前框定的图像块中可用于训练的数据较多,可以将滑窗步长减小,例如减小为512,以增加采样率;若以滑窗步长为512,当滑窗窗口中的背景类区域占滑窗窗口的比例大于1/3时,说明滑窗窗口当前框定的图像块中可用于训练的数据较少,则不割取滑窗窗口当前框定的图像块。如此,可以使得获取的样本图像块中的有效数据尽可能的多,从而有利于训练得到具有高精度预测能力的第一神经网络模型。

在一种可能的实现方式中,所述样本图像块的标签通过以下步骤得到:在所述样本图像块的边缘和类间交界处设置过渡带,其中,所述类间交界处指所述样本图像块中不同类别的分布区域之间的交界处;将所述样本图像块中的非过渡带区域的标签概率设置为1,将所述样本图像块中的过渡带区域的标签概率设置在0至1之间。

在本申请实施例中,在样本图像块的边缘和类间交界处设置过渡带,将样本图像块中的非过渡带区域的标签概率设置为1,将样本图像块中的过渡带区域的标签概率设置在0至1之间,由于神经网络模型对图像边缘和类间交界处的数据难以作出正确分类,相比于过渡带区域的标签概率设置为0或1,将将样本图像块中的过渡带区域的标签概率设置在0至1之间,有利于提高神经网络模型对过渡带区域的类别预测的精度。

本申请实施例第二方面公开了一种图像处理装置,包括:填充单元,用于在第一图像的周围填充K/2圈零,以得到第二图像,其中,所述第一图像的尺寸为滑窗窗口的尺寸的整数倍,所述K为滑窗步长;切割单元,用于根据所述滑窗窗口和所述滑窗步长对所述第二图像进行图像切割,以得到多个图像块;处理单元,用于采用第一神经网络模型对所述多个图像块进行处理,以得到多个子图像块中每个子图像块的处理结果,其中,所述多个图像块与所述多个子图像块一一对应,所述子图像块为所述图像块中以所述图像块的中心为中心、尺寸为K×K的区域图像;以及根据所述多个子图像块中每个子图像块的处理结果得到所述第一图像的处理结果。

在一种可能的实现方式中,在所述在第一图像的周围填充K/2圈零,以得到第二图像方面,所述填充单元,具体用于:若所述第一图像的尺寸不为滑窗窗口的尺寸的整数倍,则对所述第一图像进行填充处理,以得填充后的第一图像,其中,所述填充后的第一图像的尺寸为所述滑窗窗口的尺寸的整数倍;在所述填充后的第一图像的周围填充K/2圈零,以得到所述第二图像。

在一种可能的实现方式中,在所述采用第一神经网络模型对所述多个图像块进行处理,以得到多个子图像块中每个子图像块的处理结果方面,所述处理单元,具体用于:采用第一神经网络模型对所述多个图像块进行处理,以得到所述多个图像块中每个图像块的处理结果;对所述多个图像块中每个图像块的处理结果进行图像截取,以得到所述多个子图像块中每个子图像块的处理结果。

在一种可能的实现方式中,在所述对所述多个图像块中每个图像块的处理结果进行图像截取,以得到所述多个子图像块中每个子图像块的处理结果方面,所述处理单元,具体用于:针对所述多个图像块中每个图像块的处理结果,执行以下步骤,以得到所述多个子图像块中每个子图像块的处理结果:以所述目标图像块的处理结果的中心为中心,在所述目标图像块的处理结果中进行图像截取尺寸为K×K的区域图像,以得到目标子图像块,其中,所述目标图像块为所述多个图像块中的任意一个,所述目标子图像块为与所述目标图像块对应的子图像块。

在一种可能的实现方式中,在所述采用第一神经网络模型对所述多个图像块进行处理,以得到所述多个图像块中每个图像块的处理结果方面,所述处理单元,具体用于:针对所述多个图像块中每个图像块,执行以下步骤,以得到所述多个图像块中每个图像块的处理结果:采用深度卷积神经网络模型对目标图像块进行特征提取,以得到所述目标图像块的第一特征图,其中,所述目标图像块为所述多个图像块中的任意一个图像块;根据所述第一特征图和第一卷积核进行卷积运算,以得到第一目标特征图,其中,所述第一卷积核的大小为1×1;根据所述第一特征图和第二卷积核进行扩张卷积运算,以得到第二目标特征图,其中,所述第二卷积核的大小为n×n,所述第二卷积核的扩张率为第一预设值,所述n为大于1的整数;根据所述第一特征图和第三卷积核进行扩张卷积运算,以得到第三目标特征图,其中,所述第三卷积核的大小为n×n,所述第三卷积核的扩张率为第二预设值;根据所述第一特征图和第四卷积核进行扩张卷积运算,以得到第四目标特征图,其中,所述第四卷积核的大小为n×n,所述第四卷积核的扩张率为第三预设值;对所述第一特征图进行池化运算,以得到第五目标特征图;其中,所述第一目标特征图、所述第二目标特征图、所述第三目标特征图、所述第四目标特征图和所述第五目标特征图的尺寸相同;对所述第一目标特征图、所述第二目标特征图、所述第三目标特征图、所述第四目标特征图和所述第五目标特征图进行融合,以得到第二特征图;根据所述第二特征图和第五卷积核进行卷积运算,以得到第三特征图,其中,所述第五卷积核的大小为1×1;对所述第三特征图进行上采样处理,以得到第四特征图;根据所述第一特征图和第六卷积核进行卷积运算,以得到第五特征图,其中,所述第六卷积核的大小为1×1,所述第四特征图和所述第五特征图的尺寸相同;对所述第四特征图和所述第五特征图进行融合,以得到第六特征图;根据所述第六特征图和第七卷积核进行卷积运算,以得到第七特征图,其中,所述第七卷积核的大小为n×n;对所述第七特征图进行上采样处理,以得到所述目标图像块的处理结果。

在一种可能的实现方式中,所述子图像块的处理结果为所述子图像块对应的目标物体分布图,所述第一图像的处理结果为所述第一图像对应的目标物体分布图;在所述根据所述多个子图像块中全部或部分子图像块的处理结果得到所述第一图像的处理结果方面,所述处理单元,具体用于:对所述多个子图像块中每个子图像块对应的目标物体分布图进行处理,以得到处理后的所述多个子图像块中全部或部分子图像块对应的目标物体分布图,其中,所述处理包括孔洞填充和小连通域去除,所述孔洞指所述子图像块中同一目标物体的分布区域包围的无目标物体区域,所述小连通域指所述子图像块中目标物体的零散分布区域;根据处理后的所述多个子图像块中全部或部分子图像块对应的目标物体分布图得到所述第一图像对应的目标物体分布图。

在一种可能的实现方式中,所述第一神经网络模型通过以下步骤得到:采用第一训练集对预设神经网络进行训练,以得到第二神经网络模型,其中,所述第一训练集中的样本图像块有标签;采用所述第二神经网络模型对第二训练集进行预测,以得到第三训练集,其中,所述第二训练集中的样本图像块没有标签,所述第三训练集中的样本图像块有伪标签;将所述第一训练集和所述第三训练集合并,以得到第四训练集;采用所述第四训练集对所述预设神经网络进行训练,以得到所述第一神经网络模型。

在一种可能的实现方式中,所述样本图像块通过以下策略得到:以所述滑窗窗口的尺寸为1024×1024、所述滑窗步长为900对样本图像进行切割,当所述滑窗窗口中的背景类区域占所述滑窗窗口的比例大于7/8时,则不割取所述滑窗窗口当前框定的图像块;当所述滑窗窗口中的背景类区域占所述滑窗窗口的比例小于1/3时,将所述滑窗步长减小为512,以增加采样率;或以所述滑窗窗口的尺寸为1024×1024、所述滑窗步长为512对样本图像进行切割,当所述滑窗窗口中的背景类区域占所述滑窗窗口的比例大于1/3时,则不割取所述滑窗窗口当前框定的图像块。

在一种可能的实现方式中,所述样本图像块的标签通过以下步骤得到:在所述样本图像块的边缘和类间交界处设置过渡带,其中,所述类间交界处指所述样本图像块中不同类别的分布区域之间的交界处;将所述样本图像块中的非过渡带区域的标签概率设置为1,将所述样本图像块中的过渡带区域的标签概率设置在0至1之间。

本申请实施例第三方面公开了一种电子设备,包括处理器、存储器、通信接口,以及一个或多个程序,所述一个或多个程序被存储在所述存储器中,并且被配置由所述处理器执行,所述程序包括用于执行如本申请实施例第一方面中任一项所述的方法中的步骤的指令。

本申请实施例第四方面公开了一种芯片,其特征在于,包括:处理器,用于从存储器中调用并运行计算机程序,使得安装有所述芯片的设备执行如本申请实施例第一方面中任一项所述的方法。

本申请实施例第五方面公开了一种计算机可读存储介质,其特征在于,其存储用于电子数据交换的计算机程序,其中,所述计算机程序使得计算机执行如本申请实施例第一方面中任一项所述的方法。

本申请实施例第六方面公开了一种计算机程序产品,所述计算机程序产品使得计算机执行如本申请实施例第一方面中任一项所述的方法。

附图说明

为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本申请实施例提供的一种图像处理方法的流程示意图。

图2是本申请实施例提供的一种图像处理过程的示意图。

图3是本申请实施例提供的一种神经网络模型的数据处理流程图示意图。

图4是本申请实施例提供的一种方格效应的示意图。

图5是本申请实施例提供的一种目标物体分布图的后处理示意图。

图6是本申请实施例提供的一种神经网络模型训练的流程示意图。

图7是本申请实施例提供的一种遥感图像和标签示意图。

图8是本申请实施例提供的一种硬标签和软标签的示意图。

图9是本申请实施例提供的一种图像中的过渡带的示意图。

图10是本申请实施例提供的一种样本图像可视化的示意图。

图11是本申请实施例提供的一种图像处理装置的结构示意图。

图12是本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面结合本申请实施例中的附图对本申请实施例进行描述。

请参阅图1,图1是本申请实施例提供的一种图像处理方法的流程示意图,该图像处理方法可应用于电子设备,该图像处理方法包括但不限于以下步骤。

步骤101、在第一图像的周围填充K/2圈零,以得到第二图像,其中,所述第一图像的尺寸为滑窗窗口的尺寸的整数倍,所述K为滑窗步长。

其中,所述在第一图像的周围填充K/2圈零,以得到第二图像包括:若所述第一图像的尺寸不为滑窗窗口的尺寸的整数倍,则对所述第一图像进行填充处理,以得到填充后的第一图像,其中,所述填充后的第一图像的尺寸为所述滑窗窗口的尺寸的整数倍;在所述填充后的第一图像的周围填充K/2圈零,以得到所述第二图像。应理解,填充处理也即填充零,也即填充的像素值为零。

举例来说,请参阅图2,图2是本申请实施例提供的一种图像处理过程的示意图,如图2所示,若第一图像的尺寸为2304×2304,滑窗窗口的尺寸为1024×1024,则第一图像的尺寸不为滑窗窗口的尺寸的整数倍;对第一图像进行行和列的填充,得到填充后的第一图像,填充后的第一图像的尺寸为2560×2560,填充后的第一图像的尺寸为滑窗窗口的尺寸的整数倍;再对填充后的第一图像的周围填充K/2圈零,得到第二图像,例如滑窗步长K等于512,则在填充后的第一图像的周围填充256圈零,得到的第二图像的尺寸为3072×3072。

步骤102、根据所述滑窗窗口和所述滑窗步长对所述第二图像进行图像切割,以得到多个图像块。

应理解,根据该滑窗窗口进行图像切割,得到的多个图像块的尺寸为滑窗窗口的尺寸;若滑窗窗口的尺寸为M×M,则图像块的尺寸也为M×M,M为大于或等于K的正整数。

举例来说,请继续参阅图2,滑窗窗口的尺寸为1024×1024,则以该滑窗窗口进行图像切割得到的图像块的尺寸也为1024×1024。

步骤103、采用第一神经网络模型对所述多个图像块进行处理,以得到多个子图像块中每个子图像块的处理结果,其中,所述多个图像块与所述多个子图像块一一对应,所述子图像块为所述图像块中以所述图像块的中心为中心、尺寸为K×K的区域图像。

应理解,子图像块为图像块的中心区域的图像;每个图像块中有一个对应的子图像块,故多个图像块就对应多个子图像块;子图像块的尺寸为K×K,则子图像块的处理结果的尺寸也为K×K。

其中,图像处理的效率和滑窗步长有关,如果需要提高图像切割或者采用第一神经网络模型对所述多个图像块进行处理的效率,可以调整图像切割时的滑窗步长以得到更大的滑窗步长,或保留更大的中心区域(也即获取更大的子图像块的尺寸),从而提高处理效率。

在一种可能的实现方式中,所述采用第一神经网络模型对所述多个图像块进行处理,以得到多个子图像块中每个子图像块的处理结果,包括:采用第一神经网络模型对所述多个图像块进行处理,以得到所述多个图像块中每个图像块的处理结果;对所述多个图像块中每个图像块的处理结果进行图像截取,以得到所述多个子图像块中每个子图像块的处理结果。

示例性地,所述对所述多个图像块中每个图像块的处理结果进行图像截取,以得到所述多个子图像块中每个子图像块的处理结果,包括:针对所述多个图像块中每个图像块的处理结果,执行以下步骤,以得到所述多个子图像块中每个子图像块的处理结果:以所述目标图像块的处理结果的中心为中心,在所述目标图像块的处理结果中进行图像截取尺寸为K×K的区域图像,以得到目标子图像块,其中,所述目标图像块为所述多个图像块中的任意一个,所述目标子图像块为与所述目标图像块对应的子图像块。

举例来说,请继续参阅图2,图像块的尺寸为1024×1024,滑窗步长等于512,则子图像块的尺寸为512×512;具体地,将任意一张图像块输入第一神经网络模型中,第一神经网络模型输出该图像块的处理结果,该图像块的处理结果的尺寸为1024×1024,根据该图像块对应的子图像块的尺寸对该图像块的处理结果进行截取,从而得到的每个子图像块的处理结果的尺寸为512×512。

在本申请实施例中,第一神经网络模型输出图像块的处理结果,对图像块的处理结果进行图像截取,可以以得到图像块对应的子图像块的处理结果,从而消除了因第一神经网络模型对图像块的边缘预测不准,而影响图像处理精度的问题。

请参阅图3,图3是本申请实施例提供的一种神经网络模型的数据处理流程图示意图,该神经网络模型可以为第一神经网络模型,可以采用图3所示的处理流程对所述多个图像块进行处理,以得到所述多个图像块中每个图像块的处理结果。

在一种可能的实现方式中,所述采用第一神经网络模型对所述多个图像块进行处理,以得到所述多个图像块中每个图像块的处理结果,包括:针对所述多个图像块中每个图像块,执行以下步骤,以得到所述多个图像块中每个图像块的处理结果:采用深度卷积神经网络模型对目标图像块进行特征提取,以得到所述目标图像块的第一特征图,其中,所述目标图像块为所述多个图像块中的任意一个图像块;根据所述第一特征图和第一卷积核进行卷积运算,以得到第一目标特征图,其中,所述第一卷积核的大小为1×1;根据所述第一特征图和第二卷积核进行扩张卷积运算,以得到第二目标特征图,其中,所述第二卷积核的大小为n×n,所述第二卷积核的扩张率为第一预设值,所述n为大于1的整数;根据所述第一特征图和第三卷积核进行扩张卷积运算,以得到第三目标特征图,其中,所述第三卷积核的大小为n×n,所述第三卷积核的扩张率为第二预设值;根据所述第一特征图和第四卷积核进行扩张卷积运算,以得到第四目标特征图,其中,所述第四卷积核的大小为n×n,所述第四卷积核的扩张率为第三预设值;对所述第一特征图进行池化运算,以得到第五目标特征图;其中,所述第一目标特征图、所述第二目标特征图、所述第三目标特征图、所述第四目标特征图和所述第五目标特征图的尺寸相同;对所述第一目标特征图、所述第二目标特征图、所述第三目标特征图、所述第四目标特征图和所述第五目标特征图进行融合,以得到第二特征图;根据所述第二特征图和第五卷积核进行卷积运算,以得到第三特征图,其中,所述第五卷积核的大小为1×1;对所述第三特征图进行上采样处理,以得到第四特征图;根据所述第一特征图和第六卷积核进行卷积运算,以得到第五特征图,其中,所述第六卷积核的大小为1×1,所述第四特征图和所述第五特征图的尺寸相同;对所述第四特征图和所述第五特征图进行融合,以得到第六特征图;根据所述第六特征图和第七卷积核进行卷积运算,以得到第七特征图,其中,所述第七卷积核的大小为n×n;对所述第七特征图进行上采样处理,以得到所述目标图像块的处理结果。

具体地,图3所示的神经网络模型中的深度卷积神经网络模型(DCNN)可以为DeeplabV3plus,Xception-65和ResNet-101以及DenseNet-121;在对图像块进行处理时,可以使用这多个模型进行处理(也即投票),再对每个模型的的处理结果求平均,将平均值作为图像块的处理结果;其中,用于投票的每个模型是采用不同的数据训练得到的,如此可以增加模型差异。其中,n可以为3、5、7、9等;第一扩张率也即第二卷积核的扩张率为第一预设值,例如第一扩张率可以为6;第二扩张率也即第三卷积核的扩张率为第二预设值,例如第二扩张率可以为12;第三扩张率也即第四卷积核的扩张率为第三预设值,例如第三扩张率可以为18;上采样的步长为4。

在本申请实施例中,采用不同扩张率的卷积层对第一特征图进行卷积计算,可以在不增加计算量的情况下,在不同感受野情况下提取特征;而对第一特征图直接池化处理,目的主要是去噪和降低计算量,在一定程度上防止过拟合;再对第一目标特征图、第二目标特征图、第三目标特征图、第四目标特征图和第五目标特征图进行融合,可以提升识别准确率。

其中,在得到图像块的处理结果时,可以先通过对图像块进行水平翻转、垂直翻转、水平垂直翻转后,再输入到第一神经网络模型进行处理,以得到处理结果,也即得到图像块的处理结果的预测结果,从而可以得到图像块在不同输入方式下的处理结果,再对同一图像块在不同输入方式下的处理结果取平均,将平均值作为最终处理结果,可以提高图像处理的精度。

步骤104、根据所述多个子图像块中全部或部分子图像块的处理结果得到所述第一图像的处理结果。

其中,在神经网络模型预测时,只保留预测结果的中心区域,舍弃预测不准的边缘,称为膨胀预测。由于在卷积计算时,为了维持分辨率进行了大量零填充,导致神经网络模型对边缘预测不准;如果将神经网络的预测结果直接做不重叠滑窗预测拼接,得到的预测结果拼接痕迹明显,也即产生方格效应,如图4所示。而通过膨胀预测,可以消除方格效应。

在一种可能的实现方式中,所述子图像块的处理结果为所述子图像块对应的目标物体分布图,所述第一图像的处理结果为所述第一图像对应的目标物体分布图;所述根据所述多个子图像块中全部或部分子图像块的处理结果得到所述第一图像的处理结果,包括:对所述多个子图像块中每个子图像块对应的目标物体分布图进行处理,以得到处理后的所述多个子图像块中全部或部分子图像块对应的目标物体分布图,其中,所述处理包括孔洞填充和小连通域去除,所述孔洞指所述子图像块中同一目标物体的分布区域包围的无目标物体区域,所述小连通域指所述子图像块中目标物体的零散分布区域;根据处理后的所述多个子图像块中全部或部分子图像块对应的目标物体分布图得到所述第一图像对应的目标物体分布图。

应理解,本申请实施例可以应用于预测一张图像中的目标物体分布图;此时,子图像块的处理结果是子图像块对应的目标物体分布图,第一图像的处理结果是第一图像对应的目标物体分布图,图像块的处理结果是图像块对应的目标物体分布图。例如用于预测某个地域的农作物分布,此时目标物体可以包括各种农作物等。

具体地,如图5所示,对每个子图像块对应的目标物体分布图进行后处理,其中,后处理主要是做填充孔洞和去除小连通域。应理解,在本申请实施例中,可以先对图像块对应的目标物体分布图进行后处理,得到处理后的图像块对应的目标物体分布图,再对处理后的图像块对应的目标物体分布图尽心图像截取,以得到处理后的子图像块对应的目标物体分布图;也可以先对图像块对应的目标物体分布图尽心图像截取,以得到子图像块对应的目标物体分布图,再对子图像块对应的目标物体分布图进行后处理,以得到处理后的子图像块对应的目标物体分布图;本申请对此不作具体限定。

在本申请实施例中,对子图像块对应的目标物体分布图进行孔洞填充和小连通域去除等后处理,再利用处理后的子图像块对应的目标物体分布图组合得到第一图像对应的目标物体分布图,从而有利于提高目标物体分布预测的精度。

需要说明的是,本申请实施例可以应用于对某个地域的农作物分布进行统计,例如先对该地域进行航拍以得到该地域的遥感图像,再将该地域的遥感图像作为第一图像,通过本申请提供的图像处理方法,以统计出该地域的农作物的分布图。

在图1所描述的图像处理方法中,在第一图像的周围填充K/2圈零,以得到第二图像,第一图像的尺寸为滑窗窗口的尺寸的整数倍;再根据该滑窗窗口和滑窗步长为K对第二图像进行图像切割,以得到多个图像块,且这多个图像块中每个图像块的尺寸与滑窗窗口的尺寸相同;再采用第一神经网络模型对这多个图像块进行处理,以得到多个子图像块中每个子图像块的处理结果,且这多个图像块与多个子图像块一一对应,该子图像块为图像块中以图像块的中心为中心、尺寸为K×K的区域图像,也即子图像块为对应图像块的中心区域,而根据这多个子图像块中的全部或部分可以组合得到第一图像,故根据这多个子图像块中全部或部分子图像块的处理结果可以组合得到第一图像的处理结果。在本申请实施例中,第一神经网络模型的输入是图像块,其输出的是子图像块的处理结果,而子图像块为对应图像块的中心区域,故子图像块的处理结果是每个图像块中心区域的计算结果,从而避免了神经网络模型对图像边缘预测不准确带来的精度问题,有利于提高图像处理的精度。应理解,子图像块的处理结果可以是第一神经网络模型预测出的子图像块对应的目标物体分布图,则第一图像的处理结果为第一图像对应的目标物体分布图;由于第一图像可以通过对需要统计目标物体的地域进行拍摄得到,采用本申请实施例,可以快速得到该地域的目标物体分布图,相比人工统计具备更高的效率。

在一种可能的实现方式中,所述第一神经网络模型通过以下步骤得到:采用第一训练集对预设神经网络进行训练,以得到第二神经网络模型,其中,所述第一训练集中的样本图像块有标签;采用所述第二神经网络模型对第二训练集进行预测,以得到第三训练集,其中,所述第二训练集中的样本图像块没有标签,所述第三训练集中的样本图像块有伪标签;将所述第一训练集和所述第三训练集合并,以得到第四训练集;采用所述第四训练集对所述预设神经网络进行训练,以得到所述第一神经网络模型。

具体地,也即采用半监督学习方式训练得到第一神经网络模型,没有标签的测试集预测生成伪标签,然后加入训练集,对预设神经网络进行重新训练,重新训练得到的模型即为第一神经网络模型,如此训练得到的第一神经网络模型对预测精度有较大的提升。

其中,在模型训练时,可以引入snapshot ensemble。snapshot ensemble是一个简单通用的提分技巧,通过余弦周期退火的学习率调整策略,保存多个收敛到局部最小值的模型,通过模型自融合提升模型效果。snapshot ensemble另一个作用是作新方案的验证。深度学习训练的结果具有一定的随机性,在做新改进方案验证时,有时难以确定线上分数的小幅度提升是来自于随机性,还是改进方案的作用。snapshot ensemble不失为一个稳定新方案验证的方法。

在本申请实施例中,先采用有标签的样本图像块对预设神经网络进行训练,得到第二神经网络模型;然后采用该第二神经网络模型对没有标签的样本图像块进行预测,生成伪标签;再将带有伪标签的样本图像块加入训练集,以及采用该包含带有伪标签的样本图像块的训练集对该预设神经网络进行重新训练,得到第一神经网络模型,从而可以提高第一神经网络模型的预测精度,有利于提高图像处理的精度。

在一种可能的实现方式中,所述样本图像块通过以下策略得到:策略一、以所述滑窗窗口的尺寸为1024×1024、所述滑窗步长为900对样本图像进行切割,当所述滑窗窗口中的背景类区域占所述滑窗窗口的比例大于7/8时,则不割取所述滑窗窗口当前框定的图像块;当所述滑窗窗口中的背景类区域占所述滑窗窗口的比例小于1/3时,将所述滑窗步长减小为512,以增加采样率;策略二、以所述滑窗窗口的尺寸为1024×1024、所述滑窗步长为512对样本图像进行切割,当所述滑窗窗口中的背景类区域占所述滑窗窗口的比例大于1/3时,则不割取所述滑窗窗口当前框定的图像块。

其中,在进行图像切割时主要从以下三个方面考量:

(1)速度:图像切割使用GDAL(Geospatial Data Abstraction Library),读取时直接多进程加速,图像块尺寸为1024时,单张图像在5~6min之间可以切完。

(2)图像块尺寸:可以包括1024和512两种切割方式。

(3)类别平衡:过滤掉背景类区域占比大于7/8的区域;在背景类区域占比小于1/3时,减小滑窗步长,增大采样率。

在本申请实施例中,在获取训练使用的样本图像块时,可以滑窗窗口的尺寸为1024×1024、滑窗步长为900或512对样本图像进行切割;若以滑窗步长为900,当滑窗窗口中的背景类区域占所述滑窗窗口的比例大于7/8时,说明滑窗窗口当前框定的图像块中可用于训练的数据较少,则不割取滑窗窗口当前框定的图像块;当滑窗窗口中的背景类区域占滑窗窗口的比例小于1/3时,说明滑窗窗口当前框定的图像块中可用于训练的数据较多,可以将滑窗步长减小,例如减小为512,以增加采样率;若以滑窗步长为512,当滑窗窗口中的背景类区域占滑窗窗口的比例大于1/3时,说明滑窗窗口当前框定的图像块中可用于训练的数据较少,则不割取滑窗窗口当前框定的图像块。如此,可以使得获取的样本图像块中的有效数据尽可能的多,从而有利于训练得到具有高精度预测能力的第一神经网络模型。

其中,可以通过1024和512两种切割方式切割得到样本图像块,用来分别训练不同的模型,提高模型的差异度,从而有利于模型投票。

以预测图像块对应的目标物体分布图来举例说明,请参阅图6,图6是本申请实施例提供的一种神经网络模型训练的流程示意图。如图6所示,通过三种方式训练得到第一神经网络模型:(1)采用策略一进行图像切割,得到尺寸为1024×1024的样本图像块,采用这些样本图像块对Xception-65+空洞空间卷积池化金字塔(atrous spatial pyramidpooling,ASPP)网络架构训练,得到目标物体分布图预测结果1;(2)采用策略二进行图像切割,得到尺寸为1024×1024的样本图像块,采用这些样本图像块对Xception-65+ASPP网络架构训练,得到目标物体分布图预测结果2;(3)采用策略二+随机切割的方式进行图像切割,得到尺寸为512×512的样本图像块,采用这些样本图像块对ResNet-101+ASPP网络架构训练,得到目标物体分布图预测结果3;针对上述三种方式的结果,采用one-hot编码和argmax函数确定最佳的方式训练得到的第一神经网络模型,也即得到最佳的目标物体分布图预测结果。

在一种可能的实现方式中,所述样本图像块的标签通过以下步骤得到:在所述样本图像块的边缘和类间交界处设置过渡带,其中,所述类间交界处指所述样本图像块中不同类别的分布区域之间的交界处;将所述样本图像块中的非过渡带区域的标签概率设置为1,将所述样本图像块中的过渡带区域的标签概率设置在0至1之间。

以预测图像块对应的目标物体分布图来举例说明,本申请实施例中的样本图像可以是遥感图像,如图7所示,该遥感图像是同一片区域的航拍影像;其中上半部分为原始图像,下半部分为对应的不同标签组成的单通道图像,其中提供的标签(label)为与原始图像1:1大小的单通道图像,像素的大小对应不同的标注类别;其中“烤烟”像素值为1,“玉米”像素值为2,“薏仁米”像素值为3,“人造建筑”像素值为4,背景类像素值为0;如此,可以实现训练集数据可视化。

其中,在图像中,处于图像边缘和类别交界处(也即不同类间交界处)的像素点的标签为硬标签(hard sample),而处于同一类别分布区域内的像素点的标签为软标签(easysample),如图8所示。

具体地,在图像分割任务中,每个像素的分类结果很大程度依赖于周围像素,基于此,为了可以发掘部分样本中的硬标签。主要考虑了以下两类数据:

(1)图像边缘出的数据:在卷积运算时,图像边缘零填充太多,导致信息缺少,难以正确分类,会产生方格效应。

(2)不同类间交界处的数据:类间交界难以界定,存在许多标注错误,训练时梯度不稳定类间交界的点,往往只相差几个像素偏移;对网络来说,输入信息高度相似,但训练时标签却不同,也是训练过程的不稳定因素。

请参阅图9,图9是本申请实施例提供的一种样本图像可视化的示意图,图9中从上到下分别为原图、不加膨胀预测的模型预测结果、模型对每个像素点的预测置信度可视化图(将置信度p<0.8可视化为黑色,p>=0.8可视化为白色),可以明显看出,对于图像边缘数据,信息缺失网络难以作出正确分类。对于类间交界,由于训练过程梯度不稳定,网络对这部分数据的分类把握较低。

应理解,标签平滑后训练的模型更加稳定和泛化能力更强,因此在训练第一神经网络模型的过程中,可以对样本图像块进行标签平滑。在知识蒸馏中,用teacher模型输出的soft target训练的student模型,比直接用硬标签训练的模型具有更强的泛化能力。软标签更加合理反映样本的真实分布情况,硬标签只有全概率和0概率,太过绝对。知识蒸馏时,teacher模型实现了软标签和硬标签的“分拣”(标签平滑),对硬标签输出较低的置信度,对软标签输出较高的置信度,使得student模型学到了更加丰富的信息。

具体地,标签平滑处理采取的方式是在图像边缘和类间交界设置过渡带,如图10所示,在过渡带内的像素点的标签视为硬标签,需要作标签平滑处理,平滑的程度取决于训练时每个图像块中硬标签像素占总输入像素的比例;而过渡带w(width)的大小为一个超参数,w=11pixel。

其中,在训练模型时,软标签和硬标签采用不同的方式计算交叉熵损失函数,软标签对应的交叉熵损失函数如公式(1)所示,硬标签对应的交叉熵损失函数如公式(2)和(3)所示。

其中,K表示分类类别;p

在本申请实施例中,在样本图像块的边缘和类间交界处设置过渡带,将样本图像块中的非过渡带区域的标签概率设置为1,将样本图像块中的过渡带区域的标签概率设置在0至1之间,由于神经网络模型对图像边缘和类间交界处的数据难以作出正确分类,相比于过渡带区域的标签概率设置为0或1,将将样本图像块中的过渡带区域的标签概率设置在0至1之间,有利于提高神经网络模型对过渡带区域的类别预测的精度。

上述详细阐述了本申请实施例的方法,下面提供了本申请实施例的装置。

请参见图11,图11是本申请实施例提供的一种图像处理装置1100的结构示意图,该图像处理装置应用于电子设备,该图像处理装置1100可以包括填充单元1101、切割单元1102和处理单元1103,其中,各个单元的详细描述如下:

填充单元1101,用于在第一图像的周围填充K/2圈零,以得到第二图像,其中,所述第一图像的尺寸为滑窗窗口的尺寸的整数倍,所述K为滑窗步长;

切割单元1102,用于根据所述滑窗窗口和所述滑窗步长对所述第二图像进行图像切割,以得到多个图像块;

处理单元1103,用于采用第一神经网络模型对所述多个图像块进行处理,以得到多个子图像块中每个子图像块的处理结果,其中,所述多个图像块与所述多个子图像块一一对应,所述子图像块为所述图像块中以所述图像块的中心为中心、尺寸为K×K的区域图像;以及根据所述多个子图像块中每个子图像块的处理结果得到所述第一图像的处理结果。

在一种可能的实现方式中,在所述在第一图像的周围填充K/2圈零,以得到第二图像方面,所述填充单元1101,具体用于:若所述第一图像的尺寸不为滑窗窗口的尺寸的整数倍,则对所述第一图像进行填充处理,以得填充后的第一图像,其中,所述填充后的第一图像的尺寸为所述滑窗窗口的尺寸的整数倍;在所述填充后的第一图像的周围填充K/2圈零,以得到所述第二图像。

在一种可能的实现方式中,在所述采用第一神经网络模型对所述多个图像块进行处理,以得到多个子图像块中每个子图像块的处理结果方面,所述处理单元1103,具体用于:采用第一神经网络模型对所述多个图像块进行处理,以得到所述多个图像块中每个图像块的处理结果;对所述多个图像块中每个图像块的处理结果进行图像截取,以得到所述多个子图像块中每个子图像块的处理结果。

在一种可能的实现方式中,在所述对所述多个图像块中每个图像块的处理结果进行图像截取,以得到所述多个子图像块中每个子图像块的处理结果方面,所述处理单元1103,具体用于:针对所述多个图像块中每个图像块的处理结果,执行以下步骤,以得到所述多个子图像块中每个子图像块的处理结果:以所述目标图像块的处理结果的中心为中心,在所述目标图像块的处理结果中进行图像截取尺寸为K×K的区域图像,以得到目标子图像块,其中,所述目标图像块为所述多个图像块中的任意一个,所述目标子图像块为与所述目标图像块对应的子图像块。

在一种可能的实现方式中,在所述采用第一神经网络模型对所述多个图像块进行处理,以得到所述多个图像块中每个图像块的处理结果方面,所述处理单元1103,具体用于:针对所述多个图像块中每个图像块,执行以下步骤,以得到所述多个图像块中每个图像块的处理结果:采用深度卷积神经网络模型对目标图像块进行特征提取,以得到所述目标图像块的第一特征图,其中,所述目标图像块为所述多个图像块中的任意一个图像块;根据所述第一特征图和第一卷积核进行卷积运算,以得到第一目标特征图,其中,所述第一卷积核的大小为1×1;根据所述第一特征图和第二卷积核进行扩张卷积运算,以得到第二目标特征图,其中,所述第二卷积核的大小为n×n,所述第二卷积核的扩张率为第一预设值,所述n为大于1的整数;根据所述第一特征图和第三卷积核进行扩张卷积运算,以得到第三目标特征图,其中,所述第三卷积核的大小为n×n,所述第三卷积核的扩张率为第二预设值;根据所述第一特征图和第四卷积核进行扩张卷积运算,以得到第四目标特征图,其中,所述第四卷积核的大小为n×n,所述第四卷积核的扩张率为第三预设值;对所述第一特征图进行池化运算,以得到第五目标特征图;其中,所述第一目标特征图、所述第二目标特征图、所述第三目标特征图、所述第四目标特征图和所述第五目标特征图的尺寸相同;对所述第一目标特征图、所述第二目标特征图、所述第三目标特征图、所述第四目标特征图和所述第五目标特征图进行融合,以得到第二特征图;根据所述第二特征图和第五卷积核进行卷积运算,以得到第三特征图,其中,所述第五卷积核的大小为1×1;对所述第三特征图进行上采样处理,以得到第四特征图;根据所述第一特征图和第六卷积核进行卷积运算,以得到第五特征图,其中,所述第六卷积核的大小为1×1,所述第四特征图和所述第五特征图的尺寸相同;对所述第四特征图和所述第五特征图进行融合,以得到第六特征图;根据所述第六特征图和第七卷积核进行卷积运算,以得到第七特征图,其中,所述第七卷积核的大小为n×n;对所述第七特征图进行上采样处理,以得到所述目标图像块的处理结果。

在一种可能的实现方式中,所述子图像块的处理结果为所述子图像块对应的目标物体分布图,所述第一图像的处理结果为所述第一图像对应的目标物体分布图;在所述根据所述多个子图像块中全部或部分子图像块的处理结果得到所述第一图像的处理结果方面,所述处理单元1103,具体用于:对所述多个子图像块中每个子图像块对应的目标物体分布图进行处理,以得到处理后的所述多个子图像块中全部或部分子图像块对应的目标物体分布图,其中,所述处理包括孔洞填充和小连通域去除,所述孔洞指所述子图像块中同一目标物体的分布区域包围的无目标物体区域,所述小连通域指所述子图像块中目标物体的零散分布区域;根据处理后的所述多个子图像块中全部或部分子图像块对应的目标物体分布图得到所述第一图像对应的目标物体分布图。

在一种可能的实现方式中,所述第一神经网络模型通过以下步骤得到:采用第一训练集对预设神经网络进行训练,以得到第二神经网络模型,其中,所述第一训练集中的样本图像块有标签;采用所述第二神经网络模型对第二训练集进行预测,以得到第三训练集,其中,所述第二训练集中的样本图像块没有标签,所述第三训练集中的样本图像块有伪标签;将所述第一训练集和所述第三训练集合并,以得到第四训练集;采用所述第四训练集对所述预设神经网络进行训练,以得到所述第一神经网络模型。

在一种可能的实现方式中,所述样本图像块通过以下策略得到:以所述滑窗窗口的尺寸为1024×1024、所述滑窗步长为900对样本图像进行切割,当所述滑窗窗口中的背景类区域占所述滑窗窗口的比例大于7/8时,则不割取所述滑窗窗口当前框定的图像块;当所述滑窗窗口中的背景类区域占所述滑窗窗口的比例小于1/3时,将所述滑窗步长减小为512,以增加采样率;或以所述滑窗窗口的尺寸为1024×1024、所述滑窗步长为512对样本图像进行切割,当所述滑窗窗口中的背景类区域占所述滑窗窗口的比例大于1/3时,则不割取所述滑窗窗口当前框定的图像块。

在一种可能的实现方式中,所述样本图像块的标签通过以下步骤得到:在所述样本图像块的边缘和类间交界处设置过渡带,其中,所述类间交界处指所述样本图像块中不同类别的分布区域之间的交界处;将所述样本图像块中的非过渡带区域的标签概率设置为1,将所述样本图像块中的过渡带区域的标签概率设置在0至1之间。

需要说明的是,各个单元的实现还可以对应参照图1所示的方法实施例的相应描述。当然,本申请实施例提供的图像处理装置1100包括但不限于上述单元模块,例如:该图像处理装置1100还可以包括存储单元1104,该存储单元1104可以用于存储该图像处理装置1100的程序代码和数据。

在图11所描述的图像处理装置1100中,在第一图像的周围填充K/2圈零,以得到第二图像,第一图像的尺寸为滑窗窗口的尺寸的整数倍;再根据该滑窗窗口和滑窗步长为K对第二图像进行图像切割,以得到多个图像块,且这多个图像块中每个图像块的尺寸与滑窗窗口的尺寸相同;再采用第一神经网络模型对这多个图像块进行处理,以得到多个子图像块中每个子图像块的处理结果,且这多个图像块与多个子图像块一一对应,该子图像块为图像块中以图像块的中心为中心、尺寸为K×K的区域图像,也即子图像块为对应图像块的中心区域,而根据这多个子图像块中的全部或部分可以组合得到第一图像,故根据这多个子图像块中全部或部分子图像块的处理结果可以组合得到第一图像的处理结果。在本申请实施例中,第一神经网络模型的输入是图像块,其输出的是子图像块的处理结果,而子图像块为对应图像块的中心区域,故子图像块的处理结果是每个图像块中心区域的计算结果,从而避免了神经网络模型对图像边缘预测不准确带来的精度问题,有利于提高图像处理的精度。应理解,子图像块的处理结果可以是第一神经网络模型预测出的子图像块对应的目标物体分布图,则第一图像的处理结果为第一图像对应的目标物体分布图;由于第一图像可以通过对需要统计目标物体的地域进行拍摄得到,采用本申请实施例,可以快速得到该地域的目标物体分布图,相比人工统计具备更高的效率。

请参见图12,图12是本申请实施例提供的一种电子设备1210的结构示意图,该电子设备1210包括处理器1211、存储器1212和通信接口1213,上述处理器1211、存储器1212和通信接口1213通过总线1214相互连接。

存储器1212包括但不限于是随机存储记忆体(random access memory,RAM)、只读存储器(read-only memory,ROM)、可擦除可编程只读存储器(erasable programmableread only memory,EPROM)、或便携式只读存储器(compact disc read-only memory,CD-ROM),该存储器1212用于相关计算机程序及数据。通信接口1213用于接收和发送数据。

处理器1211可以是一个或多个中央处理器(central processing unit,CPU),在处理器1211是一个CPU的情况下,该CPU可以是单核CPU,也可以是多核CPU。

该电子设备1210中的处理器1211用于读取上述存储器1212中存储的计算机程序代码,执行以下步骤:在第一图像的周围填充K/2圈零,以得到第二图像,其中,所述第一图像的尺寸为滑窗窗口的尺寸的整数倍,所述K为滑窗步长;根据所述滑窗窗口和所述滑窗步长对所述第二图像进行图像切割,以得到多个图像块;采用第一神经网络模型对所述多个图像块进行处理,以得到多个子图像块中每个子图像块的处理结果,其中,所述多个图像块与所述多个子图像块一一对应,所述子图像块为所述图像块中以所述图像块的中心为中心、尺寸为K×K的区域图像;根据所述多个子图像块中的全部或部分子图像块的处理结果得到所述第一图像的处理结果。

需要说明的是,各个操作的实现还可以对应参照图1所示的实施例的相应描述,此处不再赘述。

在图12所描述的电子设备1210中,在第一图像的周围填充K/2圈零,以得到第二图像,第一图像的尺寸为滑窗窗口的尺寸的整数倍;再根据该滑窗窗口和滑窗步长为K对第二图像进行图像切割,以得到多个图像块,且这多个图像块中每个图像块的尺寸与滑窗窗口的尺寸相同;再采用第一神经网络模型对这多个图像块进行处理,以得到多个子图像块中每个子图像块的处理结果,且这多个图像块与多个子图像块一一对应,该子图像块为图像块中以图像块的中心为中心、尺寸为K×K的区域图像,也即子图像块为对应图像块的中心区域,而根据这多个子图像块中的全部或部分可以组合得到第一图像,故根据这多个子图像块中全部或部分子图像块的处理结果可以组合得到第一图像的处理结果。在本申请实施例中,第一神经网络模型的输入是图像块,其输出的是子图像块的处理结果,而子图像块为对应图像块的中心区域,故子图像块的处理结果是每个图像块中心区域的计算结果,从而避免了神经网络模型对图像边缘预测不准确带来的精度问题,有利于提高图像处理的精度。应理解,子图像块的处理结果可以是第一神经网络模型预测出的子图像块对应的目标物体分布图,则第一图像的处理结果为第一图像对应的目标物体分布图;由于第一图像可以通过对需要统计目标物体的地域进行拍摄得到,采用本申请实施例,可以快速得到该地域的目标物体分布图,相比人工统计具备更高的效率。

本申请实施例还提供一种芯片,上述芯片包括至少一个处理器,存储器和接口电路,上述存储器、上述收发器和上述至少一个处理器通过线路互联,上述至少一个存储器中存储有计算机程序;上述计算机程序被上述处理器执行时,图1所示的方法流程得以实现。

本申请实施例还提供一种计算机可读存储介质,上述计算机可读存储介质中存储有计算机程序,当其在计算机上运行时,图1所示的方法流程得以实现。

本申请实施例还提供一种计算机程序产品,当上述计算机程序产品在计算机上运行时,图1所示的方法流程得以实现。

应理解,本申请实施例中提及的处理器可以是中央处理单元(CentralProcessing Unit,CPU),还可以是其他通用处理器、数字信号处理器(Digital SignalProcessor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现成可编程门阵列(Field Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

还应理解,本申请实施例中提及的存储器可以是易失性存储器或非易失性存储器,或可包括易失性和非易失性存储器两者。其中,非易失性存储器可以是只读存储器(Read-Only Memory,ROM)、可编程只读存储器(Programmable ROM,PROM)、可擦除可编程只读存储器(Erasable PROM,EPROM)、电可擦除可编程只读存储器(Electrically EPROM,EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory,RAM),其用作外部高速缓存。通过示例性但不是限制性说明,许多形式的RAM可用,例如静态随机存取存储器(Static RAM,SRAM)、动态随机存取存储器(Dynamic RAM,DRAM)、同步动态随机存取存储器(Synchronous DRAM,SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM,DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM,ESDRAM)、同步连接动态随机存取存储器(Synchlink DRAM,SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM,DR RAM)。

需要说明的是,当处理器为通用处理器、DSP、ASIC、FPGA或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件时,存储器(存储模块)集成在处理器中。

应注意,本文描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。

还应理解,本文中涉及的第一、第二、第三、第四以及各种数字编号仅为描述方便进行的区分,并不用来限制本申请的范围。

应理解,本文中术语“和/或”,仅仅是一种描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B这三种情况。另外,本文中字符“/”,一般表示前后关联对象是一种“或”的关系。

应理解,在本申请的各种实施例中,上述各过程的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑得到,而不应对本申请实施例的实施过程构成任何限定。

本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。

所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统、装置和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。

在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,上述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。

上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。

上述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所示方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random Access Memory,RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本申请实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。

本申请实施例装置中的模块可以根据实际需要进行合并、划分和删减。

以上,以上实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的范围。

相关技术
  • 图像处理方法及相关设备、迁移网络训练方法及相关设备
  • 图像处理模型训练、图像处理方法及相关设备
技术分类

06120112622276