模型训练方法、图像识别方法、存储介质及程序产品
文献发布时间:2023-06-19 11:57:35
技术领域
本公开涉及人工智能技术,尤其涉及一种模型训练方法、图像识别方法、存储介质及程序产品。
背景技术
目前,存在一些需要确定物品数量的应用场景,比如,需要确定一个停车场内车辆的总数,再比如,需要确定一个围栏内动物的数量。
同时,随着人工智能技术的发展,可以利用人工智能技术确定物品数量。比如,可以拍摄停车场的图片,并利用人工智能技术识别该图片,进而确定图片中出现的汽车的数量。但是,由于动物灵活好动,且密集度高,现有技术中人工智能识别动物数量的准确度不高,还需要多人配合统计动物数量。
而人工统计动物数量的方式实时性低,且误差较大,极易受到人为因素影响。因此,如何提高基于人工智能方式识别动物的准确率,进而可以根据识别结果确定动物数量,是本领域技术人员亟需解决的技术问题。
发明内容
本公开提供一种模型训练方法、图像识别方法、存储介质及程序产品,以提高物品统计效率。
本公开的第一个方面是提供一种用于识别图片中的物品的模型训练方法,包括:
获取具有标注信息的训练图片数据,所述标注信息用于指示所述训练图片数据中包括的目标物品,所述标注信息包括用于标记目标物品的标记像素点,以及与所述标记点相邻的核心像素点;
将所述训练图片数据输入预设模型中,得到所述训练图片数据的识别结果;
根据所述训练图片数据的标注信息、所述识别结果确定损失函数,并根据所述损失函数调整所述预设模型中的参数,得到用于识别图片中的目标物品的模型,其中,识别的目标物品用于确定所述图片中包括的目标物品的总数量。
本公开的第二个方面是提供一种图像识别方法,包括:
将待识别图像输入用于识别图片中的目标物品的模型中,得到所述待识别图像中的目标物品识别结果;
根据所述目标物品识别结果确定所述待识别图像中包括的目标物品的数量;
其中,所述用于识别图片中的目标物品的模型为基于权利要求1-14任一项所述的方法训练得到的。
本公开的第三个方面是提供一种用于识别图片中的物品的模型训练装置,包括:
获取单元,用于获取具有标注信息的训练图片数据,所述标注信息用于指示所述训练图片数据中包括的目标物品,所述标注信息包括用于标记目标物品的标记像素点,以及与所述标记点相邻的核心像素点;
识别单元,用于将所述训练图片数据输入预设模型中,得到所述训练图片数据的识别结果;
训练单元,用于根据所述训练图片数据的标注信息、所述识别结果确定损失函数,并根据所述损失函数调整所述预设模型中的参数,得到用于识别图片中的目标物品的模型,其中,识别的目标物品用于确定所述图片中包括的目标物品的总数量。
本公开的第四个方面是提供一种图像识别装置,包括:
识别单元,用于将待识别图像输入用于识别图片中的目标物品的模型中,得到所述待识别图像中的目标物品识别结果;
数量确定单元,用于根据所述目标物品识别结果确定所述待识别图像中包括的目标物品的数量;
其中,所述用于识别图片中的目标物品的模型为基于第一方面所述的模型训练方法训练得到的。
本公开的又一个方面是提供一种电子设备,包括:
存储器;
处理器;以及
计算机程序;
其中,所述计算机程序存储在所述存储器中,并配置为由所述处理器执行以实现如上述第一方面所述的用于识别图片中的物品的模型训练方法,或者如第二方面所述的图像识别方法。
本公开的又一个方面是提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行以实现如上述第一方面所述的用于识别图片中的物品的模型训练方法,或者如第二方面所述的图像识别方法。
本公开的又一个方面是提供一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现如上述第一方面所述的用于识别图片中的物品的模型训练方法,或者如第二方面所述的图像识别方法。
本公开提供的模型训练方法、图像识别方法、存储介质及程序产品,包括:获取具有标注信息的训练图片数据,标注信息用于指示训练图片数据中包括的目标物品,标注信息包括用于标记目标物品的标记像素点,以及与标记点相邻的核心像素点;将训练图片数据输入预设模型中,得到训练图片数据的识别结果;根据训练图片数据的标注信息、识别结果确定损失函数,并根据损失函数调整预设模型中的参数,得到用于识别图片中的目标物品的模型,其中,识别的目标物品用于确定所述图片中包括的目标物品的总数量。本公开提供的模型训练方法、图像识别方法、存储介质及程序产品,通过多点监督的方式对模型进行训练,能够使训练得到的模型可以识别遮挡、扎堆的目标物品,从而提高识别目标物品的准确率。
附图说明
图1为本公开一示例性实施例示出的用于识别图片中的物品的模型训练方法的流程图;
图2为本公开一示例性实施例示出的标记像素点及核心像素点的示意图;
图3为本公开另一示例性实施例示出的用于识别图片中的物品的模型训练方法的流程图;
图4为本公开一示例性实施例示出的特征提取模块示意图;
图5为本公开一示例性实施例示出的图片特征融合示意图;
图6为本公开一示例性实施例示出的融合第三维特征图和第二维特征图的示意图;
图7为本公开一示例性实施例示出的融合中间特征图和第一维特征图的示意图;
图8为本公开一示例性实施例示出的图像识别方法的流程示意图;
图9为本公开一示例性实施例示出的用于识别图片中的物品的模型训练装置的结构示意图;
图10为本公开另一示例性实施例示出的用于识别图片中的物品的模型训练装置的结构示意图;
图11为本公开一示例性实施例示出的图像识别装置的结构示意图;
图12为本公开一示例性实施例示出的电子设备的结构图。
具体实施方式
目前通过人工智能识别图像中的目标物体的方案一般应用于静态物体或者物分散的场景中,而对于物体灵活好动且密集的场景,使用已有的图像识别方法无法准确的从图片中识别出目标物体。
尤其是对动物进行识别时,动物之间经常存在遮挡的情况,因此,如何在动物之间互相遮挡的情况下,也能够准确的从图片中识别出目标物体,是本方案需要解决的技术问题。
为了解决上述技术问题,本公开提供的方案中,用于训练模型的训练图片数据具有标注信息,标注信息包括用于标记目标物品的标记像素点,以及与所述标记点相邻的核心像素点,从而基于多点监督的方式对模型进行训练得到用于识别图片中目标物体的模型,使得在物体被遮挡一部分的情况下,该模型也能够准确的识别目标物体。
图1为本公开一示例性实施例示出的用于识别图片中的物品的模型训练方法的流程图。
如图1所示,本实施例提供的用于识别图片中的物品的模型训练方法包括:
步骤101,获取具有标注信息的训练图片数据,标注信息用于指示训练图片数据中包括的目标物品,标注信息包括用于标记目标物品的标记像素点,以及与标记点相邻的核心像素点。
其中,本公开提供的用于识别图片中的物品的模型训练方法可以由具备计算能力的一台或多台电子设备执行,该电子设备比如可以是计算机。
具体的,可以预先设置训练图片数据,比如,训练图片数据可以是包括动物的图片,可以预先采集大量的训练图片数据。进一步的,训练图片数据还可以具有标注信息,比如,电子设备可以基于用户的操作确定每幅图片的标注信息。
一种实施方式中,用户可以在训练图片数据中标注目标物品。比如,用户可以在目标物品上进行标记,电子设备可以基于用户的标记操作确定训练图片数据中每一目标物品的每一标记像素点。例如,用户可以在目标物品上点击,使得电子设备可以捕获用户点击位置的标记像素点。
若训练图片数据中存在多个目标物品,则用户可以点击每个目标物品,使得电子设备确定训练图片数据中的多个标记像素点。
进一步的,电子设备还可以在标记像素点的基础上进行扩展,得到与每一标记点相邻的核心像素点。比如,可以将单个标记像素点扩展到3*3的尺度内,从而得到8个核心像素点。再比如,可以将单个标记像素点扩展到5*5的尺度内,从而得到24个核心像素点。
图2为本公开一示例性实施例示出的标记像素点及核心像素点的示意图。
如图2所示,存在训练图片数据21,该训练图片数据21中包括多个像素点,比如用户在图中标记了标记像素点22(标记有斜线的像素点)。
基于该标记像素点22,电子设备可以对其进行扩展,得到核心像素点23(标记有网格的像素点)。
通过这种方式训练得到的模型,能够对物品扎堆或者物品遮挡的情况进行精准识别。
步骤102,将训练图片数据输入预设模型中,得到训练图片数据的识别结果。
其中,可以预先搭建预设模型,通过对该模型的训练得到用于识别图片中的目标物品的模型。
在对模型进行训练时,电子设备可以将训练图片数据输入预先搭建的模型中,从而使预设模型输出识别结果。比如,电子设备可以利用预设模型识别并输出识别结果,识别结果可以包括每一像素点为目标物品的概率,或者为背景的概率。
具体的,预设模型中可以包括卷积层,可以利用卷积层对训练图片数据进行卷积处理,提取训练图片数据中的特征,电子设备再利用预设模型根据识别的特征确定训练图片数据中每一像素点的识别结果。
步骤103,根据训练图片数据的标注信息、识别结果确定损失函数,并根据损失函数调整预设模型中的参数,得到用于识别图片中的目标物品的模型,其中,识别的目标物品用于确定图片中包括的目标物品的总数量。
进一步的,针对每一训练图片数据,电子设备都可以基于其标注信息、识别结果构建损失函数,进而可以利用损失函数进行梯度回传,以调整预设模型中的参数。
实际应用时,电子设备可以获取一批次训练图片数据,针对一批数据中的每个图片数据,电子设备都可以利用预设模型得到识别结果,进而电子设备可以利用一批次训练图片数据中,每一训练图片数据的识别结果、标记信息,构建损失函数,并利用损失函数进行梯度回传,从而调整预设模型中的参数。
其中,通过多次迭代训练,电子设备能够训练得到用于识别图片中的目标物品的模型。比如,当构建的损失函数符合预设要求时,电子设备可以停止对模型的训练。
本公开实施例提供的方法用于训练用于识别图片中的物品的模型,该方法由设置有本实施例提供的方法的设备执行,该设备通常以硬件和/或软件的方式来实现。
本公开提供的用于识别图片中的物品的模型训练方法,包括:获取具有标注信息的训练图片数据,标注信息用于指示训练图片数据中包括的目标物品,标注信息包括用于标记目标物品的标记像素点,以及与标记点相邻的核心像素点;将训练图片数据输入预设模型中,得到训练图片数据的识别结果;根据训练图片数据的标注信息、识别结果确定损失函数,并根据损失函数调整预设模型中的参数,得到用于识别图片中的目标物品的模型,其中,识别的目标物品用于确定所述图片中包括的目标物品的总数量。本公开提供的用于识别图片中的物品的模型训练方法,通过多点监督的方式对模型进行训练,能够使训练得到的模型可以识别遮挡、扎堆的目标物品,从而提高识别目标物品的准确率,进而可以根据确定出的目标物品得到准确的图片中包括目标物品的数量。
图3为本公开另一示例性实施例示出的用于识别图片中的物品的模型训练方法的流程图。
如图3所示,本公开提供的用于识别图片中的物品的模型训练方法,包括:
步骤301,获取具有标注信息的训练图片数据,标注信息用于指示训练图片数据中包括的目标物品,标注信息包括用于标记目标物品的标记像素点,以及与标记点相邻的核心像素点。
步骤301与步骤101的执行方式、原理类似,不再赘述。
步骤302,将训练图片数据输入预设模型中,利用预设模型的特征提取模块提取训练图片数据多个维度的图片特征。
在训练模型时,电子设备可以将获取的训练图片数据输入到预设模型中,该预设模型可以是预先搭建的,可以利用预设模型对训练图片数据进行处理,从而得到训练图片数据的识别结果。
其中,搭建的预设模型中可以包括特征提取模块,特征提取模块能够对训练图片数据进行处理,得到多个维度的图片特征。比如,特征提取模块中可以包括多个卷积层,通过多个卷积层逐层对训练图片数据进行处理,每个卷积层都能够输出一个维度的图片特征,进而得到多个维度的图片特征。
具体可以利用特征提取模块提取训练图片数据中的特征,得到第一维特征图;利用特征提取模块提取第一维特征图中的特征,得到第二维特征图;利用特征提取模块提取第二维特征图中的特征,得到第三维特征图。从而通过逐层处理的方式,提取多维度的特征图。
图4为本公开一示例性实施例示出的特征提取模块示意图。
如图4所示,在特征提取模块中可以包括第一卷积层41、第二卷积层42、第三卷积层43。可以利用第一卷积层41对训练图片数据P进行卷积处理,得到第一维特征图P1,再利用第二卷积层42对第一维特征图P1进行卷积处理,得到第二维特征图P2,再利用第三卷积层43对第二维特征图P2进行卷积处理,得到第三维特征图P3。
在一种可选的实施方式中,特征提取模块为有效的通道注意模块ECANet,例如可以是ECANet50。从而可以在特征提取阶段能够引入注意力机制,使得模型能够学习到特征之间的关联关系。
步骤303,利用预设模型的融合模块对多个维度的图片特征进行融合处理,得到训练图片数据的识别结果。
具体的,电子设备还可以利用预设模型的融合模块对多个维度的图片特征进行融合处理,从而得到训练图片数据的识别结果。通过对多个维度的图片特征进行融合,能够充分利用到每一卷积层提取到的图片特征,从而提高模型识别结果的准确度。
进一步的,电子设备可以融合第三维特征图与第二维特征图,得到中间特征图,再融合中间特征图与第一维特征图,得到训练图片数据的识别结果。从而可以逐层的对特征提取模块提取的特征进行融合,从而更精准的提取训练图片数据中的特征。
图5为本公开一示例性实施例示出的图片特征融合示意图。
如图5所示,在图4所示的实施例基础上,可以进一步的对第三维特征图P3与第二维特征图P2进行融合处理,得到中间特征图P4,再对中间特征图P4与第一维特征图P1进行融合处理,得到训练图片数据的识别结果P5。
实际应用时,融合第三维特征图和第二维特征图时,电子设备可以对第三维特征图进行上采样处理,使得采样后的第一采样特征图与第二维特征图的尺寸相同。一种实施方式中,可以先对第三维特征图进行初步卷积处理,在对卷积得到的特征图进行上采样处理,得到第一采样特征图。
其中,电子设备还可以将第一采样特征图与第二维特征图相加,得到第一叠加特征图,电子设备还可以利用第一注意力模块对第一叠加特征图进行处理,得到中间特征图。
图6为本公开一示例性实施例示出的融合第三维特征图和第二维特征图的示意图。
如图6所示,电子设备可以基于conv1对第三维特征图P3进行卷积处理,得到特征图61,再对特征图61进行上采样处理,得到第一采样特征图62,此后,电子设备还可以叠加第一采样特征图62与第二维特征图P2,得到第一叠加特征图63。
电子设备可以利用第一注意力模块64对第一叠加特征图63进行卷积处理,得到中间特征图P4。
实际应用时,融合中间特征图和第一维特征图时,电子设备可以对中间特征图进行上采样处理得到第二采样特征图,使得采样后的第二采样特征图与第一维特征图的尺寸相同。一种实施方式中,可以先对中间特征图进行初步卷积处理,再对卷积得到的特征图进行上采样处理,得到第二采样特征图。
其中,电子设备还可以将第二采样特征图与第一维特征图相加,得到第二叠加特征图,电子设备还可以利用第二注意力模块对第二叠加特征图进行处理,得到融合特征图。
具体的,电子设备对可以再对融合特征图进行上采样处理,从而得到与待训练图片数据的尺寸相同的识别结果。由于识别结果和待训练图片数据的尺寸相同,能够直接将识别结果标注在待训练图片数据中,给用户提供更加直观的识别结果。
图7为本公开一示例性实施例示出的融合中间特征图和第一维特征图的示意图。
如图7所示,电子设备可以基于conv2对中间特征图P4进行卷积处理,得到特征图71,再对特征图71进行上采样处理,得到第二采样特征图72,此后,电子设备还可以叠加第二采样特征图72与第一维特征图P1,得到第二叠加特征图73。
电子设备可以利用第二注意力模块74对第二叠加特征图73进行卷积处理,得到融合特征图74。此后,电子设备可以再次对融合特征图74进行上采样处理,得到与待训练图片数据的尺寸相同的识别结果75。
步骤304,根据训练图片数据的标注信息、识别结果确定图像损失函数、点监督损失函数、分离重合样本损失函数、抑制错误样本损失函数。
其中,为了提高训练得到的模型的准确性,本公开提供的方案设置有图像损失函数、点监督损失函数、分离重合样本损失函数、抑制错误样本损失函数。
具体的,图像损失函数用于约束识别结果中各个像素点的分类结果,使得标注信息中的每一类别都能够被模型预测到。点监督损失函数用于约束模型输出结果的准确性,使模型输出结果中每一像素点的分类结果趋近于标注信息中每一像素点的标注结果。分离重合样本损失函数用于约束分割边界的准确性,阻止模型输出包括大于等于两个标记像素点的属于目标物品的连通区域。抑制错误样本损失函数用于抑制模型输出不包含标记像素点的属于目标物品的连通区域。
进一步的,电子设备可以根据每一训练图片数据的标注信息、识别结果,构建上述损失函数。
实际应用时,根据训练图片数据的识别结果确定每一像素点所属的识别类别结果。模型输出的识别结果中,可以包括每一像素点所属的识别类别结果,比如,坐标为(x1,y1)的像素点的分类结果为1,另一坐标为(x2,y2)的像素点的分类结果为0。
其中,电子设备可以根据每一像素点所属的识别类别结果、标注信息中包括的类别信息,确定图像损失函数;其中,图像损失函数用于约束模型输出的识别结果的类别信息。
具体的,电子设备的标注信息中也可以包括各个像素点所属的标注类别结果,比如,坐标为(x1,y1)的像素点的分类结果为1,另一坐标为(x2,y2)的像素点的分类结果为1。
进一步的,电子设备可以根据识别结果中每一像素点的识别类别结果,与标注信息中每一像素点的识别类别结果,构建图像损失函数。
在一种可选的实施方式中,可以根据每一像素点所属的识别类别结果、标注信息中包括的类别信息,确定识别结果中包括的第一标注类别,以及不包括的第二标注类别;根据每一像素点属于每一第一标注类别的概率,以及每一像素点属于每一第二标注类别的概率,确定图像损失函数。
实际应用时,电子设备可以基于下式确定图像损失函数L
其中,C
具体的,t
进一步的,可以确定识别结果中,标注信息包括的标记像素点,或者标注信息包括的标记像素点以及核心像素点,属于目标物品类别的识别概率;根据标注信息对应的每一识别概率,确定点监督损失函数。
比如,训练图片数据中存在一像素点P,若该像素点P被标记为标记像素点,则可以根据识别结果,在其中确定像素点P属于目标物品类别的识别概率。
实际应用时,可以根据标注信息中每一识别概率,构建点监督损失函数。比如,在训练图片数据中共标记有10个标记像素点,基于这10个标记像素点扩展出了80个核心像素点,则电子设备可以根据这10个标记像素点属于目标物品类别的识别概率,或者这10个标记像素点以及80个核心像素点属于目标物品类别的识别概率,构建点监督损失函数。比如,训练的模型用于识别物品猪,则可以根据标记像素点属于猪的概率,或者标记像素点以及核心像素点属于猪的概率构建点监督损失函数。
其中,可以利用下式,根据标记像素点属于目标物品类别的识别概率,确定点监督损失函数L
其中,I
具体的,可以利用下式,根据标记像素点以及核心像素点属于目标物品类别的识别概率,确定点监督损失函数L
具体的,I
进一步的,可以根据识别结果,确定训练图片数据中的连通区域、分割边界集合。其中,可以比对相应位置的像素值大小,进而得到训练图片数据中的连通区域。还可以基于每个像素点的识别结果,确定连通区域。
实际应用时,可以利用漫水分割法得到训练图片数据中的分割边界集合。分割边界集合中可以包括多个像素点。
其中,电子设备可以根据属于分割边界集合中的每一像素点属于预设类别的概率,以及各个连通区域中包括标记像素点的数量,确定分离重合样本损失函数。比如,预设类别可以是指背景类别。
具体的,可以基于下式确定分离重合样本损失函数L
其中,Tb用于表征分割边界集合,αi用于表征各个连通区域中包括标记像素点的数量,S
具体的,电子设备可以根据所述识别结果,确定所述训练图片数据中的目标连通区域。目标连通区域是指不包括标记像素点的连通区域。
进一步的,电子设备可以根据识别结果中,属于目标连通区域的每一像素点的识别结果确定抑制错误样本损失函数,目标连通区域为不包括标记点的连通区域。
实际应用时,利用抑制错误样本损失函数对模型进行训练,能够抑制模型输出不包括标记像素点的连通区域。
其中,可以利用下式确定抑制错误样本损失函数L
具体的,B
步骤305,根据训练图片数据的图像损失函数、点监督损失函数、分离重合样本损失函数、抑制错误样本损失函数,确定损失函数。
进一步的,电子设备可以根据每一训练图片数据的图像损失函数、点监督损失函数、分离重合样本损失函数、抑制错误样本损失函数,确定整个模型的损失函数。
比如,电子设备可以将图像损失函数、点监督损失函数、分离重合样本损失函数、抑制错误样本损失函数的总和,作为模型的总损失函数。
步骤306,根据损失函数进行梯度回传,调整预设模型中的参数,得到用于识别图片中的目标物品的模型。
实际应用时,电子设备可以根据构造的损失函数对模型进行优化,具体利用构造的多个损失函数之和进行梯度回传,以调整预设模型中的参数,进而得到用于识别图片中的目标物品的模型。
图8为本公开一示例性实施例示出的图像识别方法的流程示意图。
如图8所示,本公开提供的图像识别方法,包括:
步骤801,将待识别图像输入用于识别图片中的目标物品的模型中,得到待识别图像中的目标物品识别结果。
步骤802根据目标物品识别结果确定待识别图像中包括的目标物品的数量;其中,用于识别图片中的目标物品的模型为基于上述任一种模型训练方法训练得到的。
本公开提供的方法可以由具备计算能力的电子设备执行,该电子设备中可以设置有用于识别图片中的目标物品的模型,该模型可以是基于上述任一种模型训练方法训练得到的。
其中,电子设备可以将获取的待识别图像输入预设的用于识别图片中的目标物品的模型,进而利用该模型识别待识别图像中的目标物品,并得到识别结果。
具体的,电子设备还可以根据识别结果确定该待识别图像中包括的目标物品的数量,进而自动统计特定场景中目标物品的数量。
图9为本公开一示例性实施例示出的用于识别图片中的物品的模型训练装置的结构示意图。
如图9所示,本公开提供的用于识别图片中的物品的模型训练装置900,包括:
获取单元910,用于获取具有标注信息的训练图片数据,所述标注信息用于指示所述训练图片数据中包括的目标物品,所述标注信息包括用于标记目标物品的标记像素点,以及与所述标记点相邻的核心像素点;
识别单元920,用于将所述训练图片数据输入预设模型中,得到所述训练图片数据的识别结果;
训练单元930,用于根据所述训练图片数据的标注信息、所述识别结果确定损失函数,并根据所述损失函数调整所述预设模型中的参数,得到用于识别图片中的目标物品的模型,其中,识别的目标物品用于确定所述图片中包括的目标物品的总数量。
本公开提供的用于识别图片中的物品的模型训练装置与图1所示实施例类似,再次不再赘述。
图10为本公开另一示例性实施例示出的用于识别图片中的物品的模型训练装置的结构示意图。
本公开提供的用于识别图片中的物品的模型训练装置1000中,可选的,所述识别单元920,包括:
第一模块921,用于将所述训练图片数据输入预设模型中,利用所述预设模型的特征提取模块提取所述训练图片数据多个维度的图片特征;
第二模块922,用于利用所述预设模型的融合模块对多个维度的所述图片特征进行融合处理,得到所述训练图片数据的识别结果。
可选的,所述第一模块921具体用于:
利用所述特征提取模块提取所述训练图片数据中的特征,得到第一维特征图;
利用所述特征提取模块提取所述第一维特征图中的特征,得到第二维特征图;
利用所述特征提取模块提取所述第二维特征图中的特征,得到第三维特征图。
可选的,所述特征提取模块为有效的通道注意模块。
可选的,所述第二模块922具体用于:
融合所述第三维特征图与所述第二维特征图,得到中间特征图;
融合所述中间特征图与所述第一维特征图,得到所述训练图片数据的识别结果。
可选的,所述第二模块922具体用于:
对所述第三维特征图进行上采样处理得到第一采样特征图,使得采样后的第一采样特征图与所述第二维特征图的尺寸相同;
将第一采样特征图与所述第二维特征图相加,得到第一叠加特征图;
利用第一注意力模块对所述第一叠加特征图进行处理,得到所述中间特征图。
可选的,所述第二模块922具体用于:
对所述中间特征图进行上采样处理得到第二采样特征图,使得上采样后的第二采样特征图与所述第一维特征图的尺寸相同;
将第二采样特征图与所述第一维特征图相加,得到第二叠加特征图;
利用第二注意力模块对所述第二叠加特征图进行处理,得到融合特征图,再对所述融合特征图进行上采样处理,得到与所述待训练图片数据的尺寸相同的识别结果。
可选的,所述训练单元930,包括:
函数构建模块931,用于根据所述训练图片数据的标注信息、所述识别结果确定图像损失函数、点监督损失函数、分离重合样本损失函数、抑制错误样本损失函数;
总函数确定模块932,用于根据所述训练图片数据的图像损失函数、点监督损失函数、分离重合样本损失函数、抑制错误样本损失函数,确定损失函数。
可选的,所述函数构建模块931,具体用于:
根据所述训练图片数据的识别结果确定每一像素点所属的识别类别结果;
根据每一像素点所属的识别类别结果、所述标注信息中包括的类别信息,确定所述图像损失函数;
其中,所述图像损失函数用于约束模型输出的识别结果的类别信息。
可选的,所述函数构建模块931,具体用于:
根据每一像素点所属的识别类别结果、所述标注信息中包括的类别信息,确定识别结果中包括的第一标注类别,以及不包括的第二标注类别;
根据每一像素点属于每一第一标注类别的概率,以及每一像素点属于每一第二标注类别的概率,确定所述图像损失函数。
可选的,所述函数构建模块931,具体用于:
确定所述识别结果中,所述标注信息包括的标记像素点,或者所述标注信息包括的所述标记像素点以及所述核心像素点,属于目标物品类别的识别概率;
根据所述标注信息对应的每一识别概率,确定所述点监督损失函数。
可选的,所述函数构建模块931,具体用于:
根据所述识别结果,确定所述训练图片数据中的连通区域、分割边界集合;
根据属于所述分割边界集合中的每一像素点属于预设类别的概率,以及各个连通区域中包括标记像素点的数量,确定所述分离重合样本损失函数。
可选的,所述函数构建模块931,具体用于:
根据所述识别结果,确定所述训练图片数据中的目标连通区域;
根据所述识别结果中,属于目标连通区域的每一像素点的识别结果确定抑制错误样本损失函数,所述目标连通区域为不包括所述标记点的连通区域。
训练单元930包括:
调整模块933,用于根据所述损失函数进行梯度回传,调整所述预设模型中的参数,得到用于识别图片中的目标物品的模型。
图11为本公开一示例性实施例示出的图像识别装置的结构示意图。
本公开提供的图像识别装置1100,包括:
识别单元1110,用于将待识别图像输入用于识别图片中的目标物品的模型中,得到所述待识别图像中的目标物品识别结果;
数量确定单元1120,用于根据所述目标物品识别结果确定所述待识别图像中包括的目标物品的数量;
其中,所述用于识别图片中的目标物品的模型为基于权利要求1-14任一项所述的方法训练得到的。
图12为本公开一示例性实施例示出的电子设备的结构图。
如图12所示,本实施例提供的电子设备包括:
存储器121;
处理器122;以及
计算机程序;
其中,所述计算机程序存储在所述存储器121中,并配置为由所述处理器122执行以实现如上所述的任一种用于识别图片中的物品的模型训练方法或图像识别方法。
本实施例还提供一种计算机可读存储介质,其上存储有计算机程序,
所述计算机程序被处理器执行以实现如上所述的任一种用于识别图片中的物品的模型训练方法或图像识别方法。
本实施例还提供一种计算机程序,包括程序代码,当计算机运行所述计算机程序时,所述程序代码执行如上所述的任一种用于识别图片中的物品的模型训练方法或图像识别方法。
本领域普通技术人员可以理解:实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时,执行包括上述各方法实施例的步骤;而前述的存储介质包括:ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。
最后应说明的是:以上各实施例仅用以说明本公开的技术方案,而非对其限制;尽管参照前述各实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本公开各实施例技术方案的范围。
- 模型训练方法、图像识别方法、存储介质及程序产品
- 模型训练方法、图像合成方法、装置、设备及程序产品