导航：首页> 教育；密码术；显示；广告；印鉴>分类、模型训练、信息搜索方法、系统及设备

分类、模型训练、信息搜索方法、系统及设备

文献发布时间：2023-06-19 10:00:31

技术领域

本申请涉及计算机技术领域，尤其涉及一种分类、模型训练、信息搜索方法、系统及设备。

背景技术

目前，很多神经网络模型已经广泛应用于各个领域，解决各类问题，例如图像分类问题。

一些神经网络模型需要对多个需识别的类别进行描述，后续根据多个需识别的类别的描述信息对待分类图像进行分类。

但是，现有技术中，这些神经网络模型的预测准确率较差，尤其在训练样本极度匮乏的小样本场景下。

发明内容

鉴于上述问题，提出了本申请以提供一种解决上述问题或至少部分地解决上述问题的分类、模型训练、信息搜索方法、系统及设备。

于是，在本申请的一个实施例中，提供了一种图像分类方法。该方法包括：

获取待分类图像；

将所述待分类图像作为训练好的神经网络模型的输入，执行所述神经网络模型，得到分类结果；

其中，所述神经网络模型用于根据所述待分类图像和多个类别的描述信息，确定所述分类结果；

所述神经网络模型还用于对所述多个类别对应的样本图像进行特征提取，得到所述多个类别对应的样本特征；综合所述多个类别对应的样本特征，确定多个语义集群中心；根据第一类别对应的样本特征在所述多个语义集群中心周围的分布信息，确定所述第一类别的描述信息；其中，所述多个类别中包括所述第一类别。

在本申请的另一实施例中，提供了一种模型训练方法。该方法，包括：

将第一样本类别对应的待分类样本图像作为神经网络模型的输入，执行所述神经网络模型，得到分类预测结果；

根据所述分类预测结果与所述第一样本类别，优化所述神经网络模型；

其中，所述神经网络模型用于根据所述待分类样本图像及多个样本类别的描述信息，确定所述分类预测结果；

所述神经网络模型还用于对所述多个样本类别对应的样本图像进行特征提取，得到所述多个样本类别对应的样本特征；综合所述多个样本类别对应的样本特征，确定多个语义集群中心；根据第二样本类别对应的样本特征在所述多个语义集群中心周围的分布信息，确定所述第二样本类别的描述信息；所述多个样本类别中包括所述第二样本类别。

在本申请的另一实施例中，提供了一种图像分类方法。该方法，包括：

获取待分类图像；

将所述待分类图像作为训练好的神经网络模型的输入，执行所述神经网络模型，得到分类结果；

其中，所述神经网络模型用于对所述待分类图像进行特征提取，得到图像特征；将所述图像特征分别与多个类别的描述信息进行融合，得到多个融合特征；结合所述多个融合特征及所述神经网络模型中训练好的网络参数，得到所述分类结果。

在本申请的另一实施例中，提供了一种模型训练方法。该方法，包括：

将第一样本类别对应的待分类样本图像作为神经网络模型的输入，执行所述神经网络模型，得到分类预测结果；

根据所述分类预测结果与所述第一样本类别，优化所述神经网络模型；

其中，所述神经网络模型用于对所述待分类样本图像进行特征提取，得到图像特征；将所述图像特征分别与多个样本类别的描述信息进行融合，得到多个融合特征；结合所述多个融合特征及所述神经网络模型中待训练的网络参数，得到所述分类预测结果。

在本申请的另一实施例中，提供了一种神经网络系统。该系统，包括：至少一个第一神经网络层、至少一个第二神经网络层和计算模块；其中，

所述至少一个第一神经网络层，用于对所述待分类图像进行特征提取，得到图像特征；还用于分别对多个类别对应的样本图像进行特征提取，得到所述多个类别对应的样本特征；

所述至少一个第二神经网络层，用于综合所述多个类别对应的样本特征，确定多个语义集群中心；还用于根据第一类别对应的样本特征在所述多个语义集群中心周围的分布信息，确定所述第一类别的描述信息；其中，所述第一类别为所述多个类别中的一个；

所述计算模块，用于根据所述图像特征与所述多个类别的描述信息，确定所述分类结果。

在本申请的另一实施例中，提供了一种神经网络系统。该系统，包括：至少一个第一神经网络层和至少一个第三神经网络层；其中，

所述至少一个第一神经网络层，用于对所述待分类图像进行特征提取，得到图像特征；

所述至少一个第三神经网络层，用于将所述图像特征分别与多个类别的描述信息进行融合，得到多个融合特征；结合所述多个融合特征及训练好的网络参数，得到分类结果。

在本申请的另一实施例中，提供了一种神经网络系统。该系统，包括：至少一个第一神经网络层、至少一个第三神经网络层和计算模块；其中，

所述至少一个第一神经网络层，用于对所述待分类图像进行特征提取，得到图像特征；

所述至少一个第三神经网络层，用于将所述图像特征分别与多个类别的描述信息进行融合，得到多个融合特征；根据所述多个融合特征及训练好的网络参数，得到第一分类结果；

所述计算模块，用于分别计算所述图像特征与所述多个类别的描述信息的距离；根据所述距离，确定第二分类结果；综合所述第一分类结果及所述第二分类结果，确定最终的分类结果。

在本申请的另一实施例中，提供了一种电子设备。该设备，包括：存储器和处理器，其中，

所述存储器，用于存储程序；

所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于：

获取待分类图像；

将所述待分类图像作为训练好的神经网络模型的输入，执行所述神经网络模型，得到分类结果；

其中，所述神经网络模型用于根据所述待分类图像和多个类别的描述信息，确定所述分类结果；

在本申请的另一实施例中，提供了一种电子设备。该设备，包括：存储器和处理器，其中，

所述存储器，用于存储程序；

所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于：

将第一样本类别对应的待分类样本图像作为神经网络模型的输入，执行所述神经网络模型，得到分类预测结果；

根据所述分类预测结果与所述第一样本类别，优化所述神经网络模型；

其中，所述神经网络模型用于根据所述待分类样本图像及多个样本类别的描述信息，确定所述分类预测结果；

所述神经网络模型还用于对所述多个样本类别对应的样本图像进行特征提取，得到所述多个样本类别对应的样本特征；综合所述多个样本类别对应的样本特征，确定多个语义集群中心；根据第二样本类别对应的样本特征在所述多个语义集群中心周围的分布信息，对所述第二样本类别进行描述；所述多个样本类别中包括所述第二样本类别。

在本申请的另一实施例中，提供了一种电子设备。该设备，包括：存储器和处理器，其中，

所述存储器，用于存储程序；

所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于：

获取待分类图像；

将所述待分类图像作为训练好的神经网络模型的输入，执行所述神经网络模型，得到分类结果；

在本申请的另一实施例中，提供了一种电子设备。该设备，包括：存储器和处理器，其中，

所述存储器，用于存储程序；

所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于：

将第一样本类别对应的待分类样本图像作为神经网络模型的输入，执行所述神经网络模型，得到分类预测结果；

根据所述分类预测结果与所述第一样本类别，优化所述神经网络模型；

在本申请的另一实施例中，提供了一种信息搜索方法。该方法，包括：

获取作为搜索依据的待分类图像；

将所述待分类图像作为训练好的神经网络模型的输入，执行所述神经网络模型，得到分类结果；

根据所述分类结果，搜索得到搜索结果；

其中，所述神经网络模型用于根据所述待分类图像和多个类别的描述信息，确定所述分类结果；

在本申请的另一实施例中，提供了一种信息搜索方法。该方法，包括：

获取作为搜索依据的待分类图像；

将所述待分类图像作为训练好的神经网络模型的输入，执行所述神经网络模型，得到分类结果；

根据所述分类结果，搜索得到搜索结果；

在本申请的另一实施例中，提供了一种数据分类方法。该方法，包括：获取待分类数据；

将所述待分类数据作为训练好的神经网络模型的输入，执行所述神经网络模型，得到分类结果；

其中，所述神经网络模型用于根据所述待分类数据和多个类别的描述信息，确定所述分类结果；

所述神经网络模型还用于对所述多个类别对应的样本数据进行特征提取，得到所述多个类别对应的样本特征；综合所述多个类别对应的样本特征，确定多个语义集群中心；根据第一类别对应的样本特征在所述多个语义集群中心周围的分布信息，确定所述第一类别的描述信息；其中，所述多个类别中包括所述第一类别。

在本申请的另一实施例中，提供了一种数据分类方法。该方法，包括：

获取待分类数据；

将所述待分类数据作为训练好的神经网络模型的输入，执行所述神经网络模型，得到分类结果；

其中，所述神经网络模型用于对所述待分类数据进行特征提取，得到数据特征；将所述数据特征分别与多个类别的描述信息进行融合，得到多个融合特征；结合所述多个融合特征及所述神经网络模型中训练好的网络参数，得到所述分类结果。

在本申请的另一实施例中，提供了一种电子设备。该设备，包括：存储器和处理器，其中，

所述存储器，用于存储程序；

所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于：

获取作为搜索依据的待分类图像；

将所述待分类图像作为训练好的神经网络模型的输入，执行所述神经网络模型，得到分类结果；

根据所述分类结果，搜索得到搜索结果；

其中，所述神经网络模型用于根据所述待分类图像和多个类别的描述信息，确定所述分类结果；

在本申请的另一实施例中，提供了一种电子设备。该设备，包括：存储器和处理器，其中，

所述存储器，用于存储程序；

所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于：

获取作为搜索依据的待分类图像；

将所述待分类图像作为训练好的神经网络模型的输入，执行所述神经网络模型，得到分类结果；

根据所述分类结果，搜索得到搜索结果；

在本申请的另一实施例中，提供了一种电子设备。该设备，包括：存储器和处理器，其中，

所述存储器，用于存储程序；

所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于：

获取待分类数据；

将所述待分类数据作为训练好的神经网络模型的输入，执行所述神经网络模型，得到分类结果；

其中，所述神经网络模型用于根据所述待分类数据和多个类别的描述信息，确定所述分类结果；

在本申请的另一实施例中，提供了一种电子设备。该设备，包括：存储器和处理器，其中，

所述存储器，用于存储程序；

所述处理器，与所述存储器耦合，用于执行所述存储器中存储的所述程序，以用于：

获取待分类数据；

将所述待分类数据作为训练好的神经网络模型的输入，执行所述神经网络模型，得到分类结果；

本申请实施例提供的技术方案，综合多个类别中各类别对应的样本特征，确定多个类别共同的多个语义集群中心。第一类别对应的样本特征在每一个语义集群中心周围的分布信息，可表明第一类别在该语义集群中心上的表述，该表述也即是基于该语义集群中心对该第一类别的描述。可见，本申请实施例提供的技术方案中基于多个类别共用的多个语义集群中心分别对每一个类别进行描述，能够对每一个类别进行全局地泛化地描述，有助于提高预测准确率。

本申请实施例提供的技术方案，采用可训练的网络参数来计算图像特征与多个类别的描述信息之间的相似度，可使得该神经网络模型适应不同的样本场景，鲁棒性和可适应性更强，进而提高预测准确率。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1a为本申请一实施例提供的图像分类方法的场景示意图；

图1b为本申请一实施例提供的神经网络模型内部结构及数据处理流程示意图；

图1c为本申请一实施例提供的图像分类方法的流程示意图；

图2为本申请另一实施例提供的模型训练方法的流程示意图；

图3为本申请一实施例提供的图像分类装置的结构框图；

图4为本申请另一实施例提供的模型训练装置的结构框图；

图5为本申请一实施例提供的图像分类装置的结构框图；

图6为本申请另一实施例提供的模型训练装置的结构框图；

图7为本申请一实施例提供的电子设备的结构框图；

图8为现有技术中的第一种描述类的方法示意图；

图9为现有技术中的第二种描述类的方法示意图；

图10为本申请实施例提供的描述类的方法示意图；

图11为采用本申请提供的训练好的神经网络模型获取到的不同类的描述信息的可视化视图；

图12为本申请一实施例提供的数据分类方法的流程示意图。

具体实施方式

现有技术中，大部分神经网络模型是需要大量的标注样本训练，才能发挥作用。然而，现实世界中，有很多问题是没有这么多的标注数据的，获取标注数据的成本也非常大，例如在医疗领域、安全领域等。在安全领域下，存在类别丰富但数量很少的长尾风险图片。长尾风险图片的样本数量匮乏，不足以支撑现有的神经网络模型的训练要求。

现有技术中通常采用元学习技术来解决上述样本匮乏问题(即小样本问题)，但是现有技术中对于类没有一个泛化的描述，导致分类器泛化性不强，影响分类效果。现有技术中，通常采用基于元学习的原形网络(Prototypical Networks)的方法来解决上述小样本问题。

其中，基于元学习的原形网络对于每个类别只需要很少的样本图像，原形网络将每个类别对应的多个样本图像映射到一个空间当中，提取他们的“均值”(如图8所示，图中的三角形、实线圆形、五角星、正方形代表的是一个类别对应的多个特征；图中的十字形代表的是一个类别对应的多个特征的均值)，或者取最大值(如图9所示的十字形即为一个类别对应的多个特征的最大值)，来表示为该类的原形(prototype)，也即作为该类的描述。使用欧式距离(euclidean distance)或余弦距离(cosinedistance)作为距离度量，训练使得本类别图像到本类原形的距离为最近，到其他类原形的距离较远。测试时，对待分类样本图像到各个类别的原形的距离做归一化指数softmax处理，来判断待分类样本图像的类别标签。

可见，原形网络是对每一个类别的多个样本图像的特征求均值或求最大值，得到每一个类别的描述。而通过求平均或求最大值的方式得到类别的描述，会将某些重要的信息弱化掉或丢失，对类没有一个泛化的描述，导致分类器泛化性不强，影响分类效果。

此外，原形网络是采用固定的距离标准，例如：欧式距离或者余弦距离来判断分类结果。这个距离标准是固定的，没有办法适应不同场景下的训练样本，鲁棒性和可适应性较差。

发明人在实现本申请实施例提供的技术方案的过程中发现：人类识别事物时，通常会从多个不同的方面去分析该事物，例如：在识别鸟时，会从鸟头、羽毛、翅膀等方面去分析鸟到底属于哪一个类别；再例如：人类在通过语音识别人的情绪时，通常会从语音的多个不同的频率方面去分析。据此，发明人提出本申请，即从不同的方面(即下述的多个语义聚类中心，如图10中所示的每个十字形就为一个语义聚类中心)去描述一个类别，那必然能够得到一个比较泛化的描述。

为了使本技术领域的人员更好地理解本申请方案，下面将根据本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

此外，在本申请的说明书、权利要求书及上述附图中描述的一些流程中，包含了按照特定顺序出现的多个操作，这些操作可以不按照其在本文中出现的顺序来执行或并行执行。操作的序号如101、102等，仅仅是用于区分各个不同的操作，序号本身不代表任何的执行顺序。另外，这些流程可以包括更多或更少的操作，并且这些操作可以按顺序执行或并行执行。需要说明的是，本文中的“第一”、“第二”等描述，是用于区分不同的消息、设备、模块等，不代表先后顺序，也不限定“第一”和“第二”是不同的类型。

图12示出了本申请一实施例提供的数据分类方法的流程示意图。该方法的执行主体可以为客户端，也可以为服务端。其中，所述客户端可以是集成在终端上的一个具有嵌入式程序的硬件，也可以是安装在终端中的一个应用软件，还可以是嵌入在终端操作系统中的工具软件等，本申请实施例对此不作限定。该终端可以为包括手机、平板电脑、智能穿戴设备等任意终端设备。其中，服务端可以是常用服务器、云端或虚拟服务器等，如图12所示，该方法包括：

1201、获取待分类数据。

1202、将所述待分类数据作为训练好的神经网络模型的输入，执行所述神经网络模型，得到分类结果。

其中，所述神经网络模型用于根据所述待分类数据和多个类别的描述信息，确定所述分类结果；所述神经网络模型还用于对所述多个类别对应的样本数据进行特征提取，得到所述多个类别对应的样本特征；综合所述多个类别对应的样本特征，确定多个语义集群中心；根据第一类别对应的样本特征在所述多个语义集群中心周围的分布信息，确定所述第一类别的描述信息；其中，所述多个类别中包括所述第一类别。

上述1201中，待分类数据可以为待分类图像、待分类语音或待分类视频。当本实施例提供的方法的执行主体为客户端时，可接收用户在客户端界面输入的上述待分类数据；当本实施例提供的方法的执行主体为服务端时，可接收客户端发送来的用户输入的上述待分类数据。

上述1202中，所述神经网络模型用于根据所述待分类数据和多个类别的描述信息，确定所述分类结果。所述神经网络模型可通过对待分类数据进行特征提取(例如：卷积操作)，提取得到数据特征；根据数据特征与所述多个类别的描述信息，确定分类结果。在一种可实现的方案中，可计算数据特征与多个类别的描述信息之间的距离，例如：欧式距离或余弦距离；根据计算得到的距离，来确定分类结果。具体地，可将距离最小的类别作为该待分类数据的所属类别。其中，欧式距离或余弦距离的计算实现可参见现有技术，在此不再详述。

在实际应用时，神经网络模型在对待分类数据进行分类之前，需要事先获得在应用时需要识别的多个类别的描述信息。具体地，所述神经网络模型还用于对所述多个类别对应的样本数据进行特征提取，得到所述多个类别对应的样本特征；综合所述多个类别对应的样本特征，确定多个语义集群中心；根据第一类别对应的样本特征在所述多个语义集群中心周围的分布信息，确定所述第一类别的描述信息；其中，所述多个类别中包括所述第一类别。所述第一类别指代的是多个类别中任意一个。

上述各类别对应的样本数据的数量可以为一个或多个，具体可根据实际需要来设定。神经网络模型可通过特征提取子网络对多个类别中各类别对应的样本数据进行卷积操作，提取得到各类别对应的样本特征。其中，一个样本数据对应一个样本特征，即对一个样本数据进行卷积操作，提取得到一个样本特征。此外，神经网络模型中的特征提取子网络可选用：普通卷积网络，VGG-16、ResNet-12、ResNet-34等等。在小样本问题中，样本数量少，神经网络模型中特征提取子网络具体可使用宽残差网络，可以达到较好的效果。

其中，多个语义集群中心可理解为构成类的特征空间的多个基底，在该类的特征空间中利用这多个基底对上述多个类别中各类别进行表述。语义集群中心的数量可根据实际需要来设定。其中，多个语义集群中心均为上述多个类别共同的语义集群中心。

实际应用时，样本特征为特征图形式，可表示为D*H*W结构。H*W分别表示特征图的长与宽，D为特征图的深度(也即为特征图的通道数)。其中，D、H和W大于或等于1。此外，语义集群中心也表现为特征图形式，即表示为D*H*W结构。需要补充说明的是，当待分类数据为待分类语音时，H和W均为1。

在一种可实现的方案中，神经网络模型可直接对所述多个类别中各类别对应的样本特征进行卷积操作，得到所述多个类别共同的多个语义集群中心。具体地，可将多个类别对应的样本特征按通道组合在一起，作为输入数据输入至神经网络模型中至少一个卷积层中，得到所述多个类别共同的多个语义集群中心。所述至少一个卷积层中的网络参数(例如：卷积核中的参数)均为在训练神经网络模型时训练好的。通过卷积操作学习得到多个语义集群中心，可有效降低计算量和节约计算时间。

在另一种可实现的方案中，上述“综合所述多个类别对应的样本特征，确定多个语义集群中心”，具体可采用如下步骤来实现：

S210、分别计算所述多个类别中各类别对应的样本特征的均值特征。

S211、将所述多个类别中各类别对应的均值特征按通道组合，得到组合均值特征；

S212、对所述组合均值特征进行卷积处理，得到所述多个类别共同的多个语义集群中心。

上述S210中，上述多个类别中包括第一类别。第一类别对应的样本特征的数量为多个；将第一类别对应的多个样本特征按元素相加(Element-wise Addition)，得到样本和特征；将样本和特征中每一个元素除以第一类别对应的多个样本特征的数量，得到第一类别对应的均值特征。按元素相加即是将第一类别对应的多个样本特征中相同位置处的元素相加，即相同下标的元素相加。

上述S211和S212中，将所述多个类别中各类别对应的均值特征按通道组合在一起，作为输入数据输入至神经网络模型中至少一个卷积层中，得到所述多个类别共同的多个语义集群中心。所述至少一个卷积层中的网络参数(例如：卷积核中的参数)均为在训练神经网络模型时训练好的。

本申请实施例提供的技术方案，综合多个类别中各类别对应的样本特征，确定多个类别共同的多个语义集群中心。第一类别对应的样本特征在每一个语义集群中心周围的分布信息，可表明第一类别在该语义集群中心上的表述，该表述也即是基于该语义集群中心对该第一类别的描述。可见，本申请实施例提供的技术方案中基于共用的多个语义集群中心分别对每一个类别进行描述，能够对每一个类别进行全局地泛化地描述，有助于提高预测准确率。

根据第一类别对应的样本特征在所述多个语义集群中心周围的分布信息，确定所述第一类别的描述信息，也即是根据第一类别对应的样本特征在所述多个语义集群中心中各语义集群中心周围的分布信息，确定所述第一类别的描述信息。

在一实例中，上述“根据第一类别对应的样本特征在所述多个语义集群中心周围的分布信息，确定所述第一类别的描述信息”，具体可采用如下步骤来实现：

S221、根据第一类别对应的样本特征在第一语义集群中心周围的分布信息，确定基于所述第一语义集群中心对所述第一类别的子描述信息。

S222、综合基于所述多个语义集群中心中各语义集群中心对所述第一类别的子描述信息，确定所述第一类别的描述信息。

其中，所述多个语义集群中心中包括所述第一语义集群中心。需要说明的是，第一语义集群中心指代的是多个语义集群中心中的任一个。

上述S221中，第一类别对应的样本特征在第一语义集群中心周围的分布信息，表明了第一类别对应的样本特征在第一语义集群中心上的表述，该表述也即是基于第一语义集群中心对该第一类别的子描述信息。为了方便理解，以鸟类识别场景为例，假设第一语义集群中心指代的鸟头，第一类别对应的样本特征在鸟头这个语义集群中心周围的分布信息能够表明鸟头的具体形状、大小、颜色等细节信息。

在一种可实现的方案中，可将第一类别对应的样本特征中各样本特征与第一语义集群中心的残差，作为第一类别对应的样本特征在第一语义集群中心周围的分布信息。也即是：所述第一类别对应的样本特征在第一语义集群中心周围的分布信息中包括所述第一类别对应的样本特征中各样本特征与所述第一语义集群中心的残差。

具体实施时，上述神经网络模型，还用于：计算所述第一类别对应的样本特征中各样本特征与所述第一语义聚类中心的残差。即将样本特征与第一语义聚类中心按元素(element-wise)相减，得到残差。按元素相减即是将样本特征中某一位置处的第一元素减去第一语义聚类中心中相同位置处的第二元素，其中，第一元素和第二元素的下标相同。需要说明的是，残差也表现为D*H*W结构的特征图形式。

上述S221中，“根据第一类别对应的样本特征在第一语义集群中心周围的分布信息，确定基于所述第一语义集群中心对所述第一类别的子描述信息”的步骤可采用如下多种方式中的一种或多种来实现：

方式一：将第一类别对应的样本特征中各样本特征与第一语义集群中心的残差进行求和，得到基于所述第一语义集群中心对所述第一类别的子描述信息。

具体也即是将第一类别对应的多个残差按元素相加，得到残差和，将残差和作为基于所述第一语义集群中心对第一类别的子描述信息。

上述方式一中，默认第一类别对应的每一个样本特征对子描述信息的贡献程度是一样的。但在实际应用中，发明人发现距离语义集群中心越近的样本特征，更能够体现相应类别在该语义集群中心上的表述。因此，可采用下述方式二来实现。

方式二：根据所述第一类别对应的样本特征中各样本特征与所述第一语义集群中心的距离，计算所述各样本特征对应的分配权重；根据所述分配权重及所述第一类别对应的样本特征中各样本特征与所述第一语义集群中心的残差，聚合得到基于所述第一语义集群中心对所述第一类别的子描述信息。

其中，各样本特征与所述第一语义集群中心的距离可以为欧式距离。可将第一类别对应的样本特征中各样本特征与第一语义集群中心的距离进行求和，得到距离之和。所述第一类别对应的样本特征中包括第一样本特征，第一样本特征与第一语义集群中心的距离与该距离之和的比值即为第一样本特征对应的分配权重。例如：第一样本特征与第一语义集群中心的距离为2，距离之和为10，则分配权重为0.2。

其中，聚合操作具体为，将第一样本特征与第一语义集群中心的残差中每一个元素乘以第一样本特征对应的分配权重，得到第一样本特征对应的加权残差；将第一类别对应的多个样本特征中各样本特征对应的加权残差按元素相加，得到基于所述第一语义集群中心对所述第一类别的子描述信息。

举例来说：第一类别对应有两个样本特征：特征图A和特征图B，特征图A与第一语义集群中心的残差为特征图R，特征图B与第一语义集群中心的残差为特征图T。基于所述第一语义集群中心对所述第一类别的子描述信息为特征图G。特征图A对应的分配权重为α，特征图B对应的分配权重为β。其中，特征图A、B、R、T和G均为D*H*W结构。

特征图R中的元素表示为r

上述S222中，可将基于所述多个语义集群中心中各语义集群中心对第一类别的子描述信息按通道组合，得到组合子描述信息；将组合子描述信息作为第一类别的描述信息。假设语义集群中心的数量为n，子描述信息为D*H*W结构(即子描述信息的通道数为D)，则组合子描述信息为nD*H*W结构(即组合子描述信息的通道为nD)。

在实际应用时，由于上述待分类数据对应的数据特征也为D*H*W结构，即数据特征的深度也为D。为了方便数据特征与多个类别的描述信息在同一尺度下比较。因此，上述S222中“综合基于所述多个语义集群中心中各语义集群中心对所述第一类别的子描述信息，确定所述第一类别的描述信息”，具体可采用如下步骤来实现：

A21、将基于所述多个语义集群中心中各语义集群中心对所述第一类别的子描述信息按通道组合，得到组合子描述信息。

A22、对所述组合子描述信息进行降维处理，得到所述第一类别的描述信息。

其中，降维后得到的第一类别的描述信息的深度与数据特征的深度相同，且宽高也相同。具体可采用卷积的方式实现降维，当然，还可采用其他方式进行，本实施例对此不作具体限定。

在另一实例中，上述“根据所述待分类数据和多个类别的描述信息，确定所述分类结果”，具体可以采用如下步骤来实现：

S230a、对所述待分类数据进行特征提取，得到数据特征。

S231a、将所述数据特征分别与多个类别的描述信息进行融合，得到多个融合特征。

S232a、结合所述多个融合特征及所述神经网络模型中训练好的网络参数，得到所述分类结果。

上述S230a可参见上述各实施例中相应内容，在此不再赘述。

上述S231a中，多个类别中包括第一类别。可将数据特征与第一类别的描述信息按元素相加，得到融合特征；或者，将数据特征与第一类别的描述信息按元素相乘(element-wise product)，得到融合特征。

具体实施时，数据特征与第一类别的描述信息之间的融合方式还可由除上述提出的两种方式以外的其他方式实现，在此不作具体限定。上述S232a中，所述神经网络模型中包括基于所述训练好的网络参数的至少一个神经网络层；将所述融合特征作为所述至少一个神经网络层的输入，由所述至少一个神经网络层预测出所述数据特征分别与多个类别的描述信息之间的相似度，以得到分类结果。

具体地，所述训练好的网络参数可包括：至少一个第一网络参数和至少一个第二网络参数。所述神经网络模型中包括基于所述至少一个第一网络参数的至少一个卷积层和基于所述至少一个第二网络参数的至少一个全连接层(即上述至少一个神经网络层包括至少一个卷积层和至少一个全连接层)。可将所述多个融合特征输入至所述至少一个卷积层中，得到卷积后特征；将所述卷积后特征输入至所述至少一个全连接层中，得到所述分类结果。

在本实施例中，是采用神经网络模型中的可训练的网络参数来获得的分类结果，也即是利用神经网络模型中的可训练的网络参数来确定数据特征与哪一个类别的描述信息最相似，以替换现有技术中采用固定的距离标准来判断相似度的方法，这个可训练的网络参数可以适应不同的样本场景，鲁棒性和可适应性更强。

为进一步提高神经网络模型的预测准确率，可将综合上述网络参数以及固定的距离标准来确定分类结果。具体地，上述S232a，具体可采用如下步骤来实现：

b21、根据所述多个融合特征及所述神经网络模型中训练好的网络参数，得到第一分类结果。

b22、分别计算所述数据特征与所述多个类别的描述信息的距离。

b23、根据所述距离，确定第二分类结果。

b24、综合所述第一分类结果及所述第二分类结果，确定所述分类结果。

上述b21中，所述训练好的网络参数包括：至少一个第一网络参数和至少一个第二网络参数；所述神经网络模型中包括基于所述至少一个第一网络参数的至少一个卷积层和基于所述至少一个第二网络参数的至少一个全连接层；将所述多个融合特征输入至所述至少一个卷积层中，得到卷积后特征；将所述卷积后特征输入至所述至少一个全连接层中，得到所述第一分类结果。

上述b22和b23可参见上述实施例中相应内容，在此不再赘述。

上述b24中，所述多个类别包括第二类别；第二类别指代的是上述多个类别中的任一个。所述第一分类结果中包括所述待分类数据属于所述第二类别的第一概率q1；所述第二分类结果中包括所述待分类数据属于所述第二类别的第二概率q2；所述分类结果中包括所述待分类数据属于所述第二类别的第三概率q。上述b4具体为：综合所述第一概率q1和所述第二概率q2，确定所述第三概率q3，具体地，q3＝λ1*q1+λ2*q2，其中，权重λ1和权重λ2的具体数值可根据实际需要来设定，在此不作具体限定。

为了解决小样本问题，上述神经网络模型可以是基于元学习技术的。基于元学习技术的神经网络模型是根据多个不同的元任务(meta-task)训练得到的。可从一训练集中随机采样得到一支持集(support set)和一查询集(query set)，以作为一元任务来训练该神经网络模型。例如：查询集中包括N个样本类别，每个样本类别中有M个样本数据，即N-way-M-shot模式；相应的，查询集中也应包括这N个样本类别，且每个样本类别中包括M个与查询集中互不相交的样本数据。可通过多次随机采样，得到多个元任务来训练神经网络模型，例如：采样600次。其中，N大于1，M大于或等于1。

上述多个类别指的是训练好的基于元学习技术的神经网络模型应用时需要识别的多个类别。通常，训练过程中不涉及上述多个类别。

这样，对类有一个比较泛化的全局的描述，可以有效提高小样本场景下的预测准确率。

本申请实施例中，使用多个共同的语义集群中心来泛化描述类的特征，并利用这些语义集群中心构建类的特征空间，利用这个类的特征空间来进行分类，可有效提高分类效率。此外，采用可训练的网络参数来计算数据特征与多个类别的描述信息之间的相似度，可使得该神经网络模型适应不同的样本场景，鲁棒性和可适应性更强。

在一实例中，上述神经网络模型的训练过程如下：将第一样本类别对应的待分类样本数据作为神经网络模型的输入，执行所述神经网络模型，得到分类预测结果。根据所述分类预测结果与所述第一样本类别，优化所述神经网络模型。其中，所述神经网络模型用于根据所述待分类样本数据及多个样本类别的描述信息，确定所述分类预测结果。所述神经网络模型还用于对所述多个样本类别对应的样本数据进行特征提取，得到所述多个样本类别对应的样本特征；综合所述多个样本类别对应的样本特征，确定多个语义集群中心；根据第二样本类别对应的样本特征在所述多个语义集群中心周围的分布信息，确定所述第二样本类别的描述信息；所述多个样本类别中包括所述第二样本类别。第二样本类别指代的是所述多个样本类别中任意一个。

上述“根据所述分类预测结果与所述第一样本类别，优化所述神经网络模型”中，可根据所述分类预测结果与所述第一样本类别，采用损失函数来计算损失值；根据损失值，对神经网络模型进行参数优化。例如：可采用cross-entropy loss作为损失函数以计算损失值。此外，还可加入正则化来规范网络参数的训练，以此来微调神经网络模型中的网络参数。正则化可防止过拟合。

其中，上述“根据所述待分类样本数据及多个样本类别的描述信息，确定所述分类预测结果”的具体实现可参照上述各实施例中“根据所述待分类数据及多个类别的描述信息，确定所述分类结果”的相应内容，在此不再赘述。

上述“对所述多个样本类别对应的样本数据进行特征提取，得到所述多个样本类别对应的样本特征”的具体实现可参照上述各实施例中“对所述多个类别对应的样本数据进行特征提取，得到所述多个类别对应的样本特征”的相应内容。

上述“综合所述多个样本类别对应的样本特征，确定多个语义集群中心”的具体实现可参照上述各实施例中“综合所述多个类别对应的样本特征，确定多个语义集群中心”的相应内容。

上述“根据第二样本类别对应的样本特征在所述多个语义集群中心周围的分布信息，确定所述第二样本类别的描述信息”的具体实现可参照上述各实施例中“根据第一类别对应的样本特征在所述多个语义集群中心周围的分布信息，确定所述第一类别的描述信息”的相应内容。

需要补充说明的是，上述神经网络模型在训练阶段的前向计算过程与在应用阶段的相同，故训练阶段的数据处理流程具体可参照上述各实施例中相应内容，在此不再赘述。

图1c示出了本申请一实施例提供的图像分类方法的流程示意图。该方法的执行主体可以为客户端，也可以为服务端。其中，所述客户端可以是集成在终端上的一个具有嵌入式程序的硬件，也可以是安装在终端中的一个应用软件，还可以是嵌入在终端操作系统中的工具软件等，本申请实施例对此不作限定。该终端可以为包括手机、平板电脑、智能穿戴设备等任意终端设备。其中，服务端可以是常用服务器、云端或虚拟服务器等，如图1c所示，该方法包括：

101、获取待分类图像。

102、将所述待分类图像作为训练好的神经网络模型的输入，执行所述神经网络模型，得到分类结果。

其中，所述神经网络模型用于根据所述待分类图像和多个类别的描述信息，确定所述分类结果；

本实施例中将上述各实施例中的待分类数据具体为待分类图像；相应的，上述各实施例中的数据特征具体为图像特征；上述各实施例中的样本数据具体为样本图像。

上述101和102的具体实现可参见上述各实施例中相应内容，在此不再赘述。

在一种可实现的方案中，上述“综合所述多个类别对应的样本特征，确定多个语义集群中心”，具体可采用如下步骤来实现：

S10、分别计算所述多个类别中各类别对应的样本特征的均值特征。

S11、将所述多个类别中各类别对应的均值特征按通道组合，得到组合均值特征；

S12、对所述组合均值特征进行卷积处理，得到所述多个类别共同的多个语义集群中心。

上述S10、S11和S12的具体实现可参见上述各实施例中相应内容，在此不再赘述。

S21、根据第一类别对应的样本特征在第一语义集群中心周围的分布信息，确定基于所述第一语义集群中心对所述第一类别的子描述信息。

S22、综合基于所述多个语义集群中心中各语义集群中心对所述第一类别的子描述信息，确定所述第一类别的描述信息。

其中，所述多个语义集群中心中包括所述第一语义集群中心。需要说明的是，第一语义集群中心指代的是多个语义集群中心中的任一个。

上述S21和S22的具体实现可参见上述各实施例中相应内容，在此不再赘述。

具体实施时，上述神经网络模型，还用于：计算所述第一类别对应的样本特征中各样本特征与所述第一语义聚类中心的残差。即将样本特征与第一语义聚类中心按元素相减，得到残差。按元素相减即是将样本特征中某一位置处的第一元素减去第一语义聚类中心中相同位置处的第二元素，其中，第一元素和第二元素的下标相同。需要说明的是，残差也表现为D*H*W结构的特征图形式。

上述S21中，“根据第一类别对应的样本特征在第一语义集群中心周围的分布信息，确定基于所述第一语义集群中心对所述第一类别的子描述信息”的步骤可采用如下多种方式中的一种或多种来实现：

具体也即是将第一类别对应的多个残差按元素相加，得到残差和，将残差和作为基于所述第一语义集群中心对第一类别的子描述信息。

在实际应用时，由于上述待分类图像对应的图像特征也为D*H*W结构，即图像特征的深度也为D。为了方便图像特征与多个类别的描述信息在同一尺度下比较。因此，上述S22中“综合基于所述多个语义集群中心中各语义集群中心对所述第一类别的子描述信息，确定所述第一类别的描述信息”，具体可采用如下步骤来实现：

a1、将基于所述多个语义集群中心中各语义集群中心对所述第一类别的子描述信息按通道组合，得到组合子描述信息。

a2、对所述组合子描述信息进行降维处理，得到所述第一类别的描述信息。

其中，降维后得到的第一类别的描述信息的深度与图像特征的深度相同，且宽高也相同。

发明人通过在小样本场景下的实验对比，证实基于相同的数据集以及相同N-way-M-shot模式，采用本实施例提供的神经网络模型的预测准确率高于现有技术中的神经网络模型。以数据集MiniImageNet为例，在相同的5-way-1-shot模式下，现有技术准确率最高的神经网络模型的准确率为(61.76±0.08)％，本申请提供的神经网络模型的准确率为(62.97±0.16)％；在相同的5-way-5-shot模式下，现有技术准确率最高的神经网络模型的准确率为(77.59±0.12)％，本申请提供的神经网络模型的准确率为(78.87±0.15)％。以数据集CUB为例，在相同的5-way-1-shot模式下，现有技术准确率最高的神经网络模型的准确率为(63.52±0.25)％，本申请提供的神经网络模型的准确率为(66.80±0.22)％；在相同的5-way-5-shot模式下，现有技术准确率最高的神经网络模型的准确率为(79.06±0.20)％，本申请提供的神经网络模型的准确率为(82.0±0.15)％。

在另一实例中，上述“根据所述待分类图像和多个类别的描述信息，确定所述分类结果”，具体可以采用如下步骤来实现：

S30a、对所述待分类图像进行特征提取，得到图像特征。

S31a、将所述图像特征分别与多个类别的描述信息进行融合，得到多个融合特征。

S32a、结合所述多个融合特征及所述神经网络模型中训练好的网络参数，得到所述分类结果。

上述S30a、S31a和S32a的具体实现可参见上述各实施例中相应内容，在此不再赘述。

在本实施例中，是采用神经网络模型中的可训练的网络参数来获得的分类结果，也即是利用神经网络模型中的可训练的网络参数来确定图像特征与哪一个类别的描述信息最相似，以替换现有技术中采用固定的距离标准来判断相似度的方法，这个可训练的网络参数可以适应不同的样本场景，鲁棒性和可适应性更强。

为进一步提高神经网络模型的预测准确率，可将综合上述网络参数以及固定的距离标准来确定分类结果。具体地，上述S32a，具体可采用如下步骤来实现：

b1、根据所述多个融合特征及所述神经网络模型中训练好的网络参数，得到第一分类结果。

b2、分别计算所述图像特征与所述多个类别的描述信息的距离。

b3、根据所述距离，确定第二分类结果。

b4、综合所述第一分类结果及所述第二分类结果，确定所述分类结果。

上述b1、b2、b3和b4可参见上述实施例中相应内容，在此不再赘述。

发明人通过在小样本场景下的实验对比，证实基于相同的数据集以及相同N-way-M-shot模式，采用本实施例提供的神经网络模型的预测准确率高于现有技术中的神经网络模型。以数据集MiniImageNet为例，在相同的5-way-1-shot模式下，现有技术准确率最高的神经网络模型的准确率为(61.76±0.08)％，本申请提供的神经网络模型的准确率为(63.37±0.14)％；在相同的5-way-5-shot模式下，现有技术准确率最高的神经网络模型的准确率为(77.59±0.12)％，本申请提供的神经网络模型的准确率为(79.03±0.16)％。以数据集CUB为例，在相同的5-way-1-shot模式下，现有技术准确率最高的神经网络模型的准确率为(63.52±0.25)％，本申请提供的神经网络模型的准确率为(67.85±0.24)％；在相同的5-way-5-shot模式下，现有技术准确率最高的神经网络模型的准确率为(79.06±0.20)％，本申请提供的神经网络模型的准确率为(83.53±0.16)％。

为了解决小样本问题，上述神经网络模型可以是基于元学习技术的。基于元学习技术的神经网络模型是根据多个不同的元任务(meta-task)训练得到的。可从一训练集中随机采样得到一支持集(support set)和一查询集(query set)，以作为一元任务来训练该神经网络模型。例如：查询集中包括N个样本类别，每个样本类别中有M个样本图像，即N-way-M-shot模式；相应的，查询集中也应包括这N个样本类别，且每个样本类别中包括M个与查询集中互不相交的样本图像。可通过多次随机采样，得到多个元任务来训练神经网络模型，例如：采样600次。其中，N大于1，M大于或等于1。

上述多个类别指的是训练好的基于元学习技术的神经网络模型应用时需要识别的多个类别。通常，训练过程中不涉及上述多个类别。

这样，对类有一个比较泛化的全局的描述，可以有效提高小样本场景下的预测准确率。

本申请实施例中，使用多个共同的语义集群中心来泛化描述类的特征，并利用这些语义集群中心构建类的特征空间，利用这个类的特征空间来进行分类，可有效提高分类效率。此外，采用可训练的网络参数来计算图像特征与多个类别的描述信息之间的相似度，可使得该神经网络模型适应不同的样本场景，鲁棒性和可适应性更强，进而提供预测准确率。

这里需要说明的是：本申请实施例提供的所述方法中各步骤未尽详述的内容可参见上述实施例中的相应内容，此处不再赘述。此外，本申请实施例提供的所述方法中除了上述各步骤以外，还可包括上述各实施例中其他部分或全部步骤，具体可参见上述各实施例相应内容，在此不再赘述。

图2示出了本申请又一实施例提供的上述神经网络模型的训练方法的流程示意图。如图2所示，该方法，包括：

201、将第一样本类别对应的待分类样本图像作为神经网络模型的输入，执行所述神经网络模型，得到分类预测结果。

202、根据所述分类预测结果与所述第一样本类别，优化所述神经网络模型。

其中，所述神经网络模型用于根据所述待分类样本图像及多个样本类别的描述信息，确定所述分类预测结果。所述神经网络模型可通过对待分类样本图像进行特征提取(例如：卷积操作)，提取得到图像特征；根据图像特征及多个样本类别的描述信息，确定分类预测结果。其中，根据图像特征及多个样本类别的描述信息，确定所述分类预测结果，可参照上述实施例中“根据图像特征及多个类别的描述信息，确定分类结果”的相应内容，在此不再赘述。

上述各样本类别对应的样本图像的数量可以为一个或多个，具体可根据实际需要来设定。神经网络模型可通过特征提取子网络对多个样本类别中各样本类别对应的样本图像进行卷积操作，提取得到各样本类别对应的样本特征。其中，一个样本图像对应一个样本特征，即对一个样本图像进行卷积操作，提取得到一个样本特征。在小样本问题中，样本数量少，神经网络模型中特征提取子网络具体可使用宽残差网络，可以达到较好的效果。

其中，多个语义集群中心可理解为构成类的特征空间的多个基底，在该类的特征空间中利用这多个基底对上述多个样本类别中各样本类别进行表述。语义集群中心的数量可根据实际需要来设定。

其中，“综合所述多个样本类别对应的样本特征，确定多个语义集群中心”的具体实现可参照上述各实施例中“综合所述多个类别对应的样本特征，确定多个语义集群中心”的相应内容，在此不再赘述。

根据第二样本类别对应的样本特征在所述多个语义集群中心周围的分布信息，确定所述第二样本类别的描述信息，也即是根据第二样本类别对应的样本特征在所述多个语义集群中心中各语义集群中心周围的分布信息，确定所述第二样本类别的描述信息。本步骤的具体实现可参照上述各实施例中“根据第一类别对应的样本特征在所述多个语义集群中心中各语义集群中心周围的分布信息，确定所述第一类别的描述信息”的相应内容，在此不再赘述。

上述202中，可根据所述分类预测结果与所述第一样本类别，采用损失函数来计算损失值。例如：可采用cross-entropy loss作为损失函数以计算损失值。根据损失值，优化神经网络模型参数。此外，还可加入正则化来规范网络参数的训练，以此来微调神经网络模型中的网络参数。正则化可防止过拟合。

在实际应用时，可在采用元任务训练上述神经网络模型之前，选取上述实施例中训练集中的数据对特征提取子网络进行预训练。这样可以得到一个相对鲁棒的预训练模型，有助于提高训练速度以后分类精度。

进一步的，上述“根据所述待分类样本图像及多个样本类别的描述信息，确定所述分类预测结果”，具体可采用如下步骤来实现：

S40、对所述待分类样本图像进行特征提取，得到图像特征。

上述S40的具体实现可参照上述各实施例中“对待分类图像进行特征提取”的相应内容，在此不再赘述。

S41、将所述图像特征分别与多个样本类别的描述信息进行融合，得到多个融合特征。

上述S41的具体实现可参照上述各实施例中“将所述图像特征分别与多个类别的描述信息进行融合”的相应内容，在此不再赘述。

S42、结合所述多个融合特征及所述神经网络模型中待训练的网络参数，得到所述分类预测结果。

上述S42的具体实现可参照上述各实施例中“结合所述多个融合特征及所述神经网络模型中训练好的网络参数，得到所述分类预测结果”的相应内容，在此不再赘述。

进一步的，上述S42中“结合所述多个融合特征及所述神经网络模型中待训练的网络参数，得到所述分类预测结果”具体可采用如下步骤来实现：

c1、根据所述多个融合特征及所述神经网络模型中待训练的网络参数，得到第一分类预测结果。

c2、分别计算所述图像特征与所述多个样本类别的描述信息的距离。

c3、根据所述距离，确定第二分类预测结果。

c4、综合所述第一分类预测结果及所述第二分类预测结果，确定所述分类预测结果。

上述步骤c1、c2、c3和c4具体可参照上述各实施例中相应内容，在此不再赘述。

在实际应用时，为了解决小样本问题，上述神经网络模型可以是基于元学习技术的。基于元学习技术的神经网络模型是根据多个不同的元任务(meta-task)训练得到的。可从一训练集中随机采样得到一支持集(support set)和一查询集(query set)，以作为一元任务来训练该神经网络模型。例如：查询集中包括N个样本类别，每个样本类别中有M个样本图像，即N-way-M-shot；相应的，查询集中也应包括这N个样本类别，且每个样本类别中包括M个与查询集中互不相交的样本图像。可通过多次随机采样，得到多个元任务来训练神经网络模型，例如：采样600次。其中，N大于1，M大于或等于1。

上述201中第一样本类别对应的待分类样本图像即为上述查询集中的一个样本图像。上述多个样本类别对应的样本图像即为上述支持集中的所有样本图像。

上述202中，在实际应用中，通常基于一个元任务，对神经网络模型中的网络参数调整一次。因此，在上述201中，可将查询集中的所有待分类样本图像均输入到神经网络模型中，得到每一个待分类样本图像对应的分类预测结果。

综合每一个待分类样本图像对应的分类预测结果及真实类别，优化所述神经网络模型。例如：可分别计算每一个待分类样本图像对应的分类预测结果及真实类别之间的差异(即损失值)，根据差异总和对神经网络模型进行优化。

当然，也可根据查询集中的每一个待分类图像对神经网络模型中的网络参数调整一次，本实施例对此不作具体限定。

这样，对类有一个比较泛化的全局的描述，可以有效提高小样本场景下的预测准确率。

下面将结合实际的业务场景对本申请实施例提供的图像分类方法进行介绍：

如图1a所示，假设需要将上述训练好的神经网络模型投入到类别X(例如：火烈鸟)和类别Y(例如：麻雀)的图像分类场景中，则需先获取少量的类别X的样本图像和少量的类别Y的样本图像。在服务端，根据类别X的样本图像和类别Y的样本图像，利用上述各实施例中介绍的方法，确定出多个语义集群中心，例如：图1a中的鸟头部语义集群中心、鸟翅膀语义集群中心和鸟脚部语义集群中心；并基于这多个语义集群中心，获得类别X和类别Y各自的描述信息，以备用。服务端接收到客户端发送来的到用户输入的待分类图像时，通过神经网络模型中的特征提取子网络来提取得到图像特征；通过神经网络模型中的融合子网络，将该图像特征分别与类别X和类别Y各自的描述信息进行融合，得到融合特征；将融合特征输入至神经网络模型中的分类器，以对待分类图像进行分类，并将分类结果返回给客户端进行输出显示。

当然，当客户端所在终端的计算能力足够时，上述各处理流程可由客户端来实现。图1b示出了本申请实施例提供的神经网络模型内部结构和内部处理流程。其中，特征提取子网络用于对支持集中多个样本类别对应的样本图像和查询集中的待分类样本图像进行特征提取；特征提取子网络将支持集中多个样本类别对应的样本图像输入至编码器，编码器输出第i个样本类别对应的组合子描述信息D

图11为采用本申请提供的训练好的神经网络模型获取到的不同类的描述信息的可视化视图。将每个类对应的多个样本图像分批次输入至神经网络模型中，得到每个类对应的多个类别描述；将每个类对应的多个类别描述进行可视化，得到图11。图11中，同一个类对应的多个类别描述聚集在一起形成一个簇，不同类对应的簇之间分离明显，不像现有技术中那样不同类对应的类别描述混杂在一起，区分不开。也就是说，本申请实施例提供的神经网络模型能够有效的表达各种不同的类，类的描述泛化性好，从而使得神经网络模型能具有更好的分类效果。

图12示出了本申请又一实施例提供的数据分类方法的流程示意图。该方法的执行主体可以为客户端，也可以为服务端。其中，所述客户端可以是集成在终端上的一个具有嵌入式程序的硬件，也可以是安装在终端中的一个应用软件，还可以是嵌入在终端操作系统中的工具软件等，本申请实施例对此不作限定。该终端可以为包括手机、平板电脑、智能穿戴设备等任意终端设备。其中，服务端可以是常用服务器、云端或虚拟服务器等，如图12所示，该方法，包括：

1201、获取待分类数据。

1202、将所述待分类数据作为训练好的神经网络模型的输入，执行所述神经网络模型，得到分类结果。

其中，多个类别的描述信息的获取方式可采用现有技术中求平均的方式获得，或者采用上述各实施例中提供的方法获得，本实施例对此不作具体限定。

上述步骤1201和1202的具体实现可参见上述各实施例中相应内容，在此不再赘述。

在本实施例中，采用可训练的网络参数来计算数据特征与多个类别的描述信息之间的相似度，可使得该神经网络模型适应不同的样本场景，鲁棒性和可适应性更强。

进一步的，上述“结合所述多个融合特征及所述神经网络模型中训练好的网络参数，得到所述分类结果”，具体可采用如下步骤来实现：

S251、根据所述多个融合特征及所述神经网络模型中训练好的网络参数，得到第一分类结果。

S252、分别计算所述数据特征与所述多个类别的描述信息的距离。

S253、根据所述距离，确定第二分类结果。

S254、综合所述第一分类结果及所述第二分类结果，确定所述分类结果。

上述步骤S251至S254的具体实现可参见上述各实施例中相应内容，在此不再赘述。

在一实例中，上述神经网络模型的训练过程如下：将第一样本类别对应的待分类样本数据作为神经网络模型的输入，执行所述神经网络模型，得到分类预测结果；根据所述分类预测结果与所述第一样本类别，优化所述神经网络模型；其中，所述神经网络模型用于对所述待分类样本数据进行特征提取，得到数据特征；将所述数据特征分别与多个样本类别的描述信息进行融合，得到多个融合特征；结合所述多个融合特征及所述神经网络模型中待训练的网络参数，得到所述分类预测结果。

上述“对所述待分类样本数据进行特征提取，得到数据特征”的具体实现可参照上述各实施例中“对所述待分类数据进行特征提取，得到数据特征”的相应内容。

上述“将所述数据特征分别与多个样本类别的描述信息进行融合，得到多个融合特征”的具体实现可参照上述各实施例中“将所述数据特征分别与多个类别的描述信息进行融合，得到多个融合特征”的相应内容。

上述“结合所述多个融合特征及所述神经网络模型中待训练的网络参数，得到所述分类预测结果”的具体实现可参照上述各实施例中“结合所述多个融合特征及所述神经网络模型中训练好的网络参数，得到所述分类结果”的相应内容。

图1c示出了本申请又一实施例提供的图像分类方法的流程示意图。该方法的执行主体可以为客户端，也可以为服务端。其中，所述客户端可以是集成在终端上的一个具有嵌入式程序的硬件，也可以是安装在终端中的一个应用软件，还可以是嵌入在终端操作系统中的工具软件等，本申请实施例对此不作限定。该终端可以为包括手机、平板电脑、智能穿戴设备等任意终端设备。其中，服务端可以是常用服务器、云端或虚拟服务器等，如图1c所示，该方法，包括：

101、获取待分类图像。

102、将所述待分类图像作为训练好的神经网络模型的输入，执行所述神经网络模型，得到分类结果。

其中，多个类别的描述信息的获取方式可采用现有技术中求平均的方式获得，或者采用上述各实施例中提供的方法获得，本实施例对此不作具体限定。

上述步骤101和102的具体实现可参见上述各实施例中相应内容，在此不再赘述。

在本实施例中，采用可训练的网络参数来计算图像特征与多个类别的描述信息之间的相似度，可使得该神经网络模型适应不同的样本场景，鲁棒性和可适应性更强。

进一步的，上述“结合所述多个融合特征及所述神经网络模型中训练好的网络参数，得到所述分类结果”，具体可采用如下步骤来实现：

S51、根据所述多个融合特征及所述神经网络模型中训练好的网络参数，得到第一分类结果。

S52、分别计算所述图像特征与所述多个类别的描述信息的距离。

S53、根据所述距离，确定第二分类结果。

S54、综合所述第一分类结果及所述第二分类结果，确定所述分类结果。

上述步骤S51至S54的具体实现可参见上述各实施例中相应内容，在此不再赘述。

图2示出了本申请又一实施例提供的上述神经网络模型的训练方法的流程示意图。如图2所示，该方法包括：

201、将第一样本类别对应的待分类样本图像作为神经网络模型的输入，执行所述神经网络模型，得到分类预测结果。

202、根据所述分类预测结果与所述第一样本类别，优化所述神经网络模型。

上述步骤201和202的具体实现可参见上述各实施例中相应内容，在此不再赘述。

进一步的，上述“结合所述多个融合特征及所述神经网络模型中待训练的网络参数，得到所述分类预测结果”，具体可采用如下步骤来实现：

S61、根据所述多个融合特征及所述神经网络模型中待训练的网络参数，得到第一分类预测结果。

S62、分别计算所述图像特征与所述多个样本类别的描述信息的距离。

S63、根据所述距离，确定第二分类预测结果。

S64、综合所述第一分类预测结果及所述第二分类预测结果，确定所述分类预测结果。

上述步骤S61至S64的具体实现可参见上述各实施例中相应内容，在此不再赘述。

本申请实施例还提供了一种信息搜索方法。该方法的执行主体可以为客户端，也可以为服务端。其中，所述客户端可以是集成在终端上的一个具有嵌入式程序的硬件，也可以是安装在终端中的一个应用软件，还可以是嵌入在终端操作系统中的工具软件等，本申请实施例对此不作限定。该终端可以为包括手机、平板电脑、智能穿戴设备等任意终端设备。其中，服务端可以是常用服务器、云端或虚拟服务器等，该方法包括：

901、获取作为搜索依据的待分类图像。

902、将所述待分类图像作为训练好的神经网络模型的输入，执行所述神经网络模型，得到分类结果。

903、根据所述分类结果，搜索得到搜索结果。

其中，所述神经网络模型用于根据所述待分类图像和多个类别的描述信息，确定所述分类结果；所述神经网络模型还用于对所述多个类别对应的样本图像进行特征提取，得到所述多个类别对应的样本特征；综合所述多个类别对应的样本特征，确定多个语义集群中心；根据第一类别对应的样本特征在所述多个语义集群中心周围的分布信息，确定所述第一类别的描述信息；其中，所述多个类别中包括所述第一类别。

上述901中，上述待分类图像可以是用户通过客户端搜索界面输入的。例如：电商客户端为用户提供一个搜索界面，以供用户输入作为搜索依据的待分类图像。

当本实施例提供的方法的执行主体为服务端时，可由客户端将用户输入的待分类图像上传给服务端。

上述902的具体实现可参见上述各实施例中相应内容，在此不再赘述。

上述903中，可以所述分类结果为搜索关键词，搜索得到与所述分类结果相关的搜索结果。

以电商场景为例：分类结果为连衣裙，则搜索结果为有关连衣裙的商品搜索结果。

以以图搜图场景为例，分类结果为狗，则搜索结果为与狗有关的图像。

1001、获取作为搜索依据的待分类图像。

1002、将所述待分类图像作为训练好的神经网络模型的输入，执行所述神经网络模型，得到分类结果。

1003、根据所述分类结果，搜索得到搜索结果。

上述1001中，上述待分类图像可以是用户通过客户端搜索界面输入的。例如：电商客户端为用户提供一个搜索界面，以供用户输入作为搜索依据的待分类图像。

当本实施例提供的方法的执行主体为服务端时，可由客户端将用户输入的待分类图像上传给服务端。

上述1002的具体实现可参见上述各实施例中相应内容，在此不再赘述。

上述1003中，可以所述分类结果为搜索关键词，搜索得到与所述分类结果相关的搜索结果。

以电商场景为例：分类结果为连衣裙，则搜索结果为有关连衣裙的商品搜索结果。

以以图搜图场景为例，分类结果为狗，则搜索结果为与狗有关的图像。

在本实施例中，采用可训练的网络参数来计算图像特征与多个类别的描述信息之间的相似度，可使得该神经网络模型适应不同的样本场景，鲁棒性和可适应性更强，可提高预测准确率，进而提高搜索准确率。

本申请一实施例提供了一种神经网络系统。该系统包括：至少一个第一神经网络层、至少一个第二神经网络层和计算模块；其中，

所述计算模块，用于根据所述图像特征与所述多个类别的描述信息，确定所述分类结果。

其中，至少一个第一神经网络层构成特征提取子网络，具体可以为WRN(WideResidual Network)网络。

其中，至少一个第二神经网络层可包括至少一个卷积层、至少一个softmax层和/或至少一个归一化层。

这里需要说明的是：本申请实施例提供的神经网络层的具体处理步骤中未尽详述的内容可参见上述实施例中的相应内容，此处不再赘述。

当上述各实施例中的神经网络系统需要用来应用于小样本分类场景中时，上述各实施例中的神经网络系统均是基于元学习技术的，这样可以得到一个比较泛化的全局的类的描述，有效提高小样本分类场景下的预测准确率。

本申请一实施例提供了一种神经网络系统。该系统包括：至少一个第一神经网络层和至少一个第三神经网络层；其中，

所述至少一个第一神经网络层，用于对所述待分类图像进行特征提取，得到图像特征；

进一步，所述至少一个第一神经网络层，还用于分别对多个类别对应的样本图像进行特征提取，得到所述多个类别对应的样本特征；

所述系统，还包括：

至少一个第二神经网络层，用于综合所述多个类别对应的样本特征，确定多个语义集群中心；还用于根据第一类别对应的样本特征在所述多个语义集群中心周围的分布信息，确定所述第一类别的描述信息；其中，所述第一类别为所述多个类别中的一个。

这里需要说明的是：本申请实施例提供的神经网络层的具体处理步骤中未尽详述的内容可参见上述实施例中的相应内容，此处不再赘述。

本申请一实施例提供了一种神经网络系统。该系统包括：至少一个第一神经网络层、至少一个第三神经网络层和计算模块；其中，

所述至少一个第一神经网络层，用于对所述待分类图像进行特征提取，得到图像特征；

在本实施例中，采用可训练的网络参数来计算图像特征与多个类别的描述信息之间的相似度，可使得该神经网络模型适应不同的样本场景，鲁棒性和可适应性更强。并且，还结合固定的距离标准，可进一步提高分类准确度。

进一步的，所述至少一个第一神经网络层，还用于分别对多个类别对应的样本图像进行特征提取，得到所述多个类别对应的样本特征；

所述系统，还包括：

这里需要说明的是：本申请实施例提供的神经网络层的具体处理步骤中未尽详述的内容可参见上述实施例中的相应内容，此处不再赘述。

图3示出了本申请一实施例提供的图像分类装置的结构框图。该装置，包括：第一获取模块501和第一执行模块502。其中，

第一获取模块501，用于获取待分类图像；

第一执行模块502，用于将所述待分类图像作为训练好的神经网络模型的输入，执行所述神经网络模型，得到分类结果；

其中，所述神经网络模型用于根据所述待分类图像和多个类别的描述信息，确定所述分类结果；

图3所述的图像分类装置可以执行图1c所示实施例所述的图像分类方法，其实现原理和技术效果不再赘述。对于上述实施例中的图像分类装置其中各个模块、神经网络模型执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图4示出了本申请一实施例提供的模型训练装置的结构框图。该装置，包括：第二执行模块601和第一优化模块602。其中，

第二执行模块601，用于将第一样本类别对应的待分类样本图像作为神经网络模型的输入，执行所述神经网络模型，得到分类预测结果；

第一优化模块602，用于根据所述分类预测结果与所述第一样本类别，优化所述神经网络模型；

其中，所述神经网络模型用于根据所述待分类样本图像及多个样本类别的描述信息，确定所述分类预测结果；

图4所述的模型训练装置可以执行图2所示实施例所述的模型训练方法，其实现原理和技术效果不再赘述。对于上述实施例中的模型训练装置其中各个模块、神经网络模型执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图5示出了本申请一实施例提供的图像分类装置的结构框图。该装置，包括：第二获取模块701和第三执行模块702。其中，

第二获取模块701，用于获取待分类图像；

第三执行模块702，用于将所述待分类图像作为训练好的神经网络模型的输入，执行所述神经网络模型，得到分类结果；

图5所述的图像分类装置可以执行图1c所示实施例所述的图像分类方法，其实现原理和技术效果不再赘述。对于上述实施例中的图像分类装置其中各个模块、神经网络模型执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图6示出了本申请一实施例提供的图像分类装置的结构框图。该装置，包括：

第四执行模块801，用于将第一样本类别对应的待分类样本图像作为神经网络模型的输入，执行所述神经网络模型，得到分类预测结果；

第二优化模块802，用于根据所述分类预测结果与所述第一样本类别，优化所述神经网络模型；

图6所述的模型训练装置可以执行图2所示实施例所述的模型训练方法，其实现原理和技术效果不再赘述。对于上述实施例中的模型训练装置其中各个模块、神经网络模型执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本申请一实施例提供的信息搜索装置。该装置，包括：第三获取模块、第五执行模块和第一搜索模块。其中，

第三获取模块，用于获取作为搜索依据的待分类图像；

第五执行模块，用于将所述待分类图像作为训练好的神经网络模型的输入，执行所述神经网络模型，得到分类结果；

第一搜索模块，用于根据所述分类结果，搜索得到搜索结果。

其中，所述神经网络模型用于根据所述待分类图像和多个类别的描述信息，确定所述分类结果；

本实施例中信息搜索装置可以执行上述相应实施例所述的信息搜索方法，其实现原理和技术效果不再赘述。对于上述实施例中的信息搜索装置，其中各个模块、神经网络模型的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

本申请一实施例提供的信息搜索装置。该装置，包括：第三获取模块、第五执行模块和第一搜索模块。其中，

第三获取模块，用于获取作为搜索依据的待分类图像；

第五执行模块，用于将所述待分类图像作为训练好的神经网络模型的输入，执行所述神经网络模型，得到分类结果；

第一搜索模块，用于根据所述分类结果，搜索得到搜索结果。

图3示出了本申请一实施例提供的数据分类装置的结构框图。该装置，包括：第一获取模块501和第一执行模块502。其中，

第一获取模块501，用于获取待分类数据；

第一执行模块502，用于将所述待分类数据作为训练好的神经网络模型的输入，执行所述神经网络模型，得到分类结果；

其中，所述神经网络模型用于根据所述待分类数据和多个类别的描述信息，确定所述分类结果；

图3所述的数据分类装置可以执行上述相应实施例所述的图像分类方法，其实现原理和技术效果不再赘述。对于上述实施例中的数据分类装置其中各个模块、神经网络模型执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图5示出了本申请一实施例提供的数据分类装置的结构框图。该装置，包括：第二获取模块701和第三执行模块702。其中，

第二获取模块701，用于获取待分类数据；

第三执行模块702，用于将所述待分类数据作为训练好的神经网络模型的输入，执行所述神经网络模型，得到分类结果；

图5所述的数据分类装置可以执行上述相应实施例所述的数据分类方法，其实现原理和技术效果不再赘述。对于上述实施例中的数据分类装置其中各个模块、神经网络模型执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图7示出了本申请一实施例提供的电子设备的结构示意图。如图7所示，所述电子设备包括存储器1101以及处理器1102。存储器1101可被配置为存储其它各种数据以支持在电子设备上的操作。这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令。存储器1101可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

所述存储器1101，用于存储程序；

所述处理器1102，与所述存储器1101耦合，用于执行所述存储器1101中存储的所述程序，以用于实现上述各方法实施例提供的图像分类方法、模型训练方法、信息搜索方法或数据分类方法。

其中，处理器1102在执行存储器1101中的程序时，除了上面的功能之外，还可实现其它功能，具体可参见前面各实施例的描述。

进一步，如图7所示，电子设备还包括：通信组件1103、显示器1104、电源组件1105、音频组件1106等其它组件。图7中仅示意性给出部分组件，并不意味着电子设备只包括图7所示组件。

相应地，本申请实施例还提供一种存储有计算机程序的计算机可读存储介质，所述计算机程序被计算机执行时能够实现上述各实施例提供的图像分类方法、模型训练方法、信息搜索方法或数据分类方法步骤或功能。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。

完整全部详细技术资料下载

该技术已申请专利。仅供学习研究，如用于商业用途，请联系技术所有人。
专利发明人：陈达;
专利申请人：阿里巴巴集团控股有限公司;

上一篇：一种芳基硫酸酯酶抑制剂及其制备方法和应用
下一篇：自发光显示装置及其显示画面补偿方法