多任务预测方法、多任务预测装置及电子设备

技术领域

本申请涉及人工智能技术领域，尤其涉及一种多任务预测方法、多任务预测装置及电子设备。

背景技术

近年来，深度卷积神经网络在许多计算机任务上都取得了突破性的成绩，如目标检测、语义分割、深度预测等。

然而，现有技术采用的网络模型通常存在计算量大、速度慢等问题，无法满足实时性需求。

发明内容

本申请实施例提供了一种多任务预测方法、多任务预测装置及电子设备，以改善上述问题。

第一方面，提供一种多任务预测方法，包括：获取待识别信息；通过多任务网络模型从待识别信息中提取多个特征；通过多任务网络模型对多个特征进行复制，一个特征经复制得到相同的多个目标特征；利用不同的预设算法分别对相同的多个目标特征进行计算，得到相互关联的多个预测结果，预测算法与目标特征一一对应。

第二方面，提供一种多任务预测装置，所述多任务预测装置包括获取模块、提取模块、以及处理模块。获取模块，用于获取待识别信息。预处理模块，用于通过多任务网络模型从所述待识别信息中提取多个特征。处理模块，用于通过多任务网络模型对多个特征进行复制，一个特征经复制得到相同的多个目标特征；还用于利用不同的预设算法分别对相同的多个目标特征进行计算，得到相互关联的多个预测结果，预测算法与目标特征一一对应。

第三方面，提供一种电子设备，包括：一个或多个处理器；存储器；以及，一个或多个应用程序，其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个应用程序用于执行第一方面所述的方法。

第四方面，提供一种计算机可读取存储介质，所述计算机可读取存储介质中存储有程序代码，所述程序代码可被处理器调用执行如第一方面所述的方法。

本申请实施例提供的多任务预测方法、多任务预测装置及电子设备中，可以先从待识别信息中提取多个特征；之后，分别对多个特征进行复制，一个特征经复制后可以得到相同的多个目标特征；最后，利用不同的预设算法分别对相同的多个目标特征进行计算，得到相互关联的多个预测结果。一方面，可以根据一个特征得到多个预测结果，减小多任务网络模型的计算量，提高计算速度；另一方面，利用相同的多个目标特征，得到相互关联的多个预测结果，可以使互相关联的预测结果学习、共享更多内容，进行更多信息交流，起到提升整体预测效果的作用，进而提高预测结果的准确度。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本申请实施例提供的多任务预测方法的流程图；

图2为本申请实施例提供的电子设备获取待识别信息的示意图；

图3为本申请实施例提供的提取多个特征的示意图；

图4为本申请实施例提供的提取多个特征以及对多个特征进行优化处理的示意图；

图5为本申请实施例提供的SE处理的示意图；

图6为本申请实施例提供的将一个特征复制为多个目标特征的示意图；

图7为本申请实施例提供的根据目标特征得到预测结果的示意图；

图8为本申请实施例提供的多任务预测方法的流程图；

图9为本申请实施例提供的从共享网络模型的示意图；

图10为本申请实施例提供的多任务预测方法的流程图；

图11为本申请实施例提供的从共享网络模型的示意图；

图12为本申请实施例提供的多任务预测装置的框图；

图13为本申请实施例提供的电子设备中各个模块的关系框图；

图14为本申请实施例提供的计算机可读存储介质与应用程序的关系框图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。需要说明的是，在不冲突的情况下，本申请的实施例中的特征可以相互结合。

背景技术中提到，现有技术采用的网络模型通常存在体积大、计算量大、速度慢等问题。

以人脸识别为例，现有技术通常采用深度残差网络(ResNet)来提取人脸特征，然而，众所周知，通过残差网络进行人脸识别时，所需的计算量非常大，进而导致识别速度非常慢。

此外，现有的网络模型在多任务学习时，通常是所有任务共享同一个特征提取层，可能导致不相关的多个特征互相冲突，从而阻碍彼此学习，最终得到的预测结果的准确度交底。

针对上述问题，发明人经研究提出了一种多任务预测方法、多任务预测装置及电子设备，可以减小用于计算多任务预测的多任务网络模型的计算量，提高结果预测的计算速度以及准确度。

多任务预测方法和多任务预测装置可应用于电子设备，电子设备可以是手机、电脑、穿戴设备、智能家居等。下面将结合具体实施例对本申请进行阐述：

如图1所示，本申请实施例提供了一种多任务预测方法，该方法包括：

S110、获取待识别信息。

如图2所示，电子设备可以包括存储器202以及一个或多个处理器201，可以通过处理器201获取待识别信息，并存储于存储器202中。

在一些实施例中，待识别信息可以是包含内容的图片、文本信息等。

示例的，包含内容的图片可以是包含人脸的图片，可以利用本申请的方法预测包含人脸的图片，以预测与人脸相关的属性；文本信息可以是包含日期及与日期对应的天气的文本信息，可以利用本申请的方法预测未来某天的天气。

当然，待识别信息也可以是其它信息，本申请实施例对此不作特殊限定。

在一些实施例中，若待识别信息为待识别图像，则在步骤S110之后，所述方法还可以包括：将待识别图像处理为多个形状相同的标准化子图像。

示例的，可以将待识别信息处理为多个64*64*3的标准化子图像，其中64*64表示标准化子图像为64*64个像素点，3表示三基色，三基色可以是红色、绿色、蓝色；或者，三基色也可以是黄色、品红色、青色。

S120、通过多任务网络模型从待识别信息中提取多个特征。

通过多任务网络模型从存储器中存储的待识别信息中依次提取多个特征。

以待识别信息为包含内容的图像为例，可以以预设卷积核以及预设步长从待识别信息中依次提取多个特征。本申请不对具体的卷积核大小以及具体的步长进行限定。

示例的，如图3所示，以待识别信息为图片为例，可以以3*3的预设卷积核、步长3依次提取多个特征。其中，包含内容的图像可以由多个像素点构成，每个卷积核可以由多个像素点构成。

相较于更大的卷积核，本申请采用3*3的预设卷积核，可以在完成提取待识别信息中的多个特征的情况下，简化多任务网络模型的计算量。在预设卷积核为3*3的基础上，步长为3，可避免重复提取部分特征，进一步简化多任务网络模型的计算量。下文提取特征或者目标特征均可以采用3*3的预设卷积核、步长3，其有益效果与本实施例相同。

在一些实施例中，多任务网络模型可以是已经训练完成的网络模型，在训练多任务网络模型的过程中，可以先利用处理器获取采样信息，通过初始网络模型从采样信息中提取特征，并根据标签数据，对初始网络模型进行更新，以得到目标网络模型，即多任务网络模型。在利用标签数据更新初始网络模型的过程中，逐渐完善用于计算预测结果的算法。

进一步，本申请可以利用已经训练完成的多任务网络模型执行步骤S130以及S140。

在一些实施例中，以待识别信息为包含人脸的待识别图像为例，可以以3*3的预设卷积核以及步长3，从待识别图像中提取多个人脸特征。

如图4所示，在利用步骤S120从待识别信息中提取多个特征后，所述方法还可以包括：对多个特征进行优化处理，优化处理包括批量归一化处理(batch normalization，简称BN)、平均池化处理(average pooling，简称AP)、以及压缩激励处理(Squeeze-and-Excitation，简称SE)。

其中，可以通过批量归一化处理可以将提取的多个特征的分布强行拉回至均值为0、方差为1的标准正太分布，以将越来越偏的分布强制拉回至比较标准的分布，从而加快计算速度。

可以通过平均池化处理使得多任务网络模型提取的多个特征更加平滑。

如图5所示，压缩激励处理包括全局平均池化(Global Average Pooling，简称GAP)层、第一个全连接(Fully Connected，简称FC)层、第二个全连接层、激励函数Sigmoid层、以及缩放(Scale)层。假设输入的特征的维度为H*W*C，H、W、以及C分别表示张量的高度、宽度、以及通道数，通过平均池化层将空间维度(H*W)上所有特征的信息都平均成一个值，平均池化层的输出为1*1*C；之后，第一个全连接将C个通道压缩成C/r个通道，以降低计算量，其中，r为常数，例如可以是16，表示将特征通道降低到输入的通道的1/16；之后，第二个全连接再将通道个数恢复回C个；最后，通过缩放层将1*1*C的张量扩张回H*W*C，得到权重张量，即共有C个H*W的矩阵，每个H*W的矩阵中的值都相同，即为上一层中1*1*C向量的对应值，将此权重张量进行逐元相乘，便得到了SE Block的输出。

在此基础上，如图4所示，在从待识别信息中提取多个特征时，可以通过一次或多次卷积提取、批量归一化处理、平均池化处理、以及压缩激励处理，直至计算量足够复杂，足以完成提取多个特征的任务。

S130、通过多任务网络模型对多个特征进行复制，一个特征经复制得到相同的多个目标特征。

如图6所示，对步骤S120提取的每一个特征都进行复制，一个特征经复制后，可以得到相同的多个目标特征。

示例的，步骤S120提取的特征的个数为100个，分别对这100个特征进行单独复制，一个特征经复制后可以得到相同的多个目标特征。

在一些实施例中，本申请实施例不对任意一个特征经复制得到的目标特征的个数进行限定，其个数与通过一个特征能够预测得到的预测结果的个数有关。其中，多个特征经复制得到的目标特征的个数可以相同，也可以不同。

示例的，步骤S120提取的特征的个数为2个，第一个特征经复制后，得到2个目标特征，第二个特征经复制后得到4个目标特征；或者，第一个特征经复制后，得到2个目标特征，第二个特征经复制后得到2个目标特征。

在一些实施例中，对经步骤S120提取的所有特征进行复制，这样一来，一方面，可以在步骤S140通过一个特征得到多个预测结果，以简化多任务网络模型的计算量；另一方面，相较于仅对部分特征进行复制，对所有特征进行复制，还可以得到更多的预测结果。

在一些实施例中，在步骤S130之后，所述方法还可以包括：提取多个目标特征，并对目标特征进行优化处理。

其中，参考图7所示，可以以3*3的预设卷积核、步长3依次提取多个目标特征。

进一步的，如图7所示，对提取的多个目标特征进行优化处理，优化处理包括批量归一化处理、平均池化处理、以及压缩激励处理。利用优化处理包括批量归一化处理、平均池化处理、以及压缩激励处理对目标特征进行处理的有益效果可参考步骤S120部分对应的描述，在此不再赘述。

在此基础上，如图7所示，在从待识别信息中提取多个目标特征时，可以通过一次或多次卷积提取、批量归一化处理、平均池化处理、以及压缩激励处理，直至计算量足够复杂，足以完成提取多个目标特征的任务。

S140、利用不同的预设算法分别对相同的多个目标特征进行计算，得到相互关联的多个预测结果，预测算法与目标特征一一对应。

在对一个特征复制得到相同的多个目标特征之后，可以通过多任务网络模型已训练完成的预设算法对相同的多个目标特征进行计算，相同的多个目标特征经过计算后，可以得到相互关联的多个预测结果。其中，预设算法是在训练初始网络模型得到多任务网络模型的过程中得到的，同时，由于预设算法根据与其对应的目标标签训练得到，相同的目标特征对应的多个目标标签之间相互关联，因此，与相同的多个目标特征对应的多个预设算法之间独立、但相互关联，这样一来，一方面，各个预设算法可以用于单独计算各个目标特征；另一方面，由于得到最终的预设算法的过程中，各个预设算法之间存在关联，进一步的，在利用预设算法对相同的多个目标特征进行计算时，可以让相同的多个目标特征共享学习，得到相互关联的多个预测结果，从而提高相关联任务的预测效果。

在一些实施例中，在多个特征为多个人脸特征的情况下，用于训练相互关联的预设算法的目标标签可以分别是大/小眼睛以及单/双眼皮。进一步的，得到的相互关联的两个预测结果例如可以是大眼睛以及单眼皮，或者小眼睛以及单眼皮，或者小眼睛以及双眼皮，或者小眼睛以及单眼皮。

在一些实施例中，以待识别信息为包含人脸的图像为例，通过步骤S140得到的预测结果可以是与人脸相关的属性，每个属性包括类别以及各个类别所占的权重，假设其中一个属性为性别，则性别的类别可以包括男和女，性别为男所占的权重为x、性别为内存所占的权重为y，x+y＝1。

本申请实施例提供一种多任务预测方法，可以先从待识别信息中提取多个特征；之后，分别对多个特征进行复制，一个特征经复制后可以得到相同的多个目标特征；最后，利用不同的预设算法分别对相同的多个目标特征进行计算，得到相互关联的多个预测结果。一方面，可以根据一个特征得到多个预测结果，减小多任务网络模型的计算量，提高计算速度；另一方面，利用相同的多个目标特征，得到相互关联的多个预测结果，可以使互相关联的预测结果学习、共享更多内容，进行更多信息交流，起到提升整体预测效果的作用，进而提高预测结果的准确度。

如图8所示，本申请实施例还提供了一种多任务预测方法，应用于电子设备，多任务网络模型包括多个共享网络模块以及多个预测模块，一个共享网络模块与多个预设模块对应，该方法包括：

S110、获取待识别信息。

S120、通过多任务网络模型从待识别信息中提取多个特征。

步骤S110以及S120的解释说明与前述实施例步骤S110以及S120的解释说明相同，在此不再赘述。

S131、通过一个共享网络模块将一个特征复制为相同的多个目标特征。

多任务网络模型包括与多个特征一一对应的多个共享网络模块，可以通过一个共享网络模块对与其对应的一个特征进行复制，得到相同的多个目标特征。进一步的，通过多个共享网络模块可以实现对多个特征进行复制。

如图9所示，在步骤S131之前，共享网络模块还可以先提取与其对应的特征，之后对提取的特征进行优化处理，优化处理包括批量归一化处理、平均池化处理、以及压缩激励处理。利用优化处理包括批量归一化处理、平均池化处理、以及压缩激励处理对特征进行处理的有益效果可参考步骤S120部分对应的描述，在此不再赘述。

在此基础上，如图8所示，在从多个特征中提取与共网络模块对应的特征时，可以通过一次或多次卷积提取、批量归一化处理、平均池化处理、以及压缩激励处理，直至计算量足够复杂，足以完成提取特征的任务。

S132、共享网络模块分别将相同的多个目标特征输出至与其对应的多个预测模块，相同的多个目标特征与多个预测模块一一对应。

如图9所示，一个共享网络模块对应多个预测模块，多个预测模块与多个目标特征一一对应，一个共享网络模块将与其对应的特征复制为相同的多个目标特征后，可以分别将相同的多个目标特征输出至多个预测模块。

S141、利用不同的预设算法，通过多个预测模块分别对相同的多个目标特征进行计算，得到相互关联的多个预测结果。

如图9所示，一个预设模块可以利用预存的预设算法，对与其对应的目标特征进行计算，以得到一个预测结果。进一步的，多个预测模块可以利用不同的预设算法，分别对相同的多个目标特征进行计算，从而得到相互关联的多个预测结果。

示例的，如图9所示，从待识别信息中提取两个特征，分别对着两个特征进行复制，一个特征经复制得到两个目标特征，共四个目标特征；之后，分别对这四个特征进行计算，得到四个预测结果，分别为1st、2nd、3rd、以及4th。其中，同一特征复制得到的两个目标特征，经计算得到的预测结果相互关联，即，预测结果1st与2nd相互关联，预测结果3rd与4th相互关联。

本申请实施例提供一种多任务预测方法，可以先从待识别信息中提取多个特征；之后，通过多个网络共享模块分别对多个特征进行复制，一个特征经复制后可以得到相同的多个目标特征；最后，通过预测模块利用不同的预设算法分别对相同的多个目标特征进行计算，得到相互关联的多个预测结果。一方面，可以根据一个特征得到多个预测结果，减小多任务网络模型的计算量，提高计算速度；另一方面，利用相同的多个目标特征，得到相互关联的多个预测结果，可以使互相关联的预测结果学习、共享更多内容，进行更多信息交流，起到提升整体预测效果的作用，进而提高预测结果的准确度。

如图10所示，多任务网络模型还包括与多个特征一一对应的多个独立预测模块；本申请实施例还提供了一种多任务预测方法，应用于电子设备，该方法包括：

S110、获取待识别信息。

S120、通过多任务网络模型从待识别信息中提取多个特征。

步骤S110以及S120的解释说明与前述实施例步骤S110以及S120的解释说明相同，在此不再赘述。

S150、利用独立预设算法，通过独立预测模块对与其对应的特征进行独立计算，得到相互独立的多个预测结果，用于计算同一特征的预设算法与独立预设算法不同。

如图11所示，通过步骤S120从待识别信息中提取多个特征后，还可以将每一个特征作为单独的特征，一个特征对应一个独立预测模块，通过一个独立预测模块提取一个特征，并利用独立预设算法对与其对应的特征进行计算，得到一个预测结果。

由于同一特征分别利用预设算法以及独立预设算法计算，但用于计算同一特征的独立预设算法与预设算法不同，且多个独立预设算法之间互不相同，因此通过多任务网络模型得到的所有预测结果各不相同。

示例的，如图11所示，假设共享网络模块和独立预测模块提取同一特征，经共享网络模块以及预测模块得到预测结果1st以及2nd，经独立预测模块得到预测结果5th以及6th。

在一些实施例中，独立预设算法也可以是在训练初始网络模型得到多任务网络模型的过程中得到。

在一些实施例中，以待识别信息为包含内容的图像为例，可以以预设卷积核以及预设步长从多个特征中提取至少一个目标特征。

示例的，如图11所示，以3*3的预设卷积核、步长3依次提取多个特征。

如图11所示，在通过独立预测模块提取特征后，所述方法还可以包括：对每一个特征进行优化处理，优化处理包括批量归一化处理、平均池化处理、以及压缩激励处理。利用优化处理包括批量归一化处理、平均池化处理、以及压缩激励处理对独立特征进行处理的有益效果可参考步骤S120部分对应的描述，在此不再赘述。

在此基础上，如图11所示，通过多个独立预测模块提取多个特征时，可以通过一次或多次卷积提取、批量归一化处理、平均池化处理、以及压缩激励处理，直至计算量足够复杂，足以完成提取至少一个独立特征的任务。

其中，通过多个独立预测模块提取、优化多个特征的次数，可以与共享网络模块以及预测模块提取、优化多个特征的次数之和相同。

本申请实施例提供一种多任务预测方法，在从多个特征中提取目标特征的情况下，还可以通过独立预测模块，分别提取多个特征，并利用独立预设算法分别对多个特征进行计算，以得到更多相互独立或关联性较小的预测结果。

如图12所示，本申请另一实施例提供一种多任务预测装置100，多任务预测装置100包括获取模块101、提取模块102、以及处理模块103。

获取模块101，用于获取待识别信息。

提取模块102，用于通过多任务网络模型从所述待识别信息中提取多个特征。

处理模块103，用于通过多任务网络模型对多个特征进行复制，一个特征经复制得到相同的多个目标特征；还用于利用不同的预设算法分别对相同的多个目标特征进行计算，得到相互关联的多个预测结果，预测算法与目标特征一一对应。

在此基础上，处理模块103还用于通过一个共享网络模块将一个特征复制为相同的多个目标特征；还用于共享网络模块分别将相同的多个目标特征输出至与其对应的多个所述预测模块，相同的多个目标特征与多个预测模块一一对应；还用于利用不同的预设算法，通过多个预测模块分别对相同的多个目标特征进行计算，得到相互关联的多个预测结果。

处理模块103还用于利用独立预设算法，通过独立预测模块对与其对应的特征进行独立计算，得到相互独立的多个预测结果，用于计算同一特征的预设算法与独立预设算法不同。

本申请实施例提供一种多任务预测装置100，其解释说明以及有益效果与前述多任务预测方法的解释说明以及有益效果相同，在此不再赘述。

如图13所示，本申请另一实施例提供一种电子设备200，本申请的电子设备200可以包括：一个或多个处理器201、存储器202、一个或多个应用程序203。其中一个或多个应用程序203被存储在存储器202中并被配置为由所述一个或多个处理器201执行，一个或多个应用程序203用于执行前述任一实施例所述的方法。

处理器201可以包括一个或者多个处理核。处理器201利用各种接口和线路连接整个电子设备200内的各个部分，通过运行或执行存储在存储器202内的指令、程序、代码集或指令集，以及调用存储在存储器202内的数据，执行电子设备200的各种功能和处理数据。可选地，处理器201可以采用数字信号处理(Digital Signal Processing，简称DSP)、现场可编程门阵列(Field－Programmable Gate Array，简称FPGA)、可编程逻辑阵列(Programmable Logic Array，简称PLA)中的至少一种硬件形式来实现。处理器201可集成中央处理器(Central Processing Unit，简称CPU)、图像处理器(Graphics ProcessingUnit，简称GPU)和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器201中，单独通过一块通信芯片进行实现。

存储器202可以包括随机存储器(Random Access Memory，简称RAM)，也可以包括只读存储器(Read-Only Memory，简称ROM)。存储器202可用于存储指令、程序、代码、代码集或指令集。存储器202可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于实现至少一个功能的指令(比如触控功能、声音播放功能、图像播放功能等)、用于实现下述各个方法实施例的指令等。存储数据区还可以存储电子设备200在使用中所创建的数据(比如电话本、音视频数据、聊天记录数据)等。

本申请实施例提供一种电子设备200，电子设备200的解释说明以及有益效果与前述实施例的解释说明以及有益效果相同，在此不再赘述。

如图14所示，其示出了本申请另一实施例提供的一种计算机可读存储介质300的结构框图。该计算机可读存储介质300中存储有程序代码，所述程序代码可被处理器调用执行上述方法实施例中所描述的方法。

计算机可读存储介质300可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。可选的，计算机可读存储介质300包括非瞬时性计算机可读介质(non-transitory computer-readable storage medium)。

计算机可读存储介质300具有执行上述方法中的任何方法步骤的应用程序203的存储空间。这些应用程序203可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。应用程序203可以例如以适当形式进行压缩。

最后应说明的是：以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不驱使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围。