基于量化模型的目标识别方法、装置、设备及存储介质
文献发布时间:2023-06-19 12:10:19
技术领域
本申请涉及目标识别技术领域,尤其涉及一种基于量化模型的目标识别方法、装置、设备及存储介质。
背景技术
目前,量化算法多应用于目标检测和分类的问题上,以提高目标识别模型的训练效率和精度。但是在比较复杂的应用场景中,例如目标对象之间具有高度的相似性,或者目标对象对应具有多种微小变化时,量化算法的精度往往达不到大规模相似度较高目标对象的识别要求。
发明内容
本申请提供了一种基于量化模型的目标识别方法、装置、设备及存储介质,通过在目标识别模型的训练过程中,引入目标对象的标签信息和概率信息,可以有效提高目标识别模型对大规模相似目标的识别效率及精度。
第一方面,本申请提供了一种基于量化模型的目标识别方法,所述方法包括:
通过预先训练完成的教师模型的迭代网络搜索空间对若干个待识别对象进行识别,得到各个待识别对象属于预设类别目标的标签信息和属于预设类别目标的概率信息;
将所述标签信息和所述概率信息,输入与所述教师模型相对应的学生模型,对所述学生模型基于所述标签信息和所述概率信息进行反向训练;
根据所述学生模型的损失函数值的变化大小,确定对所述学生模型的反向训练完成后,将训练完成的所述学生模型设置为所述目标识别模型;
基于所述目标识别模型对所述待识别对象进行识别,分别得到对各个所述待识别对象的识别结果。
第二方面,本申请还提供了一种基于量化模型的目标识别装置,包括:
第一得到模块,用于通过预先训练完成的教师模型的迭代网络搜索空间对若干个待识别对象进行识别,得到各个待识别对象属于预设类别目标的标签信息和属于预设类别目标的概率信息;
训练模块,用于将所述标签信息和所述概率信息,输入与所述教师模型相对应的学生模型,对所述学生模型基于所述标签信息和所述概率信息进行反向训练;
确定模块,用于根据所述学生模型的损失函数值的变化大小,确定对所述学生模型的反向训练完成后,将训练完成的所述学生模型设置为所述目标识别模型;
第二得到模块,用于基于所述目标识别模型对所述待识别对象进行识别,分别得到对各个所述待识别对象的识别结果。
第三方面,本申请还提供了一种基于量化模型的目标识别设备,包括:
存储器和处理器;
所述存储器用于存储计算机程序;
所述处理器,用于执行所述计算机程序并在执行所述计算机程序时实现如上第一方面所述的基于量化模型的目标识别方法的步骤。
第四方面,本申请还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时使所述处理器实现如上第一方面所述的基于量化模型的目标识别方法的步骤。
本申请公开了一种基于量化模型的目标识别方法、装置、设备及存储介质,通过预先训练完成的教师模型对若干个待识别对象进行识别,得到各个所述待识别对象属于目标对象的标签信息和概率信息;将所述标签信息和所述概率信息,输入与所述教师模型相对应的学生模型,对所述学生模型基于所述标签信息和所述概率信息进行反向训练,得到目标识别模型;根据所述目标识别模型对所述待识别对象进行识别,分别得到对各个所述待识别对象的识别结果。通过在目标识别模型的训练过程中,基于蒸馏知识反向引入目标对象的标签信息和概率信息,可以有效提高目标识别模型对大规模相似目标的识别效率及精度。
附图说明
为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请一实施例提供的基于量化模型的目标识别方法的示意流程图;
图2是图1中S102的具体实现流程图;
图3是本申请另一实施例提供的基于量化模型的目标识别方法的实现流程图;
图4是本申请实施例提供的基于量化模型的目标识别装置的结构示意图;
图5是本申请实施例提供的基于量化模型的目标识别设备的结构示意性框图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
附图中所示的流程图仅是示例说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解、组合或部分合并,因此实际执行的顺序有可能根据实际情况改变。
应当理解,在此本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
还应当理解,在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
本申请的实施例提供了一种基于量化模型的目标识别方法、装置、设备及存储介质。本申请实施例提供的基于量化模型的目标识别方法,通过预先训练完成的教师模型对若干个待识别对象进行识别,得到各个所述待识别对象属于目标对象的标签信息和概率信息;将所述标签信息和所述概率信息,输入与所述教师模型相对应的学生模型,对所述学生模型基于所述标签信息和所述概率信息进行反向训练,得到目标识别模型;根据所述目标识别模型对所述待识别对象进行识别,分别得到对各个所述待识别对象的识别结果。通过在目标识别模型的训练过程中,基于蒸馏知识反向引入目标对象的标签信息和概率信息,可以有效提高目标识别模型对大规模相似目标的识别效率及精度。
下面结合附图,对本申请的一些实施方式作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
请参阅图1,图1是本申请一实施例提供的基于量化模型的目标识别方法的示意流程图。该基于量化模型的目标识别方法可以由服务器或者终端实现,所述服务器可以是单个服务器或者服务器集群。所述终端可以是手持终端、笔记本电脑、可穿戴设备或者机器人等。
如图1所示,图1是本申请一实施例提供的基于量化模型的目标识别方法的实现流程图。具体包括:步骤S101至步骤S104。详述如下:
S101,通过预先训练完成的教师模型的迭代网络搜索空间对若干个待识别对象进行识别,得到各个待识别对象属于预设类别目标的标签信息和属于预设类别目标的概率信息。
其中,教师模型是相对于学生模型而言,具有更加复杂网络结构的模型;具体地,教师模型相较于学生模型不仅具有非常好的性能和泛化能力,还可以指导另外一个更加简单的网络来学习,使得更加简单、参数运算量更少的网络也能够具有和教师模型相近的性能。其中,被指导的更加简单的网络就是与该教师模型相对应的学生模型。
在本实施例中,预先训练完成的教师模型包括迭代网络搜索空间,所述迭代网络搜索空间包括迭代网络单元和两个输出分支。其中,迭代网络单元用于对待识别对象进行识别,两个输出分支中的一个输出分支用于输出识别得到的目标对象的标签信息,另一个输出分支用于输出识别得到的概率信息。具体地,识别对象属于目标对象的标签信息用于表示待识别对象是否属于预设类别目标,概率信息用于表示待识别对象属于预设类别目标的概率。
例如,以待识别对象为一批次做不同程度鬼脸的皮卡丘为例,现有的目标识别模型对待识别对象进行识别时,输出的结果是目标对象是否为皮卡丘的标签信息,仅用于表示识别结果是皮卡丘或者不是皮卡丘;例如输出的标签信息为1代表是皮卡丘,输出的标签信息为0代表不是皮卡丘;但是,由于做不同程度鬼脸的皮卡丘具有很多不同的特征,导致目标识别模型很难输出准确的识别结果。在本申请的实施例中,通过具有双输出分支的教师模型输出识别结果对应的标签信息和概率信息,不仅可以确定待识别对象的类型,还可以确定待识别对象属于目标的概率,对应如果对包含有待识别对象的多张图像进行识别时,有助于从多张图像中识别出谁包含的对象属于目标的概率更高,有助于提高对目标对象识别的准确性。
示例性地,假设对任意包含有待识别对象的图像进行识别,输出的数据标签信息为(0.9999,0.97),则表示待识别对象是皮卡丘,且对应是皮卡丘的概率为0.97,假设输出的数据标签信息为(0.4131,0.25),则表示待识别对象不是皮卡丘,且对应是皮卡丘的概率为0.25等。
S102,将所述标签信息和所述概率信息,输入与所述教师模型相对应的学生模型,对所述学生模型基于所述标签信息和所述概率信息进行反向训练。
具体地,可以将所述标签信息称为所述教师模型的硬目标输出,将所述概率信息称为所述教师模型的软目标输出。其中,所述硬目标输出对应为对类别识别的输出,所述软目标输出是进一步判断属于硬目标的概率。
本申请实施例中,在得到所述标签信息和所述概率信息后,将所述标签信息和所述概率信息输入到学生模型中,基于所述标签信息和所述概率信息对所述学生模型的参数,进行反向迭代更新的过程,称为对所述学生模型基于所述标签信息和所述概率信息进行反向训练。
示例性地,如图2所示,图2是图1中S102的具体实现流程图。由图2可知,S102包括S1021与S1022。详述如下:
S1021,将所述标签信息和所述概率信息,输入与所述教师模型相对应的学生模型,根据所述学生模型的损失函数的梯度变化和学习率,量化所述学生模型基于所述标签信息和所述概率信息进行参数更新后的损失函数值,得到量化后的所述学生模型的损失函数值。
S1022,根据量化后的所述学生模型的损失函数值的大小,确定对所述学生模型的反向训练过程完成。
其中,所述目标识别模型的损失函数包括用于目标分类识别的蒸馏损失函数和用于目标类别概率计算的概率损失函数。
示例性地,用于目标分类识别的蒸馏损失函数可以表示为:
其中,k表示教师模型集成的基模型的个数,yi表示第i个基模型的输出结构,j表示基模型包含的训练单元,
用于目标类别概率计算的概率损失函数可以表示为:
其中,M为计算损失的层数,N为该层的参数量,y
所述目标识别模型的损失函数可以表示为:
L(x)=αL
其中,α和β均是超参数,用于调节目标识别模型训练过程中参数更新精度。
在一实施例中,所述将所述标签信息和所述概率信息分别输入与所述教师模型相对应的学生模型,根据所述学生模型的损失函数的梯度变化和学习率,量化所述学生模型基于所述标签信息和所述概率信息进行参数更新后的损失函数值,可以包括:
将所述标签信息和所述概率信息分别输入与所述教师模型相对应的学生模型,基于所述学生模型的损失函数的梯度变化和学习率,更新所述教师模型的参数;根据对所述教师模型的参数的更新结果,反向推理所述教师模型输出的标签信息和概率信息;根据推理得到的所述标签信息和所述概率信息对所述学生模型进行再训练,确定所述学生模型基于推理后的所述标签信息和所述概率信息进行参数更新后的损失函数值,重复执行将所述标签信息和所述概率信息分别输入与所述教师模型相对应的学生模型,基于所述学生模型的损失函数的梯度变化和学习率的步骤,直至所述学生模型基于推理后的所述标签信息和所述概率信息进行参数更新后的损失函数值小于预设的损失函数阈值,确定得到量化后的所述学生模型的损失函数值。
可选地,在训练学生模型时,为了保证训练出最优的学生模型;可以首先确定教师模型与学生模型之间的容量是否存在较大差异,如果教师模型和学生模型之间的容量存在较大的差异,则可以引入容量处于教师模型和学生模型之间的TA模型(TA模型也可以叫助教模型),引入TA模型有助于帮助教师模型与学生模型之间的容量的平滑过渡,TA模型的准确率在最好在教师模型的准确率和学生模型的准确率的均值水平之上(低于教师模型的准确率,高于学生模型的准确率);具体地,TA模型的网络结构可以比教师模型简单,比学生模型复杂,其具体的网络结构可以是现有开源的TA模型结构,在此不再赘述。
S103,根据所述学生模型的损失函数值的变化大小,确定对所述学生模型的反向训练完成后,将训练完成的所述学生模型设置作为所述目标识别模型。
其中,所述学生模型的损失函数为用于目标分类识别的所述蒸馏损失函数。由前面步骤S102的分析可知,所述蒸馏损失函数的值为由所述教师模型的参数确定;所述学生模型的量化目标损失函数为所述目标识别模型的损失函数。
示例性地,所述学生模型的损失函数值的变化大小,可以由量化后的所述学生模型的损失函数值表示。具体地,所述根据所述学生模型的损失函数值的变化大小,确定对所述学生模型的反向训练完成后,将训练完成的所述学生模型设置为所述目标识别模型,可以包括:
根据量化后的所述学生模型的损失函数值与预设损失函数阈值之间的大小关系,确定对所述学生模型的方向训练完成后,将训练完成的所述学生模型设置为所述目标识别模型。具体地,若量化后的所述学生模型的损失函数值小于或等于预设损失函数阈值,则确定对所述学生模型的反向训练完成;若量化后的所述学生模型的损失函数值大于预设损失函数阈值,则确定对所述学生模型的反向训练没有完成,重复执行对所述学生模型的反向训练步骤,直至量化后的所述学生模型的损失函数值小于或等于预设损失函数阈值。
S104,基于所述目标识别模型对所述待识别对象进行识别,分别得到对各个所述待识别对象的识别结果。
其中,由于学生模型的参数量相较于教师模型较小,对应的运算速度比教师模型快,如果对参数量较小的学生模型采用常规量化训练则训练之后的模型精度会下降严重。而本实施中,通过使用教师模型训练学生模型的方法,得到的目标识别模型,不经具有较高的识别精度(与教师模型具有相同的识别精度),且同时能够保证运行速度(与学生模型具有相同的运算速度)。
通过上述分析可知,本实施例提供的基于量化模型的目标识别方法,通过预先训练完成的教师模型对若干个待识别对象进行识别,得到各个所述待识别对象属于目标对象的标签信息和概率信息;将所述标签信息和所述概率信息,输入与所述教师模型相对应的学生模型,对所述学生模型基于所述标签信息和所述概率信息进行反向训练,得到目标识别模型;根据所述目标识别模型对所述待识别对象进行识别,分别得到对各个所述待识别对象的识别结果。通过在目标识别模型的训练过程中,基于蒸馏知识反向引入目标对象的标签信息和概率信息,可以有效提高目标识别模型对大规模相似目标的识别效率及精度。
请参阅图3,图3是本申请另一实施例提供的基于量化模型的目标识别方法的实现流程图。由图3可知,本实施例与图1所示实施例相比,S303至S306与S101至S104的具体实现过程相同,不同之处在于,在S303之前还包括S301至S302。详述如下:
S301,对预先确定的若干个基模型,分别基于预设数量的训练样本进行训练,得到各个所述基模型各自对应的训练单元;其中,各个所述训练单元分别包含有若干个迭代层。
S302,根据各个所述训练单元包含的迭代层,得到所述教师模型的所述迭代网络搜索空间。
示例性地,在训练教师模型的过程中,为了训练得到性能较高的教师模型,可以在教师模型的网络结构中引入一个正则化表达式,该正则表达式可以控制教师模型训练到最优时提前结束整个教师模型的训练过程。虽然仅训练了一些迭代层的网络,使得教师模型的结构像小网络一样,但是相比于小网络该教师模型还是包含有更大的搜索空间。该方法不仅可以提高教师模型的性能精度,还可以提高教师模型的训练速度。
S303,通过所述教师模型的迭代网络搜索空间对若干个待识别对象进行识别,得到各个待识别对象属于预设类别目标的标签信息和属于预设类别目标概率信息。
S304,将所述标签信息和所述概率信息,输入与所述教师模型相对应的学生模型,对所述学生模型基于所述标签信息和所述概率信息进行反向训练。
S305,根据所述学生模型的损失函数值的变化大小,确定对所述学生模型的反向训练完成后,将训练完成的所述学生模型设置为所述目标识别模型。
S306,基于所述目标识别模型对所述待识别对象进行识别,分别得到对各个所述待识别对象的识别结果。
通过上述分析可知,本实施例提供的基于量化模型的目标识别方法,通过预先训练完成的教师模型对若干个待识别对象进行识别,得到各个所述待识别对象属于目标对象的标签信息和概率信息;将所述标签信息和所述概率信息,输入与所述教师模型相对应的学生模型,对所述学生模型基于所述标签信息和所述概率信息进行反向训练,得到目标识别模型;根据所述目标识别模型对所述待识别对象进行识别,分别得到对各个所述待识别对象的识别结果。通过在目标识别模型的训练过程中,基于蒸馏知识反向引入目标对象的标签信息和概率信息,可以有效提高目标识别模型对大规模相似目标的识别效率及精度。
请参阅图4,图4是本申请实施例提供的基于量化模型的目标识别装置的结构示意图。该基于量化模型的目标识别装置用于执行图1或图3实施例所示的基于量化模型的目标识别方法的步骤。该基于量化模型的目标识别装置可以是单个服务器或服务器集群,或者该基于量化模型的目标识别装置可以是终端,该终端可以是手持终端、笔记本电脑、可穿戴设备或者机器人等。
如图4所示,基于量化模型的目标识别装置400包括:
第一得到模块401,用于通过预先训练完成的教师模型的迭代网络搜索空间对若干个待识别对象进行识别,得到各个待识别对象属于预设类别目标的标签信息和属于预设类别目标的概率信息;
训练模块402,用于将所述标签信息和所述概率信息,输入与所述教师模型相对应的学生模型,对所述学生模型基于所述标签信息和所述概率信息进行反向训练;
确定模块403,用于根据所述学生模型的损失函数值的变化大小,确定对所述学生模型的反向训练完成后,将训练完成的所述学生模型设置为所述目标识别模型;
第二得到模块404,用于基于所述目标识别模型对所述待识别对象进行识别,分别得到对各个所述待识别对象的识别结果。
在一实施例中,还包括:
第三得到模块,用于对预先确定的若干个基模型,分别基于预设数量的训练样本进行训练,得到各个所述基模型各自对应的训练单元;其中,各个所述训练单元分别包含有若干个迭代层;
第四得到模块,用于根据各个所述训练单元包含的迭代层,得到所述教师模型的所述迭代网络搜索空间。
在一实施例中,所述学生模型的损失函数为由所述教师模型的参数确定的蒸馏损失函数;
所述训练模块402,具体用于:
将所述标签信息和所述概率信息分别输入与所述教师模型相对应的学生模型,根据所述学生模型的损失函数的梯度变化和学习率,量化所述学生模型基于所述标签信息和所述概率信息进行参数更新后的损失函数值,得到量化后的所述学生模型的损失函数值;
根据量化后的所述学生模型的损失函数值的大小,确定对所述学生模型的反向训练过程完成。
在一实施例中,所述将所述标签信息和所述概率信息分别输入与所述教师模型相对应的学生模型,根据所述学生模型的损失函数的梯度变化和学习率,量化所述学生模型基于所述标签信息和所述概率信息进行参数更新后的损失函数值,包括:
将所述标签信息和所述概率信息分别输入与所述教师模型相对应的学生模型,基于所述学生模型的损失函数的梯度变化和学习率,更新所述教师模型的参数;
根据对所述教师模型的参数的更新结果,反向推理所述教师模型输出的标签信息和概率信息;
根据推理得到的所述标签信息和所述概率信息对所述学生模型进行再训练,确定所述学生模型基于推理后的所述标签信息和所述概率信息进行参数更新后的损失函数值;
重复执行将所述标签信息和所述概率信息分别输入与所述教师模型相对应的学生模型,基于所述学生模型的损失函数的梯度变化和学习率的步骤,直至所述学生模型基于推理后的所述标签信息和所述概率信息进行参数更新后的损失函数值小于预设的损失函数阈值,则确定小于预设的损失函数阈值的损失函数值为量化后的所述学生模型的损失函数值。
在一实施例中,所述学生模型的损失函数值的变化大小由量化后的所述学生模型的损失函数值表示;
所述根据所述学生模型的损失函数值的变化大小,确定对所述学生模型的反向训练完成后,将训练完成的所述学生模型设置为所述目标识别模型,包括:
若量化后的所述学生模型的损失函数值小于或等于预设损失函数阈值,则确定对所述学生模型的反向训练完成,将训练完成的所述学生模型设置为所述目标识别模型。
在一实施例中,所述目标识别模型的损失函数包括用于目标分类识别的蒸馏损失函数和用于目标类别概率计算的概率损失函数。
在一实施例中,所述根据量化后的所述学生模型的损失函数值,确定对所述学生模型的反向训练完成后,将训练完成的所述学生模型设置为所述目标识别模型,包括:
若量化后的所述学生模型的损失函数值小于或等于预设的函数阈值,则确定对所述学生模型的反向训练完成;
其中,反向训练完成的所述学生模型为所述目标识别模型。
需要说明的是,所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的语音合成装置和各模块的具体工作过程,可以参考图1或图3实施例所述的基于量化模型的目标识别方法实施例中的对应过程,在此不再赘述。
上述的基于量化模型的目标识别方法可以实现为一种计算机程序的形式,该计算机程序可以在如图4所示的装置上运行。
请参阅图5,图5是本申请实施例提供的基于量化模型的目标识别设备的结构示意性框图。该基于量化模型的目标识别设备包括通过系统总线连接的处理器、存储器和网络接口,其中,存储器可以包括非易失性存储介质和内存储器。
非易失性存储介质可存储操作系统和计算机程序。该计算机程序包括程序指令,该程序指令被执行时,可使得处理器执行任意一种基于量化模型的目标识别方法。
处理器用于提供计算和控制能力,支撑整个计算机设备的运行。
内存储器为非易失性存储介质中的计算机程序的运行提供环境,该计算机程序被处理器执行时,可使得处理器执行任意一种基于量化模型的目标识别方法。
该网络接口用于进行网络通信,如发送分配的任务等。本领域技术人员可以理解,图5中示出的结构,仅仅是与本申请方案相关的部分结构的框图,并不构成对本申请方案所应用于其上的终端的限定,具体的终端可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
应当理解的是,处理器可以是中央处理单元(Central Processing Unit,CPU),该处理器还可以是其他通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中,通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
其中,在一个实施例中,所述处理器用于运行存储在存储器中的计算机程序,以实现如下步骤:
通过预先训练完成的教师模型的迭代网络搜索空间对若干个待识别对象进行识别,得到各个待识别对象属于预设类别目标的标签信息和属于预设类别目标的概率信息;
将所述标签信息和所述概率信息,输入与所述教师模型相对应的学生模型,对所述学生模型基于所述标签信息和所述概率信息进行反向训练;
根据所述学生模型的损失函数值的变化大小,确定对所述学生模型的反向训练完成后,将训练完成的所述学生模型设置为所述目标识别模型;
基于所述目标识别模型对所述待识别对象进行识别,分别得到对各个所述待识别对象的识别结果。
在一实施例中,在所述通过预先训练完成的教师模型的迭代网络搜索空间对待识别对象进行识别,得到待识别对象属于预设类别目标的标签信息和属于预设类别目标的概率信息之前,包括:
对预先确定的若干个基模型,分别基于预设数量的训练样本进行训练,得到各个所述基模型各自对应的训练单元;其中,各个所述训练单元分别包含有若干个迭代层;
根据各个所述训练单元包含的迭代层,得到所述教师模型的所述迭代网络搜索空间。
在一实施例中,所述学生模型的损失函数为由所述教师模型的参数确定的蒸馏损失函数;
所述将所述标签信息和所述概率信息,输入与所述教师模型相对应的学生模型,对所述学生模型基于所述标签信息和所述概率信息进行反向训练,包括:
将所述标签信息和所述概率信息分别输入与所述教师模型相对应的学生模型,根据所述学生模型的损失函数的梯度变化和学习率,量化所述学生模型基于所述标签信息和所述概率信息进行参数更新后的损失函数值,得到量化后的所述学生模型的损失函数值;
根据量化后的所述学生模型的损失函数值的大小,确定对所述学生模型的反向训练过程完成。
在一实施例中,所述将所述标签信息和所述概率信息分别输入与所述教师模型相对应的学生模型,根据所述学生模型的损失函数的梯度变化和学习率,量化所述学生模型基于所述标签信息和所述概率信息进行参数更新后的损失函数值,包括:
将所述标签信息和所述概率信息分别输入与所述教师模型相对应的学生模型,基于所述学生模型的损失函数的梯度变化和学习率,更新所述教师模型的参数;
根据对所述教师模型的参数的更新结果,反向推理所述教师模型输出的标签信息和概率信息;
根据推理得到的所述标签信息和所述概率信息对所述学生模型进行再训练,确定所述学生模型基于推理后的所述标签信息和所述概率信息进行参数更新后的损失函数值;
重复执行将所述标签信息和所述概率信息分别输入与所述教师模型相对应的学生模型,基于所述学生模型的损失函数的梯度变化和学习率的步骤,直至所述学生模型基于推理后的所述标签信息和所述概率信息进行参数更新后的损失函数值小于预设的损失函数阈值,则确定小于预设的损失函数阈值的损失函数值为量化后的所述学生模型的损失函数值。
在一实施例中,所述学生模型的损失函数值的变化大小由量化后的所述学生模型的损失函数值表示;
所述根据所述学生模型的损失函数值的变化大小,确定对所述学生模型的反向训练完成后,将训练完成的所述学生模型设置为所述目标识别模型,包括:
若量化后的所述学生模型的损失函数值小于或等于预设损失函数阈值,则确定对所述学生模型的反向训练完成,将训练完成的所述学生模型设置为所述目标识别模型。
在一实施例中,所述目标识别模型的损失函数包括用于目标分类识别的蒸馏损失函数和用于目标类别概率计算的概率损失函数。
在一实施例中,所述根据量化后的所述学生模型的损失函数值,确定对所述学生模型的反向训练完成后,得到所述目标识别模型,包括:
若量化后的所述学生模型的损失函数值小于或等于预设的函数阈值,则确定对所述学生模型的反向训练完成;
其中,反向训练完成的所述学生模型为所述目标识别模型。
本申请的实施例中还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序中包括程序指令,所述处理器执行所述程序指令,实现本申请图1或图3实施例提供的基于量化模型的目标识别方法的步骤。
其中,所述计算机可读存储介质可以是前述实施例所述的计算机设备的内部存储单元,例如所述计算机设备的硬盘或内存。所述计算机可读存储介质也可以是所述计算机设备的外部存储设备,例如所述计算机设备上配备的插接式硬盘,智能存储卡(SmartMedia Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。
以上所述,仅为本申请的具体实施方式,但本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。因此,本申请的保护范围应以权利要求的保护范围为准。
- 基于量化模型的目标识别方法、装置、设备及存储介质
- 基于雷达的目标识别方法、装置、电子设备及存储介质