模型优化方法、装置、设备和计算机可读存储介质

技术领域

本发明涉及模型优化的技术领域，具体而言，涉及一种模型优化方法、装置、设备和计算机可读存储介质。

背景技术

深度学习目标检测算法的性能好坏往往和实际的场景和数据集以及类别的分布有很大的关联，而算法的提供者在训练算法模型时并无法覆盖所有场景或者具有比较完备、类别充分的数据集，训练出的模型会导致在实际用户使用的过程中无法达到其训练的测试结果。

发明内容

本发明旨在解决上述技术问题的至少之一。

为此，本发明的第一目的在于提供一种模型优化方法。

本发明的第二目的在于提供一种模型优化装置。

本发明的第三目的在于提供一种模型优化设备。

本发明的第四目的在于提供一种计算机可读存储介质。

为实现本发明的第一目的，本发明的技术方案提供了一种模型优化方法，包括：获取用户场景数据；根据用户场景数据，获取第一测试数据；根据用户场景，在初始化模型库中，选取第一推理模型；采用第一测试数据对第一推理模型进行训练和评估，得到第二推理模型；判定是否达到扩充阈值条件，基于达到扩充阈值条件，对第一测试数据进行扩增，得到第二测试数据；采用第二测试数据对第二推理模型进行训练和评估，更新评估条件；根据评估条件和模型阈值，判定第二推理模型是否更换第一推理模型，基于采用第二推理模型更换第一推理模型，采用第二推理模型更新初始化模型库，设置第二推理模型为目标推理模型，否则，设置第一推理模型为目标推理模型；判定是否满足结束条件，基于达到结束条件，采用目标推理模型进行推理，基于未达到结束条件，继续对测试数据进行扩增，进行模型优化。

本技术方案首先获取用户场景数据，然后根据用户场景数据获取测试数据，可以解决目前算法提供者无法覆盖用户所有场景及训练数据的匮乏问题。本技术方案中，评估第二推理模型后，更新评估条件，并且，设定模型阈值，根据模型阈值，判定第二推理模型是否更换第一推理模型，通过增加推理模型是否更新的判定和评估条件的自动更新，更好的了提升推理模型性能。

另外，本发明提供的技术方案还可以具有如下附加技术特征：

上述技术方案中，执行获取用户场景数据之前，还包括：构建初始化模型库，初始化模型包括轻量型初始化模型和/或中等初始化模型和/或重量型初始化模型。

通过设置三种初始化模型，使得模型选取更加灵活，更加贴近用户场景。

上述技术方案中，采用第一测试数据对第一推理模型进行训练和评估，包括：第一测试数据包括第一测评数据和第一训练数据，采用第一训练数据训练第一推理模型，采用第一测评数据评估第一推理模型，获取第一推理模型的指标值。

通过第一测试数据对第一推理模型进行训练和评估，第一测试数据基于用户场景数据，通过基于用户场景数据进行模型训练，使得推理模型能够覆盖用户场景及训练数据，进而，通过推理模型进行推理，得到符合用户场景的结果。

上述技术方案中，扩充阈值条件包括：测试数据中的目标类别数量小于类别数量的平均值；和/或目标类别分布比例小于类别数量的平均值；和/或推理模型对用户场景数据进行测试评估后，单个目标类别的置信度高于第一置信度，其中，目标类别数量、类别数量的平均值和目标类别分布比例均归一化至区间(0，1)。

通过设置扩充阈值条件，可以针对性的扩充类别数量少或分布比例小的目标类别数据，使得后续使用的训练数据中样本分布更为合理，同时也为扩充数据进行筛选，使待扩充的数据更接近人工手动补充的效果。

上述技术方案中，采用第二测试数据对第二推理模型进行训练和评估，更新评估条件，包括第二测试数据包括第二测评数据和第二训练数据，采用第二训练数据训练第二推理模型，采用第二测评数据评估第二推理模型，获取第二推理模型的指标值；根据第二推理模型的指标值，更新评估条件。

评估条件是指推理模型的指标在每次模型训练后，按比例逐步增加该指标值，指标值用于获得的更新后的推理模型的评估。通过更新评估条件，可以有效的对后续更新后的推理模型进行评估，使得模型优化过程更加简便。

上述技术方案中，根据评估条件和模型阈值，判定第二推理模型是否更换第一推理模型，包括：采用第一测试数据对第二推理模型进行在线评估，基于在线评估结果满足评估条件，判定第二推理模型是否满足模型阈值，基于第二推理模型满足模型阈值，采用第二推理模型更换第一推理模型。

本技术方案中，采用第二测试数据训练第一推理模型，采用第一测试数据对第二推理模型进行在线评估，推理模型的训练和推理是同时进行的，既提升算法的性能，又不占用推理模型使用的资源，实现在线训练、推理和用户使用的分离。

为实现本发明的第二目的，本发明的技术方案提供了一种模型优化装置，包括：用户场景数据单元；训练测试数据集单元；模型及评估单元；模型训练及更新单元；用户场景推理单元；其中，用户场景数据单元获取用户场景数据；训练测试数据集单元根据用户场景数据，获取第一测试数据；模型及评估单元根据用户场景，在初始化模型库中，选取第一推理模型；模型训练及更新单元采用第一测试数据对第一推理模型进行训练，得到第二推理模型，模型及评估单元采用第一测试数据对第一推理模型进行评估；判定是否达到扩充阈值条件，基于达到扩充阈值条件，训练测试数据集单元对第一测试数据进行扩增，得到第二测试数据；模型训练及更新单元采用第二测试数据对第二推理模型进行训练，模型及评估单元采用第二测试数据对第二推理模型进行评估，更新评估条件；模型训练及更新单元根据评估条件和模型阈值，判定第二推理模型是否更换第一推理模型，基于采用第二推理模型更换第一推理模型，采用第二推理模型更新初始化模型库，设置第二推理模型为目标推理模型，否则，设置第一推理模型为目标推理模型；判定是否满足结束条件，基于达到结束条件，用户场景推理单元采用目标推理模型进行推理，基于未达到结束条件，训练测试数据集单元继续对测试数据进行扩增，进行模型优化。

用户场景数据单元首先获取用户场景数据，然后根据用户场景数据获取测试数据和训练数据，可以解决目前模型优化装置提供者无法覆盖用户所有场景及训练数据的匮乏问题。采用第二测试数据训练第一推理模型，采用第一测试数据对第二推理模型进行在线评估，推理模型的训练和推理是同时进行的，既提升算法的性能，又不占用推理模型使用的资源，实现在线训练、推理和用户使用的分离。

另外，本发明提供的技术方案还可以具有如下附加技术特征：

上述技术方案中，用户场景数据单元包括：至少一个摄像头；其中，摄像头对至少包括一个待检测目标的用户场景进行数据抓拍，得到用户场景数据。

通过设置摄像头，采集用户真实场景中的图像，然后，推理模型对实际场景中的图像数据在线评估后，采用自动生成的带有真实标签的图像，进行数据扩增，通过应用真实场景图像来扩整数据，可以覆盖用户的所有场景，使得训练出的模型在实际用户使用的过程中，可以更加适应用户的场景，使得测试效果得到在线优化。

为实现本发明的第三目的，本发明的技术方案提供了一种模型优化设备，包括：存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序；其中，处理器在执行计算机程序时，实现如本发明任一技术方案的模型优化方法的步骤。

本发明技术方案提供的模型优化设备实现如本发明任一技术方案的模型优化方法的步骤，因而其具有如本发明任一技术方案的模型优化方法的全部有益效果，在此不再赘述。

为实现本发明的第四目的，本发明的技术方案提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被执行时，实现上述任一技术方案的模型优化方法的步骤。

本发明技术方案提供的计算机可读存储介质实现如本发明任一技术方案的模型优化方法的步骤，因而其具有如本发明任一技术方案的模型优化方法的全部有益效果，在此不再赘述。

本发明的附加方面和优点将在下面的描述部分中变得明显，或通过本发明的实践了解到。

附图说明

本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：

图1为本发明一个实施例的模型优化方法流程图之一；

图2为本发明一个实施例的模型优化方法流程图之二；

图3为本发明一个实施例的模型优化方法流程图之三；

图4为本发明一个实施例的模型优化方法流程图之四；

图5为本发明一个实施例的模型优化方法流程图之五；

图6为本发明一个实施例的模型优化装置组成示意图之一；

图7为本发明一个实施例的用户场景数据单元示意图；

图8为本发明一个实施例的模型优化设备组成示意图；

图9为本发明一个实施例的模型优化装置组成示意图之二；

图10为本发明一个实施例的模型优化方法流程图之六；

图11为本发明一个实施例的模型优化系统组成示意图之一；

图12为本发明一个实施例的模型优化系统组成示意图之二。

其中，图6至图12中附图标记与部件名称之间的对应关系为：

100：模型优化装置；110：用户场景数据单元；112：摄像头；120：训练测试数据集单元；122：第一测试数据；124：第二测试数据；130：模型及评估单元；140：模型训练及更新单元；150：用户场景推理单元；200：模型优化设备；210：存储器；220：处理器；300：模型优化系统；310：计算平台；312：主计算平台；3122：第一计算平台；314：辅计算平台；3142：第二计算平台；3144：第三计算平台；3146：第四计算平台；3148：第N计算平台；320：本地仓；322：存储仓；324：数据仓；326：模型仓；328：后处理筛选仓。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

下面参照图1至图12描述本发明一些实施例的一种模型优化方法、模型优化装置100、模型优化设备200和计算机可读存储介质。

实施例1：

如图1所示，本实施例提供了一种模型优化方法，包括：

步骤S102，获取用户场景数据；

步骤S104，根据用户场景数据，获取第一测试数据；

步骤S106，根据用户场景，在初始化模型库中，选取第一推理模型；

步骤S108，采用第一测试数据对第一推理模型进行训练和评估，得到第二推理模型；

步骤S110，判定是否达到扩充阈值条件；

步骤S112，基于达到扩充阈值条件，对第一测试数据进行扩增，得到第二测试数据；

步骤S114，采用第二测试数据对第二推理模型进行训练和评估，更新评估条件；

步骤S116，根据评估条件和模型阈值，判定第二推理模型是否更换第一推理模型；

步骤S118，基于采用第二推理模型更换第一推理模型，采用第二推理模型更新初始化模型库，设置第二推理模型为目标推理模型；

否则，进入步骤S120；

步骤S120，设置第一推理模型为目标推理模型；

步骤S122，判定是否满足结束条件；

步骤S124，基于达到结束条件，采用目标推理模型进行推理；

步骤S126，基于未达到结束条件，继续对测试数据进行扩增，进行模型优化。

举例而言，在步骤S114中，采用扩增后的测试数据对训练后的推理模型进行训练和评估，得到更新后的推理模型，在步骤S126中，基于未达到结束条件，返回步骤S110，对测试数据进行扩增，然后采用扩增后的数据对更新后的推理模型进行训练和评估，判断更新后的推理模型是否更换更新前的推理模型，直至满足结束条件。

深度学习目标检测算法的性能好坏往往和实际的用户场景和数据集以及目标类别的分布有很大的关系，而深度学习目标检测算法的提供者在训练算法模型时并无法覆盖所有用户场景或者具有比较完备、目标类别充分的数据集，因此，训练出的推理模型会导致在实际用户使用的过程中无法达到其训练的测试结果。

针对提升目标检测算法的方法很多，但大多没有考虑训练的模型对实际的用户场景覆盖性，数据集考虑本地扩充的比较多(比如相关技术公开的目标检测方法、装置及相应模型训练方法、装置)，但还是不能很好的适应用户实际的数据。

本实施例首先获取用户场景数据，然后根据用户场景数据获取测试数据，可以解决目前深度学习目标检测算法提供者无法覆盖用户所有场景及训练数据的匮乏问题。

本实施例中，获取第二推理模型的指标后，更新评估条件，评估条件是指推理模型的指标在每次模型训练后，按比例逐步增加该指标值，指标值用于获得的更新后的推理模型的评估。通过更新评估条件，可以有效的对后续更新后的推理模型进行评估，使得模型优化过程更加简便。并且，还设置有模型阈值，根据模型阈值，判定第二推理模型是否更换第一推理模型，通过增加推理模型是否更新的模型阈值判定和评估条件的自动更新，更好的了提升推理模型的性能。举例而言，模型阈值分为准确性评估部分和速率评估部分，其中准确性方面采取P(精确度)、R(召回率)、AP(单类别评估精度)、mAP(多个类别AP的平均值)和F-Measure(P和R的综合反映)，速度方面采取检测单张的时间评估，设置方式是首先设置速度和准确性两方面的优先级，根据优先级，再进一步根据每个方面的指标值(比如某指标值高于上次指标值，则可以更换模型)来评估是否更换模型。

举例而言，本实施例的结束条件可以为用户交互结束模型优化。具体为：在完成模型优化后，等待用户的指令，请用户指示，是否使用优化后的模型，结束模型优化，或者是继续进行优化，通过与用户交互，可以及时获知用户的需求，提升用户的使用体验。采用用户交互作为结束条件，以用户为主体，使得算法优化的主动性变强，更为贴合用户场景。

实施例2：

如图2所示，除上述实施例的技术特征以外，本实施例进一步地包括了以下技术特征：

执行获取用户场景数据之前，还包括：

步骤S202，构建初始化模型库，初始化模型包括轻量型初始化模型和/或中等初始化模型和/或重量型初始化模型。

举例而言，初始化模型可以包括三种，轻量型初始化模型、中等初始化模型和重量型初始化模型。

轻量型初始化模型是指模型结构中参数量少，网络精简化，能在一定准确性基础上更加突出检测速率的模型检测网络。

中等初始模型是指模型结构中参数量中等，网络结构经过一定裁剪基础上，平衡检测速率和准确性的模型检测网络。

重量型初始化模型是指模型结构中网络复杂，且参数量较多，占用内存资源多，在基本满足速度要求方面，更加注重准确性提升的模型检测网络。

本实施例中，在模型选取上，根据用户数据中待检测目标的丰富程度和计算资源配置情况，结合速度和准确性要求选取模型的种类，举例而言，针对计算资源配置一般，用户场景目标较多，可以使用轻量化快速迭代的轻量型初始化模型，若根据两方面平衡则可以选择中等初始模型。通过设置三种初始化模型，为用户在计算资源、场景数据目标丰富与否和迭代提供选择，并且，可以在准确性和速度方面做一个灵活的偏向性选择。

实施例3：

如图3所示，除上述实施例的技术特征以外，本实施例进一步地包括了以下技术特征：

采用第一测试数据对第一推理模型进行训练和评估，包括：

步骤S302，第一测试数据包括第一测评数据和第一训练数据，采用第一训练数据训练第一推理模型，采用第一测评数据评估第一推理模型，获取第一推理模型的指标值。

第一推理模型的指标值用于量化评估模型的好坏，为模型对比和更新的参考基准。

通过第一测试数据对第一推理模型进行训练和评估，第一训练数据基于用户场景数据，通过基于用户场景数据进行模型训练，使得推理模型能够覆盖用户场景及训练数据，进而，通过推理模型进行推理，得到符合用户场景的结果。

实施例4：

除上述实施例的技术特征以外，本实施例进一步地包括了以下技术特征：

扩充阈值条件包括：

测试数据中的目标类别数量小于类别数量的平均值；和/或目标类别分布比例小于类别数量的平均值；和/或推理模型对用户场景数据进行测试评估后，单个目标类别的置信度高于第一置信度，其中，目标类别数量、类别数量的平均值和目标类别分布比例均归一化至区间(0，1)。

举例而言，测试数据中的目标类别数量进行归一化处理，统一到区间(0，1)；类别数量的平均值也采用归一化的方式，统一到区间(0，1)，目标类别分布比例也采用归一化的方式，统一到区间(0，1)。

类别分布为对类别数量的可视化展示。

单个目标类别根据实际需求而定，指目标类别中的任意一个。

通过设置扩充阈值条件，可以针对性的扩充类别数量少或分布比例小的目标类别数据，使得后续使用的训练数据中样本分布更为合理，同时也为扩充数据进行筛选，使待扩充的数据更接近人工手动补充的效果。

本实施例中，单个目标类别的置信度高于第一置信度，是指经过推理模型对用户场景数据测试评估后，单个目标类别的置信度高于该类别之前(即测试评估前)的置信度的一倍或置0.9倍，具体根据初始化模型评估结果而调整。

实施例5：

如图4所示，除上述实施例的技术特征以外，本实施例进一步地包括了以下技术特征：

采用第二测试数据对第二推理模型进行训练和评估，更新评估条件，包括：

步骤S402，第二测试数据包括第二测评数据和第二训练数据，采用第二训练数据训练第二推理模型，采用第二测评数据评估第二推理模型，获取第二推理模型的指标值；

步骤S404，根据第二推理模型的指标值，更新评估条件。

通过第二测试数据对第二推理模型进行训练和评估，第二训练数据为扩充后的基于用户场景数据，通过基于用户场景数据进行模型训练，使得推理模型能够覆盖用户场景及训练数据，进而，通过推理模型进行推理，得到符合用户场景的结果。

评估条件是指推理模型的指标在每次模型训练后，按比例逐步增加该指标值，指标值用于获得的更新后的推理模型的评估。通过更新评估条件，可以有效的对后续更新后的推理模型进行评估，使得模型优化过程更加简便。

实施例6：

除上述实施例的技术特征以外，本实施例进一步地包括了以下技术特征：

如图5所示，根据评估条件和模型阈值，判定第二推理模型是否更换第一推理模型，包括：

步骤S502，采用第一测试数据对第二推理模型进行在线评估，基于在线评估结果满足评估条件，判定第二推理模型是否满足模型阈值，基于第二推理模型满足模型阈值，采用第二推理模型更换第一推理模型。

本实施例中，采用第二测试数据训练第一推理模型，采用第一测试数据对第二推理模型进行在线评估，推理模型的训练和推理是同时进行的，既提升算法的性能，又不占用推理模型使用的资源，实现在线训练、推理和用户使用的分离。

相关技术公开了一种基于SSD-T的远端在线通用目标检测系统，该相关技术包括：客户端提交待检目标图像，向服务器发出图像增广和训练指令；模型训练完后，用户在线提交等待进行目标检测的标准待识图进行检测；服务器端对客户端提交的待检目标图像和标准待识图自动存储；当收到客户端发来的图像增广和训练请求时，自动利用已提交的待检目标图像进行深度学习训练集增广和模型训练。待模型训练完后服务端对客户端提交的标准待识图进行目标检测并反馈检测结果。

相关技术对模型的训练为在线提升，注重的是数据集的扩增来改善模型，存在模型检测和模型训练是分开进行的，占用的资源只能是单向性的，无法同时完成训练和推理的缺点，本实施例模型的训练和推理是同时进行的，既提升算法的性能，又不占用模型使用的资源，真正实现在线训练、推理和用户使用的分离。

相关技术中训练后的模型需要导出后下次再导入使用，存在操作复杂的缺点，本实施例则对新的模型满足更新条件后自动的更新原模型，操作简单。除此之外，本实施例还增加模型是否更新的判断功能和判断条件的自动更新以便继续提升模型性能。

实施例7：

如图6所示，本实施例提供了一种模型优化装置100，包括：用户场景数据单元110、训练测试数据集单元120、模型及评估单元130、模型训练及更新单元140、用户场景推理单元150。其中，用户场景数据单元110获取用户场景数据；训练测试数据集单元120根据用户场景数据，获取第一测试数据；模型及评估单元130根据用户场景，在初始化模型库中，选取第一推理模型；模型训练及更新单元140采用第一测试数据对第一推理模型进行训练，得到第二推理模型，模型及评估单元130采用第一测试数据对第一推理模型进行评估；判定是否达到扩充阈值条件，基于达到扩充阈值条件，训练测试数据集单元120对第一测试数据进行扩增，得到第二测试数据；模型训练及更新单元140采用第二测试数据对第二推理模型进行训练，模型及评估单元130采用第二测试数据对第二推理模型进行评估，更新评估条件；模型训练及更新单元140根据评估条件和模型阈值，判定第二推理模型是否更换第一推理模型，基于采用第二推理模型更换第一推理模型，采用第二推理模型更新初始化模型库，设置第二推理模型为目标推理模型，否则，设置第一推理模型为目标推理模型；判定是否满足结束条件，基于达到结束条件，用户场景推理单元150采用目标推理模型进行推理，基于未达到结束条件，训练测试数据集单元120继续对测试数据进行扩增，进行模型优化。

本实施例中，在深度学习目标检测推理的基础上增加用户场景数据单元110、训练测试数据集单元120、模型及评估单元130、模型训练及更新单元140和用户场景推理单元150。

用户场景数据单元110首先获取用户场景数据，然后根据用户场景数据获取测试数据和训练数据，可以解决目前模型优化装置100提供者无法覆盖用户所有场景及训练数据的匮乏问题。

本实施例中，采用第二测试数据训练第一推理模型，采用第一测试数据对第二推理模型进行在线评估，推理模型的训练和推理是同时进行的，既提升算法的性能，又不占用推理模型使用的资源，实现在线训练、推理和用户使用的分离。

本实施例，获取第二推理模型的评估指标后，更新评估条件，并且，设定阈值，根据阈值，判定第二推理模型是否更换第一推理模型，通过增加推理模型是否更新的判定和评估条件的自动更新，更好的了提升推理模型性能。

举例而言，本实施例训练测试数据集单元120对测试数据进行格式统一转换。通过将用户数据、测试数据转换为统一的格式，使得后续模型的训练、在线评估等能够快速、稳定和顺利进行。训练测试数据集单元120对测试数据进行格式统一转换。测评数据的格式为图片，训练数据的格式为图片及实际标注xml等文件。训练测试数据集单元120将测评数据和训练数据进行格式统一转换，转换为图片和txt文件，其中，训练数据txt文件为：数据类型编号、图片路径/图片名、类别号、归一化的目标框坐标，测评数据txt文件为：数据类型编号、图片路径/图片名。

实施例8：

如图7所示，除上述实施例的技术特征以外，本实施例进一步地包括了以下技术特征：

用户场景数据单元110包括：至少一个摄像头112；其中，摄像头112对至少包括一个待检测目标的用户场景进行数据抓拍，得到用户场景数据。

本实施例中，通过设置摄像头112，采集用户真实场景中的图像，然后，推理模型对实际场景中的图像数据在线评估后，自动生成的带有真实标签的图像来扩增数据，通过应用真实场景图像来扩增数据，可以覆盖用户的所有场景，使得训练出的模型在实际用户使用的过程中，可以更加适应用户的场景，使得测试效果得到在线优化。

相关技术公开的一种基于SSD-T的远端在线通用目标检测系统，采用变换后的待检测目标图像随机放数据库的图像中，记录的随机放入的位置作为真实边框标签。本实施例数据扩增的方式为通过初始化模型对实际场景中的图像数据在线评估后自动生成的带有真实标签的图像来扩增数据。

实施例9：

如图8所示，本实施例提供了一种模型优化设备200，包括存储器210，存储有计算机程序。处理器220，执行计算机程序。其中，处理器220在执行计算机程序时，实现如本发明任一实施例的模型优化方法的步骤。

实施例10：

本实施例提供了一种计算机可读存储介质，包括：计算机可读存储介质存储有计算机程序，计算机程序被执行时，实现如本发明任一实施例的模型优化方法的步骤。

具体实施例：

本实施例利用深度学习、图像处理和网络通信等技术，并借助当前算力丰富的计算平台，实现用户场景下自主提升目标检测算法性能，解决目前算法提供者无法覆盖用户所有场景及训练数据的匮乏问题。

如图9所示，本实施例提供了一种模型优化装置100，在深度学习目标检测推理的基础上增加用户场景数据单元110、训练测试数据集单元120、模型及评估单元130、模型训练及更新单元140、用户场景推理单元150。

摄像头112进行数据抓拍，摄像头112拍摄至少包括一个待检测目标的用户场景，获取用户场景数据。

图9中，第一测试数据122包括第一评测数据和第一训练数据，第二测试数据124包括第二评测数据和第二训练数据，为了合理比对当前模型和更新模型的性能，第二测试数据124是模型及评估单元130执行后数据集扩增后新更新到第一测试数据122上的数据，其用于下一次模型评估，模型训练及更新单元140中的模型评估测试数据集仍采用第一测试数据122，即未更新第二测试数据124的数据集。模型训练及更新单元140输出的第二初始化模型库是第三模型评估判断更新后输出的模型，并更新到本地仓320单元的模型仓326里，同时替换所选模型对应的第一初始化模型库中的模型，以便用于下次的评估更新。

如图10所示，模型优化方法，包括：

步骤S602，初始化模型构建。

至少存在三种模型A、B、C，即轻量型、中等和重量型。

步骤S604，根据场景和用户数据事先选择推理模型，并进行模型评估，获取相应指标值。

指标值例如AP、mAP、FPS，等待用户指令。

步骤S606，设置用户数据集扩充阈值条件，达到条件后数据集进行扩增，并更新整个数据集。

步骤S608，对所选模型用新更新训练数据进行训练，并设置新模型评估指标，该指标每次模型训练更新后自动增加条件。

步骤S610，模型的指标评估和管理优化。

根据步骤S208中设置的条件对模型进行在线评估，采用的测试集是上一次的测试集，便于比对。

步骤S612，获取更新模型，并根据设定的阈值与当前模型比较选择是否更换当前模型，若是则更新初始化模型库。

步骤S614，若更新模型，则采用新的模型进行推理，并等待指令，否则继续使用原模型。

若更新模型，则采用新的模型进行推理，并等待指令，进入步骤S616，否则继续使用原模型，并返回步骤S604。

步骤S616，用户交互是否需要优化模型。

用户交互是否需要优化模型，若是则返回步骤S604，若否则结束，并等待指令。

本实施例能够实现用户场景下在线提升目标检测算法性能，有效的解决算法提供者无法覆盖用户所有场景及训练数据的匮乏问题，同时，自动化和用户交互的手段提升了用户使用体验。

目前计算平台硬件及算力方面的提升，有助于实际场景中在线提升检测算法的性能方法的实施，使之具有更好的适应性。

如图11所示，本实施例还提供一种基于该方法的模型优化系统300，包括计算平台310和本地仓320，如图12所示，计算平台310用于训练和推理测试，其中又分为主计算平台312和辅计算平台314，本地仓320用于数据处理，其包含了存储仓322、数据仓324(含训练数据集和测试数据集)、模型仓326(含初始化模型、当前推理模型和更新模型)、后处理筛选仓328(对模型输出数据进行清洗和更新)。

其中，主计算平台312：包括第一计算平台3122，可以采用hisi3559A，主要用于模型推理计算，所选当前检测模型对用户场景的数据进行推理，并将检测结果与辅计算平台314及本地仓320进行交互。

辅计算平台314：包括第二计算平台3142、第三计算平台3144、第四计算平台3146，…，第N计算平台3148，其中，第二计算平台3142、第三计算平台3144、第四计算平台3146，…，第N计算平台3148均可以采用hisi3559A，用于对所选模型进行在线训练、模型评估，包括使用本地训练集和用户场景数据扩充的训练数据集，并与本地仓320和主计算平台312进行交互。

存储仓322：用于存储图片数据、模型参数文件以及中间产生的缓存文件，并定期进行更新、清除，与数据仓324、模型仓326和后处理筛选仓328通过节点建立链接的。

数据仓324：用于对模型使用的数据集进行更新，策略是按照一定比例对数据进行划分，其分为测评数据集合和训练数据集合，数据存储在存储仓322，通过节点来访问、更新、修改数据。

模型仓326：用于对模型进行更新，包含初始化模型(A、B、C等)、当前推理模型和更新模型，模型文件存储在存储仓322，通过节点来访问、修改和更新文件。

后处理筛选仓328：用于模型推理时输出的数据进行标注、筛选和评估，评估策略是对模型输出生成的标签数据的代价比最小，阈值是事先设置。

综上，本发明实施例的有益效果为：

1.本实施例首先获取用户场景数据，然后根据用户场景数据获取测试数据和训练数据，可以解决目前算法提供者无法覆盖用户所有场景及训练数据的匮乏问题。

2.本实施例中，采用第二测试数据训练第一推理模型，采用第一测试数据对第二推理模型进行在线评估，推理模型的训练和推理是同时进行的，既提升算法的性能，又不占用推理模型使用的资源，实现在线训练、推理和用户使用的分离。

在本发明中，术语“第一”、“第二”、“第三”仅用于描述的目的，而不能理解为指示或暗示相对重要性；术语“多个”则指两个或两个以上，除非另有明确的限定。术语“安装”、“相连”、“连接”、“固定”等术语均应做广义理解，例如，“连接”可以是固定连接，也可以是可拆卸连接，或一体地连接；“相连”可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。

本发明的描述中，需要理解的是，术语“上”、“下”、“左”、“右”、“前”、“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或单元必须具有特定的方向、以特定的方位构造和操作，因此，不能理解为对本发明的限制。

在本说明书的描述中，术语“一个实施例”、“一些实施例”、“具体实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或实例。而且，描述的具体特征、结构、材料或特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。